当前位置：首页|资讯|GPT-4|Claude

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31
GPT-4Claude

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。 然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。 一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4Claude斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到 这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分 第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XLStable Diffusion提示词

空了一格S 2023-12-17

近期资讯

卡萨帝521升星空冰箱：补贴2000元，高端家电的性价比之选

#年货节好物集市#卡萨帝冰箱以其卓越的品质和创新技术，在高端冰箱市场中占据了重要的地位。这款BCD-521WGCTDM4WKU1型号的冰箱，以其594mm专业超薄零嵌入式设计、双系统制冷技术、一级能效标准，以及十字四开门的便捷性，成为市场上的热门选择。同时适用于储存干货与奶制品，保持食物原有的色泽、口感和营养。

小米地瓜 2024-12-27

小米发布澎湃OS 2重大更新，带来1+3+8升级计划第一轮新功能 OTA

小米今天发布了小米澎湃OS2的首次重大版本更新，这次更新被称为“1+3+8”升级计划的第一轮新功能OTA。据小米手机系统软件部总监张国全介绍，这次升级不仅包括了流畅度和图形技术的提升，还引入了并行景深动画、边缘横滑返回打断、小白条上滑跟随等新的用户体验优化。

中关村在线 2024-12-27

工信部：2025年要制定出台生物制造、量子产业、具身智能、原子级制造等领域创新发展政策

全国工业和信息化工作会议26日至27日在京召开。会议强调，2025年要培育壮大新兴产业和未来产业。实施培育新兴产业打造新动能行动，推进制造业新技术新产品新场景大规模应用示范。推动智能网联汽车发展，扩大北斗应用规模。因地制宜建设低空信息基础设施。

每日经济新闻 2024-12-27

铭凡BD795i SE ITX主板首发2899元：搭载锐龙9 7945HX

快科技12月27日消息，铭凡推出新的ITX主板——BD795iSE，首发2899元。该款主板采用标准的170mmx170mm的ITX尺寸设计，搭载AMD的Ryzen97945HX处理器，基于Zen4架构，拥有16核心32线程，64MB的L3缓存，最高加速频率5.4GHz。

驱动之家 2024-12-27

中交路桥取得一种料斗专利，可调节料斗内部容量

金融界2024年12月27日消息，国家知识产权局信息显示，中交路桥建设有限公司取得一项名为“一种料斗”的专利，授权公告号CN222205925U，申请日期为2024年1月。

金融界 2024-12-27

国产大模型DeepSeek-V3一夜火爆全球，671B的MoE，训练成本仅558万美元

机器之心报道机器之心编辑部今天，一个国产大模型火遍了世界。打开X，满眼都是讨论DeepSeek-V3的推文，而其中最热门的话题之一是这个参数量高达671B的大型语言模型的预训练过程竟然只用了266.4万H800GPUHours，再加上上下文扩展与后训练的训练，总共也只有278.8H800GPUHours。

机器之心Pro 2024-12-27

vivo Y39现身Geekbench！采用骁龙4 Gen2+8GB运存

【CNMO科技消息】vivo即将推出的全新机型Y39近日在Geekbench跑分平台上悄然现身，引起了广泛关注。据Geekbench6.3.0版本的测试结果显示，Y39的单核得分为912，多核得分则达到了2,214，这一成绩明确表明这是一款定位非高端的智能手机。

手机中国 2024-12-27

工信部：加强通用大模型和行业大模型研发布局和重点场景应用

钛媒体App12月27日消息，全国工业和信息化工作会议26日至27日在京召开。会议强调，2025年要推进信息化和工业化深度融合。实施“人工智能+制造”行动，加强通用大模型和行业大模型研发布局和重点场景应用。

钛媒体快报 2024-12-27

OPPO Find N5春季登场：首款骁龙8至尊版大折叠屏

12月27日消息，OPPO周意保发文预热OPPOFindN5折叠屏，他表示，接下来Find系列的节奏会稳定下来，给到大家稳定的时间预期，以后每年Find会有春季旗舰发布会+秋季旗舰发布会。据悉，春季旗舰发布会包含FindN5折叠屏和FindX8Ultra影像旗舰，其中FindN5折叠屏会率先亮相，这也是行业内第一款骁龙8至尊版大折叠屏。

砍柴网 2024-12-27

这所幼儿园元旦活动，年味十足！

12月25，铜仁市第十二幼儿园开展了“金蛇迎春.童心贺岁”庆元旦活动，共同迎接新一年的到来。活动当天，孩子们穿着整齐漂亮的衣服，带着灿烂的笑容，早早地来到幼儿园。“今天，我吃到了自己亲手搓的汤圆，很开心，也祝大家元旦节快乐。”据了解，铜仁市第十二幼儿园是今年9月新成立的一所公办幼儿园，计划招生240人，开设8个班级，本学期开设了两个班级。

金台资讯 2024-12-27

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响

Copyright © 2026 aigcdaily.cn  北京智识时代科技有限公司  版权所有  京ICP备2023006237号-1