比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

尊界S800为何用1.5T 余承东：考虑过2.0T、但车头太重

快科技12月27日消息，鸿蒙智行首款百万级豪华轿车尊界S800已经申报，将提供纯电和增程两种动力类型，均分为双电机和三电机。其中增程版将配备一台来自东安动力提供的1.5T增程器，这引发了非常

2024-12-27

游戏性能暴增14%！七彩虹Z890主板迎来0x114微码更新

快科技12月27日消息，今天七彩虹宣布，旗下Z890系列主板迎来最新的0x114微码更新，为酷睿Ultra 200S系列处理器提供全新功能和性能提升。其中，iGame Z890 VULCAN X/W、iGame Z890 FLOW，iGame

2024-12-27

老外盘点2024年20款必玩单机：《黑神话》《寂静岭2》领衔

今日，gamingbolt盘点了2024年必玩的20款最佳单机游戏。官方表示，尽管不像去年那么种类繁多，但2024在各种游戏类型方面仍有不少一流的作品，值得玩家花上数百小时去体验。TOP20如下：1、

2024-12-27

全国第3个4条跑道机场诞生了！国产大飞机C919尝鲜

12月26日，重庆江北国际机场新建第四跑道正式启用，成为中西部地区第一个、上海浦东/北京大兴机场之后全国第三个拥有4条跑道且同时运行的机场。东航C919执飞的MU5428航班（重庆—上海虹桥

2024-12-27

万亿“宁王” 官宣赴港二次上市

万亿“宁王”，正式公布赴港上市计划。12月26，宁德时代召开第四届董事会第一次会议，逐项审议通过《关于公司发行H股股票并在香港联合交易所有限公司上市方案的议案》（下称：议案）

2024-12-27

《小小的我》豆瓣早期评价：易烊千玺扮脑瘫突破演技

今日，由易烊千玺主演的电影《小小的我》全国正式上映。在豆瓣早期评价中，观众们给予了不错的评价。不少观众被易烊千玺饰演的“脑瘫”主角刘春和所感动，也对他年纪轻轻就有勇

2024-12-27

节电率53%！国内首台自主研发磁悬浮地源热泵机组投运

快科技12月27日消息，据“天瑞磁悬浮”官微发文，天瑞重工自主研发的国内首台磁悬浮离心式地源热泵机组，在山东省潍坊市某住宅小区成功开机运行，标志着城市供暖进入绿色新纪元。据

2024-12-27

极越欠款3700万供应商讨债：其中2000多万是借的！

快科技12月27日消息，据媒体报道，近期，极越欠款3700万的供应商星塘文化负责人李红星发视频疑似在线讨债。在视频中，李红星表示，极越欠我的3700万，1000多万是抵押的房子，2000多万是借的。

2024-12-27

小号问界M9来了！问界M8实车路试曝光：前后和M9一个样

快科技12月27日消息，今日有网友曝光了问界M8实车的路试视频。从视频中来看，问界M8的尾部造型，与“大哥”问界M9一脉相承，均使用了贯穿式尾灯，尾灯造型也一致。结合此前曝

2024-12-27

如果有一天安卓和Windows用不了怎么办华为12年前已准备

“如果有一天，安卓用不了了，Windows用不了了，怎么办？”今日，央视联合华为发布鸿蒙系统纪录片，回顾了鸿蒙的诞生之路，并称“中国人一定要有自己的操作系统。”2

2024-12-27

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

尊界S800为何用1.5T 余承东：考虑过2.0T、但车头太重

游戏性能暴增14%！七彩虹Z890主板迎来0x114微码更新

老外盘点2024年20款必玩单机：《黑神话》《寂静岭2》领衔

全国第3个4条跑道机场诞生了！国产大飞机C919尝鲜

万亿“宁王” 官宣赴港二次上市

《小小的我》豆瓣早期评价：易烊千玺扮脑瘫突破演技

节电率53%！国内首台自主研发磁悬浮地源热泵机组投运

极越欠款3700万供应商讨债：其中2000多万是借的！

小号问界M9来了！问界M8实车路试曝光：前后和M9一个样

如果有一天安卓和Windows用不了怎么办华为12年前已准备

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响