比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

深圳市维度科技申请波长可调激光器的光学系统及其测试方法专利，提高了激光信号的调谐精度

金融界2024年12月25日消息，国家知识产权局信息显示，深圳市维度科技股份有限公司申请一项名为“波长可调激光器的光学系统及其测试方法”的专利，公开号CN119171168A，申请日期为2024年11月。

金融界 2024-12-25

福建金固美能源科技有限公司取得连接组件及BIPV支架专利，一定程度地调节了固定光伏板的宽度

金融界2024年12月25日消息，国家知识产权局信息显示，福建金固美能源科技有限公司取得一项名为“一种连接组件及BIPV支架”的专利，授权公告号CN222192215U，申请日期为2024年1月。

金融界 2024-12-25

安徽格恩半导体申请 GaN 基大功率蓝光激光器的芯片结构专利，降低激光器阈值电流提升光电转换效率

金融界2024年12月25日消息，国家知识产权局信息显示，安徽格恩半导体有限公司申请一项名为“一种GaN基大功率蓝光激光器的芯片结构”的专利，公开号CN119171180A，申请日期为2024年9月。

金融界 2024-12-25

安徽格恩申请一种氮化镓基大功率绿光激光器的芯片结构专利，降低大功率绿光激光器的阈值电流密度

金融界2024年12月25日消息，国家知识产权局信息显示，安徽格恩半导体有限公司申请一项名为“一种氮化镓基大功率绿光激光器的芯片结构”的专利，公开号CN119171181A，申请日期为2024年9月。

金融界 2024-12-25

中国电建集团青海省电力设计院有限公司取得可旋转光伏支架专利，能够对太阳光进行有效利用

金融界2024年12月25日消息，国家知识产权局信息显示，中国电建集团青海省电力设计院有限公司取得一项名为“一种可旋转光伏支架”的专利，授权公告号CN222192219U，申请日期为2024年1月。

金融界 2024-12-25

大连美天取得可以快速固定的光伏发电板及其安装组件专利，提升发电效率

金融界2024年12月25日消息，国家知识产权局信息显示，大连美天新能源科技有限公司取得一项名为“一种可以快速固定的光伏发电板及其安装组件”的专利，授权公告号CN222192217U，申请日期为2023年12月。

金融界 2024-12-25

皖能铜陵发电取得一种光伏建筑一体化集成装置专利，降低了龙骨的排水压力

金融界2024年12月25日消息，国家知识产权局信息显示，皖能铜陵发电有限公司取得一项名为“一种光伏建筑一体化集成装置”的专利，授权公告号CN222192214U，申请日期为2024年4月。

金融界 2024-12-25

山东华光申请一种新型半导体激光器侧面泵浦结构专利，有效解决水冷激光器相关问题

金融界2024年12月25日消息，国家知识产权局信息显示，山东华光光电子股份有限公司申请一项名为“一种新型半导体激光器侧面泵浦结构”的专利，公开号CN119171169A，申请日期为2024年8月。

金融界 2024-12-25

青岛翼晨镭硕申请周期性量子点增强型半导体可饱和吸收镜及其制备方法专利，能制备周期性量子点增强型半导体可饱和吸收镜

金融界2024年12月25日消息，国家知识产权局信息显示，青岛翼晨镭硕科技有限公司申请一项名为“周期性量子点增强型半导体可饱和吸收镜及其制备方法”的专利，公开号CN119171171A，申请日期为2024年7月。专利摘要显示，本申请涉及一种周期性量子点增强型半导体可饱和吸收镜及其制备方法。

金融界 2024-12-25

安徽格恩半导体申请GaN基化合物半导体激光元件专利，提升光束质量因子

金融界2024年12月25日消息，国家知识产权局信息显示，安徽格恩半导体有限公司申请一项名为“一种GaN基化合物半导体激光元件”的专利，公开号CN119171176A，申请日期为2024年8月。专利摘要显示，本发明涉及半导体光电器件技术领域，具体公开了一种GaN基化合物半导体激光元件。

金融界 2024-12-25

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

深圳市维度科技申请波长可调激光器的光学系统及其测试方法专利，提高了激光信号的调谐精度

福建金固美能源科技有限公司取得连接组件及BIPV支架专利，一定程度地调节了固定光伏板的宽度

安徽格恩半导体申请 GaN 基大功率蓝光激光器的芯片结构专利，降低激光器阈值电流提升光电转换效率

安徽格恩申请一种氮化镓基大功率绿光激光器的芯片结构专利，降低大功率绿光激光器的阈值电流密度

中国电建集团青海省电力设计院有限公司取得可旋转光伏支架专利，能够对太阳光进行有效利用

大连美天取得可以快速固定的光伏发电板及其安装组件专利，提升发电效率

皖能铜陵发电取得一种光伏建筑一体化集成装置专利，降低了龙骨的排水压力

山东华光申请一种新型半导体激光器侧面泵浦结构专利，有效解决水冷激光器相关问题

青岛翼晨镭硕申请周期性量子点增强型半导体可饱和吸收镜及其制备方法专利，能制备周期性量子点增强型半导体可饱和吸收镜

安徽格恩半导体申请GaN基化合物半导体激光元件专利，提升光束质量因子

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响