比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

威胜能源取得一种逆变串并联电路专利，能保证低至 14V 光伏输入时有逆变输出，提高电压输入范围

金融界2024年12月25日消息，国家知识产权局信息显示，威胜能源技术股份有限公司取得一项名为“一种逆变串并联电路”的专利，授权公告号CN222192164U，申请日期为2024年4月。

金融界 2024-12-25

苏州同泰新能源科技取得电压转换电路等专利，实现电压转换并滤波得到交流电压信号

金融界2024年12月25日消息，国家知识产权局信息显示，苏州同泰新能源科技股份有限公司取得一项名为“电压转换电路、光伏接线盒和光伏组件”的专利，授权公告号CN222192165U，申请日期为2024年1月。专利摘要显示，本公开实施例提供一种电压转换电路、光伏接线盒和光伏组件。

金融界 2024-12-25

中山大洋电机取得一种适合多种DC电源输入的电机控制器及DM电机专利，可解决不同应用场合电源输入需求

金融界2024年12月25日消息，国家知识产权局信息显示，中山大洋电机股份有限公司取得一项名为“一种适合多种DC电源输入的电机控制器及DM电机”的专利，授权公告号CN222192169U，申请日期为2024年1月。

金融界 2024-12-25

浙江索罗威取得修正正弦波逆变器专利，实现修正正弦波逆变输出

金融界2024年12月25日消息，国家知识产权局信息显示，浙江索罗威科技有限公司取得一项名为“修正正弦波逆变器”的专利，授权公告号CN222192166U，申请日期为2024年4月。

金融界 2024-12-25

罗伯特·博世有限公司申请控制器专利，提供一种特定的控制器

金融界2024年12月25日消息，国家知识产权局信息显示，罗伯特·博世有限公司申请一项名为“控制器”的专利，公开号CN119171122A，申请日期为2024年10月。专利摘要显示，本公开的主题为“控制器”。

金融界 2024-12-25

联想申请连接器及电子设备专利，能夹装固定连接器安装板

金融界2024年12月25日消息，国家知识产权局信息显示，联想（北京）有限公司申请一项名为“连接器及电子设备”的专利，公开号CN119171120A，申请日期为2024年8月。

金融界 2024-12-25

得力集团申请一种含有多规格基座模块的插座专利，具有根据需要在同一插座上实现不同规格基座模块设置的效果

金融界2024年12月25日消息，国家知识产权局信息显示，得力集团有限公司申请一项名为“一种含有多规格基座模块的插座”的专利，公开号CN119171124A，申请日期为2024年8月。

金融界 2024-12-25

常熟市天银机电取得用于单相交流电机的无触点起动器专利，稳定可靠支持大功率电机起动

金融界2024年12月25日消息，国家知识产权局信息显示，常熟市天银机电股份有限公司取得一项名为“用于单相交流电机的无触点起动器”的专利，授权公告号CN222192168U，申请日期为2024年4月。专利摘要显示，一种用于单相交流电机的无触点起动器，属于单相交流电机起动器技术领域。

金融界 2024-12-25

华夏天信智能物联取得多负载变频器专利，能够实现针对多个负载的有效变频控制

金融界2024年12月25日消息，国家知识产权局信息显示，华夏天信智能物联股份有限公司取得一项名为“一种多负载变频器”的专利，授权公告号CN222192170U，申请日期为2024年4月。

金融界 2024-12-25

纳百川电子科技申请钳口式插座专利，能高效可靠完成连接和固定

金融界2024年12月25日消息，国家知识产权局信息显示，东莞市纳百川电子科技有限公司申请一项名为“一种钳口式插座”的专利，公开号CN119171118A，申请日期为2024年11月。

金融界 2024-12-25

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

威胜能源取得一种逆变串并联电路专利，能保证低至 14V 光伏输入时有逆变输出，提高电压输入范围

苏州同泰新能源科技取得电压转换电路等专利，实现电压转换并滤波得到交流电压信号

中山大洋电机取得一种适合多种DC电源输入的电机控制器及DM电机专利，可解决不同应用场合电源输入需求

浙江索罗威取得修正正弦波逆变器专利，实现修正正弦波逆变输出

罗伯特·博世有限公司申请控制器专利，提供一种特定的控制器

联想申请连接器及电子设备专利，能夹装固定连接器安装板

得力集团申请一种含有多规格基座模块的插座专利，具有根据需要在同一插座上实现不同规格基座模块设置的效果

常熟市天银机电取得用于单相交流电机的无触点起动器专利，稳定可靠支持大功率电机起动

华夏天信智能物联取得多负载变频器专利，能够实现针对多个负载的有效变频控制

纳百川电子科技申请钳口式插座专利，能高效可靠完成连接和固定

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响