比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

盾安汽车热管理科技取得电子膨胀阀专利，延长第一密封件的使用寿命

金融界2024年12月28日消息，国家知识产权局信息显示，盾安汽车热管理科技有限公司取得一项名为“电子膨胀阀”的专利，授权公告号CN222210860U，申请日期为2023年12月。专利摘要显示，本申请提供一种电子膨胀阀，涉及阀门技术领域。

金融界 2024-12-28

浙江佳明取得双阀针电子膨胀阀专利，有效保证产品内漏问题

金融界2024年12月28日消息，国家知识产权局信息显示，浙江佳明新能源装备有限公司取得一项名为“一种双阀针电子膨胀阀”的专利，授权公告号CN222210856U，申请日期为2024年2月。

金融界 2024-12-28

采能制冷取得冷凝机组散热器专利，可快速拆装进液管和出液管便于维护

金融界2024年12月28日消息，国家知识产权局信息显示，常州市采能制冷科技有限公司取得一项名为“冷凝机组散热器”的专利，授权公告号CN222210870U，申请日期为2024年4月。

金融界 2024-12-28

青岛海尔智能技术研发有限公司取得气液分离器及热泵系统专利，避免油流入排液管阻塞系统影响换热效率

金融界2024年12月28日消息，国家知识产权局信息显示，青岛海尔智能技术研发有限公司取得一项名为“气液分离器及热泵系统”的专利，授权公告号CN222210866U，申请日期为2023年11月。专利摘要显示，本实用新型涉及热泵技术领域，具体涉及一种气液分离器及热泵系统。本申请旨在解决现有的气液分离器导致的排液口排油、换热效率低的问题。

金融界 2024-12-28

短剧VIP，量大不管饱

在数字化时代，短剧作为一种新兴的娱乐形式迅速崛起，但随之而来的是关于价格和付费模式的热议。本文深入探讨了短剧VIP服务的兴起，分析了它如何改变短剧市场的生态，以及对消费者、制作方和平台方的影响。

锌刻度 2024-12-28

浙江佳明取得一种防止卡滞的电子膨胀阀专利，能有效改良产品噪声问题

金融界2024年12月28日消息，国家知识产权局信息显示，浙江佳明新能源装备有限公司取得一项名为“一种防止卡滞的电子膨胀阀”的专利，授权公告号CN222210857U，申请日期为2024年2月。

金融界 2024-12-28

广东美的制冷设备有限公司取得制冷系统和空调器专利，能够实现对压缩机容积的变换，提升能力能效

金融界2024年12月28日消息，国家知识产权局信息显示，广东美的制冷设备有限公司取得一项名为“制冷系统和空调器”的专利，授权公告号CN222210864U，申请日期为2024年4月。

金融界 2024-12-28

江苏同力空调设备取得空调储液器的滤网结构专利，可便捷拆装空调储液器滤网，提高工作效率

金融界2024年12月28日消息，国家知识产权局信息显示，江苏同力空调设备有限公司取得一项名为“空调储液器的滤网结构”的专利，授权公告号CN222210867U，申请日期为2023年12月。

金融界 2024-12-28

从社交到兴趣：未来社交平台的设计革命

在数字化时代，社交平台已成为我们日常生活的重要组成部分。从早期的社交网络到未来可能的设计革命，本文深入探讨了社交平台的演变，揭示了社交图谱设计的重要性及其对我们在线体验的影响。

沉迷社交产品的初九哥 2024-12-28

美女争宠、霸总炫富、父子爱上女保洁，狂飙的短剧终于要刹车了

在短视频内容迅速崛起的今天，微短剧以其紧凑的情节和快速的叙事节奏吸引了大量观众。然而，这一领域也出现了内容低俗、价值观导向不良等问题。

科技旋涡 2024-12-28

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

盾安汽车热管理科技取得电子膨胀阀专利，延长第一密封件的使用寿命

浙江佳明取得双阀针电子膨胀阀专利，有效保证产品内漏问题

采能制冷取得冷凝机组散热器专利，可快速拆装进液管和出液管便于维护

青岛海尔智能技术研发有限公司取得气液分离器及热泵系统专利，避免油流入排液管阻塞系统影响换热效率

短剧VIP，量大不管饱

浙江佳明取得一种防止卡滞的电子膨胀阀专利，能有效改良产品噪声问题

广东美的制冷设备有限公司取得制冷系统和空调器专利，能够实现对压缩机容积的变换，提升能力能效

江苏同力空调设备取得空调储液器的滤网结构专利，可便捷拆装空调储液器滤网，提高工作效率

从社交到兴趣：未来社交平台的设计革命

美女争宠、霸总炫富、父子爱上女保洁，狂飙的短剧终于要刹车了

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响