比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

社区智慧化建设助力效率提升

为应对这些挑战，新都区大丰街道高堆社区积极探索智慧化服务模式，通过开发“高堆智享”小程序等一系列创新举措，显著提升了工作效率。高堆社区结合新都区“七彩社区”建设理念，全力打造紫色智慧社区和绿色实力社区，并基于全区统一部署的“香城一线通”服务体系，推出了一款面向用户的人房数据自主申报小程序。

爱看新闻 2024-12-27

国产 AI 一夜刷屏海外！2000 块 GPU 打造 GPT-4o 平替， AI 大佬纷纷点赞

近日，国产大模型厂商DeepSeek宣布DeepSeek-V3首个版本上线并同步开源。多项基准测试成绩显示，DeepSeek-V3超越Qwen2.5-72B和Llama-3.1-405B等其他开源模型，并在性能上与GPT-4o以及Claude-3.5-Sonnet不分伯仲。

AppSo 2024-12-27

2024-12-27

预加载技术助力鸿蒙原生APP首屏秒开，速度提升50％

因为用户在打开应用的瞬间，需要从服务器加载大量的数据和资源，这一过程不仅需要耗费较长的时间，还容易受到网络状况、服务器响应速度以及设备性能等多种因素的影响。

砍柴网 2024-12-27

全新腾势D9上市，还能继续保持“腾尔法”的宝座吗？

都说最近一两年是国产MPV的井喷期，但看销量数据，真正能跑出来的是寥寥无几。其中最显眼的，是腾势D9，被网友称为“腾尔法”，最便宜也要30多万，居然能连续月销破万，最近推出了25款，到底升级了什么，还能不能继续当领头羊？

吴佩频道 2024-12-27

2024中国航天最后一发：不幸失利

据中科宇航官方消息，力箭一号遥六运载火箭发射任务不幸失利。12月27日9时3分31秒，力箭一号遥六运载火箭在东风商业航天创新试验区点火升空，火箭一、二级飞行正常，三级发动机点火约3秒后姿态

上方文Q 2024-12-27

华为手表动态监测技术应用至商用领域擎云H9D20亮相

【CNMO科技消息】近日，华为召开华为终端健康管理行业峰会，华为中国终端业务部部长徐钦松、华为运动健康军团CEO张炜、华为运动健康军团COO段瀛、华为运动健康军团CSO李昌竹、中南大学湘雅三医院全科主任姚晨姣、前中山大学附属第六医院院长汪建平等人出席活动。此次活动上，华为擎云品牌的全新穿戴产品——华为擎云H9D20正式亮相。

手机中国 2024-12-27

AI玩具爆火：字节跳动、特斯拉开始发力

特斯拉新推出的机器人玩具“TeslaBotActionFigure”，售价40美元，在上线后的24小时内被抢购一空，目前二手价已被炒到1300美元。

蓝鲸新闻 2024-12-27

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

社区智慧化建设助力效率提升

国产 AI 一夜刷屏海外！2000 块 GPU 打造 GPT-4o 平替， AI 大佬纷纷点赞

大湾区智能网联汽车示范应用试点加快互联互通

杰华特：目前公司已量产多款运放、时钟、模拟开关、ADC等芯片

光造车不过瘾：王传福要造人形机器人了

预加载技术助力鸿蒙原生APP首屏秒开，速度提升50％

全新腾势D9上市，还能继续保持“腾尔法”的宝座吗？

2024中国航天最后一发：不幸失利

华为手表动态监测技术应用至商用领域擎云H9D20亮相

AI玩具爆火：字节跳动、特斯拉开始发力

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响