比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

作者：机器之心发布时间：2023-07-31

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档...【查看原文】

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一个挑战，因为其核心的注意力层在时间复杂度和空间复杂度与输入序列长度的平方成正比。一年前，来自斯坦福大学、纽约州立大学布法罗分校的研究者共同提出一种快速、内存高效的注意力算法 ——Flas

GPT-4 Claude 斯坦福

人工智能AI课程 2024-01-15

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

DiT作为效果惊艳的Sora的核心技术之一，利用Difffusion Transfomer 将生成模型扩展到更大的模型规模。

Sora

新智元 2024-03-18

Midjourney V5来了！实体版杂志也来了！

Midjourney V5已正式发布！快来看看多了哪些新特性可以体验！一、如何使用：1、后缀加入 --v 5 2、或直接输入 /settings ，选择 MJ version 5 即可settings界面二、新特性速览1、自动高清。现在输入 /imagine 生成的初始的4张图片，已经自动高清化。按钮“U1~U4”仅起到将这张图单独发给你的作用，无法再继续放大。现在，按下按钮“U1~U4”之后，高清图片会直接发给你，无需等待重新生成，也不会再额外消耗你的可使用次数。2、图片质量更高。V5生成的图片质量更高

Midjourney V5 Midjourney

AI边缘 2023-03-17

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Midjourney V1、V2、V3、V4、V5有什么区别？V1、V2、V3、V4、V5代表不同的版本，每个版本生成的图片在风格上有一些禅意如果使用相同的提示词，V1、V2、V3、V4、V5版本生成的结果如下：从上图中，你可以看到这是Midjourney 不同版本的演变过程：生成的内容越来越详细和真实。V1 和 V2 本质上是涂鸦。在V2中，第四张图像中前景和背景的处理相当粗糙。在V3中，背景和视角变得更加合理，到了V4，已经处于可用状态。更高的分辨率。V1到V3图像为256 x 256，而在V5中，

Midjourney 提示词

百万CCC 2023-10-19

Playground V2与SDSL风格效果对照

之前做了 Playground AI（Playground (playgroundai.com)）在线Stable Diffusion XL平台不同风格和第三方模型的效果比较：第一部分第二部分第三部分12月，Playground AI推出了Playground V2，与之前的SDXL相比，仅保留了自带的若干风格，测试下来发现，效果有非常大的不同，故再次做了Playground V2与SDSL风格效果对照的测试，SDXL部分沿用了之前测试的第一部分，Playground V2部分用同样的Prompt：“a

Stable Diffusion XL Stable Diffusion 提示词

空了一格S 2023-12-17

近期资讯

请回答2024 | Bossjob首席产品官陈曹宛乔：招聘领域将迎来新的服务模式变革

长期以来，互联网招聘都是个大而分散的市场，竞争也趋于同质。随着AI风起，整个互联网科技领域迎来最大的机遇，招聘企业也掀起了智慧化迭代升级。

封面新闻 2024-12-30

vivo 内部 MR 团队已达 500 人，明年 9 月上线原型机体验

IT之家12月30日消息，据界面新闻报道，vivo执行副总裁胡柏山在接受采访时称，vivo的MR团队已经达到500人规模，预计将在2025年9月份在全国十几个城市上线高保真原型机体验，产品已经在部分指标体验上超越了苹果。在商业化进展上，则要根据内容生态的匹配情况。

IT之家 2024-12-30

宇树B2-W机器狗惊艳炫技，助推机器狗、人形机器人商业化提速

本期（12月23日-12月27日），沪深300上涨1.4%，机械板块下跌1.2%，在所有一级行业中排名19。

中国能源网 2024-12-30

“天才少年”稚晖君进阶成“源神”！智元机器人开源百万真机数据集AgiBot World，比谷歌Deepmind高10倍

刚刚，智元机器人宣布，具身智能领域的“ImageNet时刻”已到来，重磅开源AgiBotWorld（智元世界）——一个汇集百万真实机器人数据的开源数据集。在这个具身数据的世界里，机器人不再只是进行简单的桌面任务：洗碗、熨衣服、扫地、超市收银、亦或是工厂搬运，机器人这回真的可以上得了厅堂，下得了厨房了。

搜狐科技 2024-12-30

揭秘印度药企：便宜又能救命的仿制药，没你想象的香

2018年，一部《我不是药神》，将“印度神药”带到了广大电影观众的面前。电影中印度仿制药的低廉价格和良好疗效，给很多人留下了非常深刻的印象，让人忍不住为仿制药鸣不平，仿佛这就是救人性命的灵丹妙药。因为想要通过印度药控局的审批，数据是真的还是假的没那么重要，重点在于有人脉。

路上读书 2024-12-30

韩国将全面检查现有波音737-800型客机

韩国国土交通部30日宣布，将对韩国国内现有的101架波音737-800型客机进行全面特别检查。

澎湃新闻 2024-12-30

服务体验再进化：2025华为服务日，权益加码，温暖加倍

智能设备带来的便捷体验背后，也需要完善的服务体系来支撑。2025年，这项活动将再度升级，进一步传递品牌温度，让服务更贴心、更周到，为用户的服务体验护航。华为服务日活动将贯穿2025年全年，每个月第一个连续的周五、周六、周日，华为服务店都将为广大用户提供一系列诚意满满的服务权益。

黑评 2024-12-30

和讯网 2024-12-30

比标准Attention提速5-9倍，大模型都在用的FlashAttention v2来了

推荐体验

相关资讯

Attention提速9倍！大模型都在用的FlashAttention

颜水成/程明明新作！Sora核心组件DiT训练提速10倍，Masked Diffusion Transformer V2开源

Midjourney V5来了！实体版杂志也来了！

Midjourney V1、V2、V3、V4、V5各版本区别详细介绍

Playground V2与SDSL风格效果对照

近期资讯

请回答2024 | Bossjob首席产品官陈曹宛乔：招聘领域将迎来新的服务模式变革

vivo 内部 MR 团队已达 500 人，明年 9 月上线原型机体验

宇树B2-W机器狗惊艳炫技，助推机器狗、人形机器人商业化提速

“天才少年”稚晖君进阶成“源神”！智元机器人开源百万真机数据集AgiBot World，比谷歌Deepmind高10倍

揭秘印度药企：便宜又能救命的仿制药，没你想象的香

韩国将全面检查现有波音737-800型客机

服务体验再进化：2025华为服务日，权益加码，温暖加倍

京蓝科技再添新环，旗下多金属车间复产封顶

腾讯ima升级知识库：支持共享和上线小程序

支付宝推出新一代AI视觉搜索产品“探一下”

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响