Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

乱步印花港风针织衫大促：V领单排简约大方到手24.9元/件

乱步印花针织衫/开衫毛衣日常售价为49.9元，下单领取50元优惠券，拍2件共发2件实付49.8元包邮，折合24.9元/件。购买链接：天猫(2件49.8元)共有28款可选，包含开衫/套头款式、印花/纯色设计

2024-12-30

22130米穿越天山！世界最长高速公路隧道贯通

12月30日11时许，作为世界上最长的高速公路隧道，天山胜利隧道全线贯通！天山胜利隧道横穿天山中部，全长22.13公里，是新疆乌尉（乌鲁木齐至尉犁）高速公路的“咽喉”工程，双车道设

2024-12-30

编造理想MEGA车内摄像头拍摄色情图片：一男子获刑7个月

快科技12月30日消息，理想汽车法务部最新发文，通报了一起有关理想MEGA谣言的后续，涉事男子被除刑拘7个月的处罚。理想汽车法务部称：关于“MEGA车内摄像头拍摄色情图片”谣言一事

2024-12-30

十年还未完善Windows深色模式！微软被痛批

快科技12月30日消息，自2016年微软为Windows 10引入深色模式切换功能以来，用户一直期待系统界面能够实现全面的深色主题。然而将近十年过去了，Windows的深色模式依旧存在诸多缺陷。Windows

2024-12-30

25万以内全品类马力最大！最值得买的领克Z10正式交付

快科技12月30日消息，就在今日，领克Z10 702km四驱Halo正式交付，该车绝对是最值得买的Z10，同时也是该价位最值得买的电动轿车，极其适合驾驶爱好者。本月初，领克加推了该款车型，售价22.98万

2024-12-30

比亚迪王传福：读上中南大学冶金物理化学专业是一生的幸运

快科技12月30日消息，据媒体综合报道，今天上午，比亚迪正式启动其规模达30亿的教育慈善基金。启动仪式上，比亚迪股份有限公司董事长兼总裁王传福登台，首先介绍了自己的求学路，并且对自己的

2024-12-30

钻石巨头：今年是钻石销售最糟一年库存达顶峰

快科技12月30日消息，据报道，全球最大钻石生产商戴比尔斯集团钻石库存处于2008年金融危机以来的最高水平，价值大约在20亿美元。戴比尔斯集团首席执行官阿尔·库克（Al Cook）表示：&ld

2024-12-30

摘养NFC100%纯椰子水10盒大促：到手19.9元

摘养100%纯椰子水250ml*10盒平时要卖49.9元，今日可叠加30元限时优惠券，到手19.9元，包邮。购买链接：天猫(券后19.9元)摘养100%纯椰子水0添加蔗糖，0脂，甄选东南亚本地椰子。NFC鲜榨，

2024-12-30

中国英雄机长就韩国客机失事发声：特情和训练有太多不同

快科技12月30日消息，当地时间29日上午9时07分左右（北京时间29日8时07分左右），一架正在着陆的客机在韩国全罗南道的务安国际机场偏离跑道，与围栏外墙发生碰撞后爆炸起火。据悉，发生事故的

2024-12-30

王传福：比亚迪一大半高管是从应届生培养起来的

快科技12月30日消息，比亚迪举办30亿教育慈善基金启动仪式。会上，比亚迪董事长王传福表示，1994年，我拉起一个20人的团队，创办了比亚迪。初创团队中，有我在中南大学的同班同学杨龙忠，还有

2024-12-30

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

乱步印花港风针织衫大促：V领单排简约大方到手24.9元/件

22130米穿越天山！世界最长高速公路隧道贯通

编造理想MEGA车内摄像头拍摄色情图片：一男子获刑7个月

十年还未完善Windows深色模式！微软被痛批

25万以内全品类马力最大！最值得买的领克Z10正式交付

比亚迪王传福：读上中南大学冶金物理化学专业是一生的幸运

钻石巨头：今年是钻石销售最糟一年库存达顶峰

摘养NFC100%纯椰子水10盒大促：到手19.9元

中国英雄机长就韩国客机失事发声：特情和训练有太多不同

王传福：比亚迪一大半高管是从应届生培养起来的

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响