Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

美团无人机出海开门大吉：获迪拜商业运营首张证书！

快科技12月27日消息，据媒体报道，今日，在2024美团机器人研究院学术年会上，美团副总裁、美团机器人研究院理事长毛一年表示，美团无人机已拿到首张在迪拜无人机送货许可证。他表示，美团无人机

2024-12-27

小米澎湃OS 2首次重磅更新！张国全：坚决不做一锤子买卖

快科技12月27日消息，今日，小米发布小米澎湃OS 2升级公告，这是澎湃OS 2发布后的首次重大版本更新，超级小爱首次向正式版用户开放。小米手机系统软件部总监张国全发文，称今天起，将开启一轮

拾柒 2024-12-27

双路96核心！俄罗斯用上自研CPU：偷偷配八块NV GPU

快科技12月27日消息，俄罗斯服务器厂商Graviton宣布，已经开始供货首批AI/HPC服务器，基于俄罗斯自研的CPU处理器，可搭配最多八块GPU计算卡。该处理器型号为S2124B，配备两颗48核心处理器，共

2024-12-27

吃一口噎得脖子抻出二里地！这种酸奶爆火：2类人食用注意

最近，社交媒体刮起一阵“干噎酸奶”风。各种博主纷纷尝试，不断将其搭配花样推陈出新，不过大家的食用体验似乎都不怎么美好，得出了“吃一口脖子抻出二里地”的品尝心得。

2024-12-27

小米超级小爱首次开放：新增三大能力支持5种唤醒

快科技12月27日消息，今日，小米宣布澎湃OS 2首次OTA升级，超级小爱首次向正式版用户开放，小米15 系列、小米14 系列、REDMI K80系列、REDMI K70至尊版即日起开始灰度。据了解，超级

拾柒 2024-12-27

起飞！AMD锐龙9 9950X3D细节曝光：5.65GHz、128MB L3缓存

快科技12月27日消息，AMD即将发布的最新旗舰处理器锐龙9 9950X3D的CPU-Z截图曝光，我们也得以一见这款处理器的参数。截图显示，这款处理器拥有16核32线程，CPU 的版本号为GNR-B0 ，其中G

黑白 2024-12-27

科教兴国筑梦未来！比亚迪30亿教育慈善基金启动仪式

比亚迪30亿教育慈善基金启动仪式将于2024年12月30日10:30正式开始。科技兴则民族兴，教育强则国家强，比亚迪将携手众多高校和科技馆、博物馆，助力科教兴国。

振亭 2024-12-27

中国自己的K-car！五菱之光EV正式亮相：全车20处拓展空间

快科技12月27日消息，五菱汽车今日宣布，旗下五菱之光EV已于12月27日正式亮相。官方介绍，该车配备20处可拓展区域，具备对外放电和座椅纯平放倒功能。该车型预留了20处M6标准螺纹安装孔，

2024-12-27

一款革命性体验PC即将降临！联想官宣CES 2025 PC新品

快科技12月27日消息，联想官方宣布，将在北京时间2025年1月8日的CES 2025现场，发布多款革命性的笔记本电脑，其中预计包括全新的卷轴屏笔记本。联想表示，将在CES 2025发布多款革命性的笔记本

2024-12-27

超级小爱上线：小米15/REDMI K80系列首发尝鲜

快科技12月27日消息，今天，小米澎湃OS官微宣布，超级小爱首次面向正式版用户开放升级。据悉，超级小爱是小爱同学的超级AI进化版，致力于打造一个全生态的AI智能助手，它采用全新视觉设计，支

振亭 2024-12-27

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

美团无人机出海开门大吉：获迪拜商业运营首张证书！

小米澎湃OS 2首次重磅更新！张国全：坚决不做一锤子买卖

双路96核心！俄罗斯用上自研CPU：偷偷配八块NV GPU

吃一口噎得脖子抻出二里地！这种酸奶爆火：2类人食用注意

小米超级小爱首次开放：新增三大能力支持5种唤醒

起飞！AMD锐龙9 9950X3D细节曝光：5.65GHz、128MB L3缓存

科教兴国筑梦未来！比亚迪30亿教育慈善基金启动仪式

中国自己的K-car！五菱之光EV正式亮相：全车20处拓展空间

一款革命性体验PC即将降临！联想官宣CES 2025 PC新品

超级小爱上线：小米15/REDMI K80系列首发尝鲜

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响