Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

全球首台全高温超导托卡马克装置重磅突破：洪荒70性能显著提升中心场强超过1T

E公司记者最新获悉，近日，洪荒70高温超导托卡马克成功进行了超过标准设计工况的通流实验，在该实验中，托卡马克中心场强达到1.02特斯拉，最高场强达到3.1特斯拉，装置性能显著提升。洪荒70是能量奇点研发建设的全球首台全高温超导托卡马克实验装置。

和讯网 2024-12-31

系列纪录片带你走近大科学装置

人民网北京12月31日电(记者赵竹青)记者从中国科协获悉，由中国科协科学技术传播中心出品的系列科学纪录片《打开宇宙之门》近日在CCTV-9播出，带领观众走近国家重大科技基础设施，领略“大国重器”的风采。目前，我国已布局建设77个国家重大科技基础设施，在建和运行的大科学装置超过60个。

金台资讯 2024-12-31

从高达2.8米高空跳下毫无损伤！中国最新机器狗震撼全球，马斯克感叹：未来的战争是无人机的战争【附智能机器人行业现状】

近日，中国机器人创业公司宇树科技发布了最新机器狗产品B2-W的演示视频在全球范围内掀起了轩然大波，不少国外网友都表示被中国的科技实力震撼。它能够用四足、双足、单足快速点地的方式轻松完成360°旋转跳跃，动作流畅自然，仿佛打破了传统机械的束缚。

前瞻网 2024-12-31

搜狐号本周安全小贴士（12.24-12.30）

搜狐号小秘书 2024-12-31

发射两枚卫星，印度启动空间对接任务

印度极地卫星运载火箭2024年12月30日夜间搭载两枚卫星升空，为印度尝试空间对接任务拉开序幕。《印度斯坦时报》援引印度空间研究组织消息报道，这次发射升空的两枚卫星将用于印度“空间对接试验”(SpaDeX)任务，该任务旨在发展并展示航天器在近地轨道交会对接以及分离所需技术。

华尔街见闻 2024-12-31

元旦不停工坚守岗位施工忙

他们铆足干劲抢时间、赶进度，全力保障项目建设有序推进，在紧张、繁忙的施工中迎来了崭新的2025年，以实际行动诠释了新年的第一份担当与奉献。

东方网 2024-12-31

中国测试军用5G，机器人将取代解放军战士，成为未来战场主力？

公司正是向这个难题发起攻坚。论文提到的多架无人机交替方案根据论文的解释，我国科研院队开发的这款移动式基站平台，实际上是一套基于空地一体化组网技术的“机动通信保障方案”，整个系统由空中和地面两部分组成：空中部分包括卫星转发器和无人机通信节点；地面部分包括通信节点、终端和远端节点。

邵永灵 2024-12-31

盘点2024年航空发动机制造商的关键词

2024年的最后一天，让我们盘点一下航空发动机制造商们的年度关键词。2024年11月，第15届中国航展召开，中国航发展出了CJ1000A发动机、AES100发动机、AEF1200发动机等多款明星产品。

看航空 2024-12-31

3DM 2024硬件年度最佳评选：年度好物一网打尽

元旦将至，3DM硬件编辑部在这里祝屏幕前的小伙伴们在新的一年，财源滚滚，好运连连。事不宜迟，现在让我们一起来看看2024年度最佳究竟是哪些产品呢？C面金属经过阳极氧化处理，手感舒适，并且提供了很好的支撑性。

3DM游戏 2024-12-31

2024年四季度贵阳贵安数字应用场景发布会举行

方、贵州海之晨人工智能科技有限公司等科技企业作相关主题演讲，通过分享数字经济创新成果与实战案例，全面呈现了前沿技术在赋能产业升级上的智能化应用。贵安发展集团中软云智经济运行解决方案专家李鹏飞说，这次公司发布的场景主要围绕区域经济分析、行业分析、产业分析，当前，系统已建成，正在对接贵安发展云的大模型展开赋能。

贵阳网 2024-12-31

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

全球首台全高温超导托卡马克装置重磅突破：洪荒70性能显著提升中心场强超过1T

系列纪录片带你走近大科学装置

从高达2.8米高空跳下毫无损伤！中国最新机器狗震撼全球，马斯克感叹：未来的战争是无人机的战争【附智能机器人行业现状】

搜狐号本周安全小贴士（12.24-12.30）

发射两枚卫星，印度启动空间对接任务

元旦不停工坚守岗位施工忙

中国测试军用5G，机器人将取代解放军战士，成为未来战场主力？

盘点2024年航空发动机制造商的关键词

3DM 2024硬件年度最佳评选：年度好物一网打尽

2024年四季度贵阳贵安数字应用场景发布会举行

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响