Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

苹果如何通过质量、服务与创新赢得消费者信任的深度分析

苹果，这个我们每个人都耳熟能详的名字，似乎已经成了现代科技生活的代名词。无论是那款流行的手机，还是那台功能强大的电脑，苹果似乎总能带给我们一种无与伦比的信任感。那么，苹果到底是如何赢得这么多消费者的信任呢？我们可以从多个方面来分析这个问题。首先，苹果的产品质量毋庸置疑。无论是外观设计还是内部构造，苹果都以其精湛的工艺和严格的质量控制著称。

新报观察 2024-12-26

维达力申请Cr-Zr-N合金涂层用于基材表面导电涂层应用专利，作为导电涂层兼具较好导电性能和优异耐腐蚀性能

金融界2024年12月26日消息，国家知识产权局信息显示，维达力实业（深圳）有限公司申请一项名为“Cr-Zr-N合金涂层用于基材表面的导电涂层的应用”的专利，公开号CN119177443A，申请日期为2023年6月。专利摘要显示，本发明涉及一种Cr‑Zr‑N合金涂层用于基材表面的导电涂层的应用。

金融界 2024-12-26

四川博正达机械密封件科技取得金属包装箱平口数控圆盘锯机床专利，加快了对物件切割速度

金融界2024年12月26日消息，国家知识产权局信息显示，四川博正达机械密封件科技有限公司取得一项名为“一种金属包装箱平口数控圆盘锯机床”的专利，授权公告号CN222199116U，申请日期为2024年5月。

金融界 2024-12-26

湖北兴福申请一种钼的磷酸基蚀刻液专利，能对金属钼沉积层有效蚀刻且蚀刻后表面无残余、粗糙度降低

金融界2024年12月26日消息，国家知识产权局信息显示，湖北兴福电子材料股份有限公司申请一项名为“一种钼的磷酸基蚀刻液”的专利，公开号CN119177450A，申请日期为2024年10月。

金融界 2024-12-26

华为官方翻新机开售！售价仅4288元起

具体而言，华为Mate60Pro有三种配置可供选择：12GB+256GB售价4999元（原价6499元），12GB+512GB售价5499元（原价6999元），12GB+1TB售价6499元（原价7999元）。

中关村在线 2024-12-26

三星 Galaxy S25 系列想要 Qi2 无线充电，需额外购买磁吸手机壳

IT之家12月26日消息，科技媒体SamMobile昨日（12月25日）发布博文，报道称三星GalaxyS25系列手机需要搭配官方的“磁吸保护壳”，才能体验Qi2的磁吸无线充电功能。

IT之家 2024-12-26

苹果手机截屏技巧详解：简单操作与实用功能分享

今天就来和大家聊聊怎么在苹果手机上截屏，顺便分享一些小技巧，让你的截屏体验更加顺滑。你只需要在“设置”里找到“辅助功能”，然后打开“触控”，接着选择“辅助触控”并开启。

新报观察 2024-12-26

轻松掌握文件转换为PDF格式的多种方法与技巧

在日常生活中，我们经常会遇到需要将文件转换成PDF格式的情况。无论是工作报告、学习资料，还是个人文档，PDF格式都因其良好的兼容性和排版稳定性而受到广泛欢迎。今天，我们就来聊聊如何将各种文件转换成PDF格式，过程其实并不复杂，跟着我一步一步来就好。在开始之前，先说说为什么PDF格式这么受欢迎。

新报观察 2024-12-26

华为智能配件产品iFTTR全光家庭存储模块曝光,售价293元

华为智能配件产品“HUAWEIKNAS01-256G”近日现身中国电信终端产品库，这款产品的零售价格为293元。据悉，KNAS01-256G是华为的iFTTR全光家庭存储模块，需要配合带有家庭存储接口的华为FTTR设备使用。根据官方介绍，这款存储模块采用了本地和云端双备份的方式，可以实现用户数据的存储功能。

中关村在线 2024-12-26

索尼PS5已进入生命周期后半段 2024年将迎多项变革

索尼公司正式告别了PS4时代，并为下一代独占大作奠定了基础。在硬件方面，PS5Pro的推出提供了更强大的性能和更出色的画面表现，但定价较高，目前来看只能算是一种“锦上添花”的升级。《地狱潜者2》等第三方游戏在PS5平台上获得广泛关注和好评。

中关村在线 2024-12-26

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

苹果如何通过质量、服务与创新赢得消费者信任的深度分析

维达力申请Cr-Zr-N合金涂层用于基材表面导电涂层应用专利，作为导电涂层兼具较好导电性能和优异耐腐蚀性能

四川博正达机械密封件科技取得金属包装箱平口数控圆盘锯机床专利，加快了对物件切割速度

湖北兴福申请一种钼的磷酸基蚀刻液专利，能对金属钼沉积层有效蚀刻且蚀刻后表面无残余、粗糙度降低

华为官方翻新机开售！售价仅4288元起

三星 Galaxy S25 系列想要 Qi2 无线充电，需额外购买磁吸手机壳

苹果手机截屏技巧详解：简单操作与实用功能分享

轻松掌握文件转换为PDF格式的多种方法与技巧

华为智能配件产品iFTTR全光家庭存储模块曝光,售价293元

索尼PS5已进入生命周期后半段 2024年将迎多项变革

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响