Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

科技释放绿色动能

在河南省周口市郸城县，河南金丹乳酸科技股份有限公司以其全产业链的生物降解新材料，为塑料污染问题提供解决方案。该公司董事长张鹏向记者介绍，将玉米粒加工成聚乳酸生物可降解材料，并将其改性制作成生活用品和医疗用品，最终降解为水和二氧化碳，形成生态循环，以“绿色循环”破解“白色污染”难题。

经济日报 2024-12-27

消息称联想 CES 2025 将推出“人工智能旅行套装”

IT之家12月27日消息，据消息源EvanBlass透露，联想将在CES2025中公布一款“人工智能旅行套装”。据消息源称，该套装将包含一个智能腕带、一款TWS耳机和一个配备摄像头的吊坠，可与用户的智能手机进行连接以实现AI功能，为用户提供快速即时的AI见解。

IT之家 2024-12-27

引入“四张网” 以应用场景为导向

全球首条跨海跨城eVTOL电动垂直起降航空器航线，在深圳蛇口首次公开演示飞行。　12月25日，深圳市低空经济标准化技术委员会第一次全体会议在深圳市交通运输局召开。本次会议以推动低空经济领域标准化建设为主题，旨在助力行业规范化发展与技术创新。会上发布了《深圳市低空经济标准体系建设指南(V1.0)》(下称《指南(V1.0)》)。

南方都市报 2024-12-27

如何轻松打开本地安全策略，提升电脑安全性和管理权限

在日常使用电脑的过程中，很多朋友可能会遇到需要调整本地安全策略的情况。尤其是当你想要提高电脑的安全性，或者是对某些特定的设置进行更改时，了解如何打开本地安全策略就显得尤为重要。今天，我们就来聊聊这个话题，帮你一步步搞定本地安全策略的打开方法。首先，咱们得知道本地安全策略是什么。

新报观察 2024-12-27

给工厂装“大脑” 让产线上“云端”（高质量发展看亮点·走一线）

上门诊断，帮助作坊式企业成长为数字工厂；发挥链主企业带动作用，形成产业集群转型升级的乘数效应；丰富服务商资源池，持续强化政策精准供给……江苏以“智改数转网联”为抓手，不断促进数字技术和实体经济深度融合，信息化和工业化融合发展水平实现提升。江苏不断推进“智改数转网联”，给工厂装“大脑”，让产线上“云端”，累计实施改造项目约5.6万个。

金台资讯 2024-12-27

钧崴电子科技股份有限公司首次公开发行股票并在创业板上市发行公告

发行人自成立以来始终致力于围绕核心业务进行技术研发,建立了涵盖材料应用、结构设计、制程工艺、设备和产线自动化等多方面的技术体系,掌握了多项核心专有技术,构建了完备的研发体系,形成了良好的研发机制。

证券时报 2024-12-27

苹果在法国停售部分旧款iPhone：遵从欧盟新规

据相关报道，苹果公司已经停止在法国AppleStore线下销售iPhone14、iPhone14Plus以及第三代iPhoneSE。根据欧盟的规定，从2024年底开始，所有电子设备必须采用USB-C充电接口，而苹果此前发布的iPhone14系列及第三代iPhoneSE仍使用Lightning接口。

中关村在线 2024-12-27

该给虚火过旺的AI培训降降温了

不少培训机构纷纷推出人工智能相关课程，声称只要花钱报名相关课程就能“包就业”或“推荐就业”，找到高薪工作。数据显示，截至2024年6月，我国生成式人工智能产品的用户规模达2.3亿人，占整体人口的16.4%。这让一些培训机构看到了商机，趁此机会推出各种“AI课程”，声称能够帮助学员实现“AI技能变现”。

北青网 2024-12-27

超值补贴，海尔BCD-418WGHTDB9WVU1：超薄零嵌入，智能变温

#年货节好物集市#海尔，作为全球知名的家电品牌，以其专业的制冷技术和创新能力，一直走在家电行业的前列。海尔冰箱以其卓越的品质、创新的科技和用户至上的服务理念，赢得了全球消费者的信任和青睐。海尔冰箱不断推陈出新，以满足现代家庭对高品质生活的追求，其专业性不仅体现在产品的制造工艺上，更在于对用户需求的深刻理解和满足。

小米地瓜 2024-12-27

“春节后的订单已经来了”

省级临江新区低碳产业园，位于南充市顺庆区共兴镇，是省级重点项目之一。12月25日，记者走进园区，多个绿色低碳项目建设正酣。正值岁末，已有企业接到农历蛇年春节后的订单。康新铝业节能新材料产业基地，是园区“智改数转”重点项目之一。行走在车间，精密的仪器，现代化的生产线，都争分夺秒地诠释着“制造”和“智造”的蓬勃生产力。

封面新闻 2024-12-27

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

科技释放绿色动能

消息称联想 CES 2025 将推出“人工智能旅行套装”

引入“四张网” 以应用场景为导向

如何轻松打开本地安全策略，提升电脑安全性和管理权限

给工厂装“大脑” 让产线上“云端”（高质量发展看亮点·走一线）

钧崴电子科技股份有限公司首次公开发行股票并在创业板上市发行公告

苹果在法国停售部分旧款iPhone：遵从欧盟新规

该给虚火过旺的AI培训降降温了

超值补贴，海尔BCD-418WGHTDB9WVU1：超薄零嵌入，智能变温

“春节后的订单已经来了”

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响