Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

全民K歌：畅享音乐乐趣，分享心声与感动的完美平台

就像大家的生活中总少不了的音乐一样，这款应用也慢慢渗透进了我们的日常。无论是在聚会上，还是在独自一人的时候，我们都能通过它找到属于自己的快乐。

新报观察 2024-12-28

无锡芯灵微电子取得一种压力传感器的批量检测装置专利，能够解决压力传感器批量检测时的相关问题

金融界2024年12月28日消息，国家知识产权局信息显示，无锡芯灵微电子有限公司取得一项名为“一种压力传感器的批量检测装置”的专利，授权公告号CN222212078U，申请日期为2024年5月。

金融界 2024-12-28

如何在苹果手机上拍摄生动有趣的动态照片技巧

今天就来聊聊怎么在苹果手机上拍动态照片，让你的照片更加生动有趣。这个功能允许你的手机在拍照的同时录制短短几秒钟的视频，让照片不仅仅是一张静态的图像，而是一个小小的动态场景。轻轻按下快门按钮，手机会在你按下的那一瞬间开始录制，实际上它会录制你按下快门前后的几秒钟。

新报观察 2024-12-28

消息称 iQOO 神秘新机测试苹果同款压感按键

IT之家12月28日消息，博主@数码闲聊站今日爆料称，iQOO神秘新机测试苹果同款压感按键，或许是用于肩键（存疑），手板是搭配定制大尺寸马达+极窄纯直屏。IT之家注意到，今年9月发布的iPhone16系列手机在机身侧面配备一个拍照按键，具有触觉反馈功能，点击即可启动相机应用程序。

IT之家 2024-12-28

苏州亿赛测控技术取得电机扭矩动静态测试设备专利，能够对电机动静态扭矩进行交替测试

金融界2024年12月28日消息，国家知识产权局信息显示，苏州亿赛测控技术有限公司取得一项名为“种电机扭矩动静态测试设备”的专利，授权公告号CN222212047U，申请日期为2024年5月。

金融界 2024-12-28

苏州市东拓新能源取得气密检测机专利，操作更加方便

金融界2024年12月28日消息，国家知识产权局信息显示，苏州市东拓新能源有限公司取得一项名为“一种气密检测机”的专利，授权公告号CN222212095U，申请日期为2024年5月。专利摘要显示，本实用新型提供一种气密检测机。

金融界 2024-12-28

宇宙新 X 射线源 Millinovae 被发现，亮度是太阳的 100 倍以上

12月28日消息，由华沙大学天文台带领的国际天文学家团队发现了一类全新的宇宙X射线源Millinovae，这一突破性发现发表于《天体物理学杂志快报》，为神秘的天体现象提供了新的线索。IT之家注：在公众视野中，X射线主要应用于医疗领域，帮助生成骨骼图像或诊断肺部疾病等疾病。

IT之家 2024-12-28

闻道虽有先后，专攻或可超车？——母机上的“黑马”跑进链博会

如果按照控制方式来分类，可分为数控机床和普通机床，而数控化是先进制造机床的大趋势。

中国对外贸易杂志 2024-12-28

河北润宏管道取得试压夹紧装置专利，便于手动对管件进行固定

金融界2024年12月28日消息，国家知识产权局信息显示，河北润宏管道有限公司取得一项名为“一种试压夹紧装置”的专利，授权公告号CN222212090U，申请日期为2024年4月。

金融界 2024-12-28

全面解析投影仪：选择、使用与维护的实用指南

投影仪，这个在现代生活中越来越常见的电子产品，真的是个神奇的东西。无论是在家看电影、玩游戏，还是在学校、公司进行演示，它都能让我们的体验大大提升。今天，就来聊聊投影仪的方方面面，看看它到底是个怎样的“宝贝”。

新报观察 2024-12-28

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

全民K歌：畅享音乐乐趣，分享心声与感动的完美平台

无锡芯灵微电子取得一种压力传感器的批量检测装置专利，能够解决压力传感器批量检测时的相关问题

如何在苹果手机上拍摄生动有趣的动态照片技巧

消息称 iQOO 神秘新机测试苹果同款压感按键

苏州亿赛测控技术取得电机扭矩动静态测试设备专利，能够对电机动静态扭矩进行交替测试

苏州市东拓新能源取得气密检测机专利，操作更加方便

宇宙新 X 射线源 Millinovae 被发现，亮度是太阳的 100 倍以上

闻道虽有先后，专攻或可超车？——母机上的“黑马”跑进链博会

河北润宏管道取得试压夹紧装置专利，便于手动对管件进行固定

全面解析投影仪：选择、使用与维护的实用指南

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响