Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

金橙子：持续开展专利工作促进业务拓展

企查查显示，金橙子近期提交了“一种连续运动无尺寸限制的量具加工方法”“一种便于固化板卡的方法、系统及存储介质”的专利申请。2024年，公司还取得了“一种基于哈希表索引的密钥查找方法和计算机可读存储介质”“一种多振镜头同步加工方法”“一种基于A3幅面扫描仪的分区域扫描大幅面振镜校正系统”“一种对环形图案的交叉填充方法及存储介质”等多项专利。

中国证券报 2024-12-25

三星折叠屏业务“折叠”！销量逆势大跌，被中国品牌彻底打懵了？

基于这些优点，尽管大多数折叠屏手机价格昂贵，但购买的消费者络绎不绝。据美国科技媒体AndroidAuthority报道，因市场降温，三星计划明年缩减折叠屏手机布局，为应对市场寒冬，三星还将推出更加轻薄的GalaxyS25Slim。

雷科技 2024-12-25

恒为科技：有智能巡检机器人、光伏清扫机器人等产品

有投资者在投资者互动平台提问：请问，公司在机器人方面有哪些产品？恒为科技（603496.SH）12月25日在投资者互动平台表示，公司有智能巡检机器人、光伏清扫机器人等产品。公司在机器人领域没有与华为合作。

每日经济新闻 2024-12-25

年末暖心回馈，总有一款适合你！华为服务回馈礼遇推出多重温暖服务权益

11月11日至12月31日，华为开展华为服务回馈礼遇活动，推出多重服务权益，涵盖用户维修、增值服务等，为用户带来暖心关怀、贴心服务。活动期间，手机、平板、PC、穿戴设备到店维修或寄修，换电池享受立减50元优惠。

上游新闻 2024-12-25

微信更新：支持图片评论

此前微信在朋友圈支持图片评论，当时朋友圈出现了各种“斗图”，但不知为何，最后这个功能还是下线了。然而最近微信官方正式宣布，微信视频号支持图片评论，用户在视频号依次点击评论—表情图标，现在里面多了自定义表情以及收藏的表情包，我们选择一个直接发送即可。除了视频号之外，最近微信公众号也支持图片评论了，而且方法很简单。

简科技 2024-12-25

超强性能与便携并存！ThinkPad X1 Carbon Aura AI元启版重新定义商务本

随着AI技术的深入应用，从数据分析到内容生成，再到高效日程管理，智能办公已成为商务人士不可或缺的需求。这款集三大革新、至轻机身、超长续航于一体的AI全互联精英商务本，将打造AIPC新标杆，为用户开启前所未有的高效办公体验。

砍柴网 2024-12-25

AI赋能基层治理 “数智枫景”法治地图云平台上线

该平台自11月试运行以来，已提供近百次法律咨询服务，并为重点企业提供智能化风险防控建议。记者在发布现场看到，云平台可呈现“营商发展、法治政府、平安社会、家事和谐、生态环境”五大司法场景，具备“精准预警、数助决策、协同治理”三大功能。

北京日报 2024-12-25

5G赋能新质生产力，宝山区企业荣获全国二等奖！

近日，第七届“绽放杯”5G应用征集大赛全国总决赛在上海圆满落幕。其中，宝山钢铁股份有限公司（以下简称“宝钢”）“5G增强融合网络，赋能宝钢股份智慧铁厂跨域协同创新实践”项目，荣获本次全国总决赛二等奖。

东方网 2024-12-25

iPhone 17屏幕升级：灵动岛更小了

近日，有消息称苹果公司计划在即将推出的iPhone17Pro系列中引入Metalens技术，旨在缩小FaceID模组，进而减小前置摄像头区域的“灵动岛”开孔。这一变动标志着自iPhone14Pro引入灵动岛设计以来，iPhone正面外观将迎来首次显著改变。

中关村在线 2024-12-25

河北廊坊：金融赋能科技企业创新发展

新华社北京12月25日电　《经济参考报》12月25日刊发记者刘桃熊采写的文章《河北廊坊：金融赋能科技企业创新发展》。文章称，科技企业的蓬勃发展成为当今社会推动经济转型升级的关键力量，而科技企业在创新发展过程中时常会面临资金短缺的挑战。

环球时报军事 2024-12-25

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

金橙子：持续开展专利工作促进业务拓展

三星折叠屏业务“折叠”！销量逆势大跌，被中国品牌彻底打懵了？

恒为科技：有智能巡检机器人、光伏清扫机器人等产品

年末暖心回馈，总有一款适合你！华为服务回馈礼遇推出多重温暖服务权益

微信更新：支持图片评论

超强性能与便携并存！ThinkPad X1 Carbon Aura AI元启版重新定义商务本

AI赋能基层治理 “数智枫景”法治地图云平台上线

5G赋能新质生产力，宝山区企业荣获全国二等奖！

iPhone 17屏幕升级：灵动岛更小了

河北廊坊：金融赋能科技企业创新发展

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响