Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

任天堂Switch 2据悉或于明年3月发售

钛媒体App12月30日消息，相关报道援引消息人士透露，任天堂Switch2预计将于明年3月28日发售。

钛媒体快报 2024-12-30

天马Micro-LED产线顺利全制程贯通

2024年12月30日，天马Micro-LED产线在厦门成功实现全制程贯通。本次全制程贯通仪式现场点亮的是天马自主研发生产的PID标准显示单元模块。该标准模块以天马LTPS基玻璃背板为基础，利用天马Micro-LED产线自研的全激光巨量转移工艺，可打破传统显示尺寸限制，实现无尺寸限制的无边框拼接显示。

证券时报 2024-12-30

智能恒温，海尔燃气热水器JSLQ27-16E5DLPCU1：补贴下的节能新贵

#年货节好物集市#海尔作为全球知名的家电品牌，其燃气热水器产品一直以高品质、创新技术和卓越性能著称。海尔燃气热水器在市场上的表现尤为突出，凭借其超一级能效、节能增压、变频水伺服等先进技术，为用户提供了舒适、节能、安全的洗浴体验。海尔燃气热水器不仅在技术上不断创新，更在用户体验上追求极致，致力于为用户提供更加舒适、节能、安全的洗浴体验。

小米地瓜 2024-12-30

曝vivo明年将推出MR设备部分指标和体验超Vision Pro

【CNMO科技消息】12月30日，CNMO注意到，博主“数码闲聊站”披露了vivo明年的一系列动向。vivo将推出新一代自研影像芯片，而首款搭载该芯片的新机无疑是vivoX200Ultra。据悉，vivoX200Ultra在影像方面将主要聚焦于长焦拍摄和视频录制。

手机中国 2024-12-30

昆明理工大学举行中外师生文艺晚会

中新网云南新闻12月28日电(记者缪超)27日晚，“梦想起航世界同行”——昆明理工大学第十二届“红土情·世界风”中外师生文艺晚会在呈贡校区红土会堂举行。

中国新闻网 2024-12-30

ThinkPad X1 Carbon Aura打破技术壁垒，树立AI PC新典范

随着各大电脑厂商陆续推出并迭代自身的AIPC产品，用户对AIPC的期望也在不断提升，从单纯的性能提升，到多场景智能化体验的升级，再到多设备的智能协作，用户愈发注重个性化需求的满足与高效便捷的交互方式。它以120TOPS的AI算力、重量低于1千克（986克）的轻薄设计，以及行业首创的跨生态协作能力，树立了AIPC行业发展的新标杆。

砍柴网 2024-12-30

上海锋机五金模具取得一种高压泵组用便于清洁的水箱专利，后期维护少

金融界2024年12月30日消息，国家知识产权局信息显示，上海锋机五金模具有限公司取得一项名为“一种高压泵组用便于清洁的水箱”的专利，授权公告号CN222220619U，申请日期为2024年11月。

金融界 2024-12-30

天马 Micro LED 产线顺利全制程贯通：无尺寸限制的无边框拼接

IT之家12月30日消息，天马微电子宣布，天马MicroLED产线今日在厦门成功实现全制程贯通。本次全制程贯通仪式现场点亮的是天马自主研发生产的PID标准显示单元模块。该标准模块以天马LTPS基玻璃背板为基础，利用天马MicroLED产线自研的全激光巨量转移工艺，可打破传统显示尺寸限制，实现无尺寸限制的无边框拼接显示。

IT之家 2024-12-30

Turbo 4来了！REDMI送上最有创意的邀请函：超级能效大礼包

快科技12月30日消息，博主体验more晒出了REDMITurbo4邀请函——超级能效大礼包，包含一个开心果抱枕和四袋三只松鼠开心果。据悉，和REDMIK80“狂暴辣”的谐音梗一样，REDMITurbo4的谐音梗是“超级能效”（超级能笑），突出了REDMITurbo4的卖点——领先的能效。

快科技 2024-12-30

279元小米米家智能桌面鱼缸发布：竖式缸体不占地支持远程喂食

快科技12月30日消息，今日，米家智能桌面鱼缸在小米商城、小米有品上架，将于2025年1月1日上午10:00众筹开售，建议零售价299元，众筹价279元。ID设计上，米家智能桌面鱼缸采用竖式设计，高度324mm，10L容量，占地尺寸20.4*22.5cm，适合小桌面摆放。

驱动之家 2024-12-30

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

任天堂Switch 2据悉或于明年3月发售

天马Micro-LED产线顺利全制程贯通

智能恒温，海尔燃气热水器JSLQ27-16E5DLPCU1：补贴下的节能新贵

曝vivo明年将推出MR设备部分指标和体验超Vision Pro

昆明理工大学举行中外师生文艺晚会

ThinkPad X1 Carbon Aura打破技术壁垒，树立AI PC新典范

上海锋机五金模具取得一种高压泵组用便于清洁的水箱专利，后期维护少

天马 Micro LED 产线顺利全制程贯通：无尺寸限制的无边框拼接

Turbo 4来了！REDMI送上最有创意的邀请函：超级能效大礼包

279元小米米家智能桌面鱼缸发布：竖式缸体不占地支持远程喂食

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响