Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

作者：量子位发布时间：2023-12-06

斯坦福编程 ChatGPT

现在ChatGPT等大模型一大痛点：处理长文本算力消耗巨大，背后原因是Transformer架构中注意力机制的二次复杂度。 FlashAttention作者Tri Dao参与提出的新架构，成为有力挑...【查看原文】

相关资讯

ChatGPT 的挑战者，出现了！

十年前，移动互联网充满朝气，每天都有新芽从智能手机的沃土中长出。十年后，我们早已习惯了Web2.0社

ChatGPT

appso 2023-01-15

斯坦福开源FlashAttention，大模型速度翻倍

一年时间，斯坦福大学提出的新型 Attention 算法 ——FlashAttention 完成了进化。这次在算法、并行化和工作分区等方面都有了显著改进，对大模型的适用性也更强了。近来，几种长上下文语言模型陆续问世，包括 GPT-4（上下文长度为 32k）、MosaicML 的 MPT（上下文长度为 65k）Anthropic 的 Claude（上下文长度为 100k）。长文档查询和故事写作等新兴用例已经表明扩展语言模型上下文窗口是非常必要的。然而，扩大 Transformer 的上下文长度是一

斯坦福 GPT-4 Claude

AI研习所 2023-07-25

AppSo 2023-01-26

近期资讯

电脑频繁重启的原因分析与解决方法总结

电脑一直重启，这可真让人头疼。想象一下，你正忙着写报告或者打游戏，突然电脑黑屏，然后又重新启动。每次都得等它重启，这种情况绝对会让人抓狂。那到底是什么原因导致电脑一直重启呢？今天我们就来聊聊这个问题，看看能不能找到解决的方法。首先，最常见的原因之一就是硬件故障。

新报观察 2024-12-31

华为将于1月3日发新机畅享70X搭载双向北斗卫星消息

据华为消息，华为畅享70X将于2025年1月3日发布，全系搭载双向北斗卫星消息功能，并搭载麒麟8000A处理器、HarmonyOS4.2。

金融界 2024-12-31

可折叠iPhone或与iPhone 18同步发布

苹果可折叠iPhone的消息最近有点多，现在又有劲爆的新料，最新的报道显示，苹果正逐步接近发表其折叠新品的时机。爆料人称，苹果的首款折叠手机将在2026年5月进入量产，并且目前预计将在9月，也就是与其他iPhone一同发表。

中关村在线 2024-12-31

【汽车】小米首款SUV实车YU7再曝光外观给几分？

前不久工信部和小米官方微博公布了小米汽车旗下首款SUV车型——小米YU7的证件照和海报图，近日关于小米YU7无伪装实车有更多曝光图。网传上图可能是小米YU7标准版的测试车，未配备激光雷达，推测可能采用纯视觉驱动的智能驾驶方案，外观设计和高阶版整体风格保持一致，车尾还有类似SU7的土星环尾灯。

小白测评 2024-12-31

华为服务日更新三大权益，更温暖的服务拿捏住了

新的权益加入后，2025年华为服务日活动阵容空前强大，活动涵盖手机、平板、笔记本电脑、穿戴、智能眼镜、耳机等多类产品，这下无论你是哪类华为产品的用户，只要在2025年1月1日-12月31日中每个月第一个连续的周五周六周日到华为服务授权中心，就能美滋滋地在华为服务日享受温暖服务了。

雷科技 2024-12-31

TCL C11K 灵悉 QD-MiniLED 电视发布，11999 元起

IT之家12月31日消息，TCL今日推出了一款C11K灵悉QD-MiniLED电视，当前上架65英寸和75英寸版本，定价分别为11999元和15999元。

IT之家 2024-12-31

曝小米旗舰线屏幕规划不变 Pro/Ultra机型不会切直屏

不过，12月31日，数码博主@数码闲聊站爆料，小米旗舰线目前规划依旧是“小尺寸直屏+大尺寸等深微曲屏”，Pro/Ultra不会切直屏。

手机中国 2024-12-31

iBuyPower 新款整机现身：配英伟达 RTX 5080 / 5070 Ti 显卡

IT之家12月31日消息，海外整机厂商iBuyPower官网的support/faq/retail页面现已出现5款配备英伟达GeForceRTX508016GB/5070Ti16GB显卡的整机。

IT之家 2024-12-31

让大模型“看得懂”，腾讯混元多模态图文理解模型居全球第一梯队

2024年以来，大模型测评领域也有新变化，为了避免“刷榜”，大模型测评机构推出“角斗场”（Arena）模式，采用随机选择模型“打擂台”的形式，面向用户开放，通过直接的提问命令和打分累计进行排名，以衡量模型能力，有效反应模型在真实应用场景中的表现。

砍柴网 2024-12-31

服务之星筑口碑，一路闪耀引客户奔赴

37岁的他，自2013年加入这个大家庭以来，便以满腔的热情和专业的技能，在亳州这片土地上默默耕耘，为千家万户编织着网络的温情。

砍柴网 2024-12-31

Transformer挑战者出现！斯坦福CMU联合团队，模型代码都开源

推荐体验

相关资讯

ChatGPT 的挑战者，出现了！

斯坦福开源FlashAttention，大模型速度翻倍

斯坦福学生AI团队抄袭国产大模型背后开源模型能摆脱抄袭阴影吗

中国开源大模型技术有多强——通义千问 “霸榜” 开源榜单、斯坦福团队“抄袭”清华系大模型

Hunt Good 周报｜ChatGPT 的挑战者，出现了！

近期资讯

电脑频繁重启的原因分析与解决方法总结

华为将于1月3日发新机畅享70X搭载双向北斗卫星消息

可折叠iPhone或与iPhone 18同步发布

【汽车】小米首款SUV实车YU7再曝光外观给几分？

华为服务日更新三大权益，更温暖的服务拿捏住了

TCL C11K 灵悉 QD-MiniLED 电视发布，11999 元起

曝小米旗舰线屏幕规划不变 Pro/Ultra机型不会切直屏

iBuyPower 新款整机现身：配英伟达 RTX 5080 / 5070 Ti 显卡

让大模型“看得懂”，腾讯混元多模态图文理解模型居全球第一梯队

服务之星筑口碑，一路闪耀引客户奔赴

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响