LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

作者：机器之心发布时间：2023-06-05

随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。一方面，开源的 LLM 模型不断涌现，比如 OPT、BLOOM、LLaMA 等，这些预训练模型的推出极大...【查看原文】

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

机器之心专栏机器之心编辑部近日，来自卡耐基梅隆大学（CMU）的CatalystGroup团队发布了一款「投机式推理」引擎SpecInfer，可以借助轻量化的小模型来帮助大模型，在完全不影响生成内容准确度的情况下，实现两到三倍的推理加速。随着ChatGPT的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。

清华 ChatGPT

机器之心Pro 2023-05-30

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

由普林斯顿和谷歌DeepMind联合提出的全新「思维树」框架，让GPT-4可以自己提案、评估和决策，推理能力最高可提升1750%。

GPT-4 清华谷歌

新智元 2023-05-22

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

机器之心发布作者：宁雪妃、周紫轩（无问芯穹TechView）近年来，大语言模型（LargeLanguageModels,LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。

清华大语言模型人工智能 ChatGPT Copilot

机器之心Pro 2024-06-14

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、

清华大语言模型人工智能 ChatGPT

机器之心 2024-06-13

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

随着大语言模型（Large Language Models）的爆火，例如 ChatGPT，GPT-4，PaLM，LLaMA 等，如何让大语言模型更好的应对有很长的上下文信息（超出其最大处理长度）的场景

清华大语言模型 LLaMA ChatGPT GPT-4

机器之心 2023-06-29

近期资讯

海军四川舰正式出坞：我国自主研制建造的首艘 076 型两栖攻击舰

IT之家 2024-12-29

韩国客机碰撞起火：消防预计除救出的2人外，其余179人全部遇难

IT之家 2024-12-29

年底打脸复盘 | 2024年营销趋势猜想

在营销领域，预测和趋势分析一直是指导品牌和营销人员制定策略的重要工具。本文是作者连续第七年对年度营销趋势的猜想和复盘，深入探讨了2024年营销界的热点和变化。

刘欣 2024-12-29

短剧大爆发之年，观众更爱哪些内容？

2024年，短剧以其紧凑的叙事和贴近生活的内容，迎来了爆发式的增长，成为数字内容消费的新宠。本文深入分析了短剧市场的发展趋势，探讨了观众偏好的变化以及短剧如何通过创新的内容和商业模式吸引和留住观众。

克劳锐 2024-12-29

韩国全罗南道消防署：大部分失踪者死亡，已转入善后工作

36氪 2024-12-29

研究：人工智能加剧空气污染，到 2030 年或致每年千余人过早死亡

IT之家 2024-12-29

如何轻松上手PS4：从设置到游戏体验的全面指南

PS4，也就是PlayStation4，是索尼推出的一款非常受欢迎的游戏主机。自从它发布以来，吸引了无数玩家的关注。今天就来聊一聊，PS4到底该怎么使用，怎么设置，怎么玩得更开心。总之，PS4的使用其实没有想象中那么复杂，掌握了基本的设置和操作方法，便能尽情享受游戏的乐趣。

新报观察 2024-12-29

如何轻松设置电话视频通话：设备、软件及网络指南

在这个数字化的时代，电话视频已经成为我们日常沟通中不可或缺的一部分。无论是和朋友聊天，还是进行工作会议，视频通话都能让我们更直观地交流。

新报观察 2024-12-29

如何高效批量删除微信朋友圈内容，轻松管理社交生活

在这个信息爆炸的时代，微信已经成为我们生活中不可或缺的一部分。朋友圈作为微信的一大特色功能，让我们能够分享生活中的点滴，记录美好瞬间。然而，随着时间的推移，朋友圈里的内容可能会越来越多，有些甚至是我们不想再保留的。于是，很多人开始思考一个问题：怎么才能批量删除朋友圈的内容呢？

新报观察 2024-12-29

产品设计经理必备：快速筛选需求的秘籍

在需求管理过程中，需求筛选可以帮助我们更好确定后续的设计方向，是必不可少的一环。本文作者通过案例和方法模型，给大家分享了不少需求筛选的实战经验，供大家参考。

不是作家 2024-12-29

LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

推荐体验

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

近期资讯

海军四川舰正式出坞：我国自主研制建造的首艘 076 型两栖攻击舰

韩国客机碰撞起火：消防预计除救出的2人外，其余179人全部遇难

年底打脸复盘 | 2024年营销趋势猜想

短剧大爆发之年，观众更爱哪些内容？

韩国全罗南道消防署：大部分失踪者死亡，已转入善后工作

研究：人工智能加剧空气污染，到 2030 年或致每年千余人过早死亡

如何轻松上手PS4：从设置到游戏体验的全面指南

如何轻松设置电话视频通话：设备、软件及网络指南

如何高效批量删除微信朋友圈内容，轻松管理社交生活

产品设计经理必备：快速筛选需求的秘籍

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响