LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

作者：机器之心发布时间：2023-06-05

随着 ChatGPT 的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。一方面，开源的 LLM 模型不断涌现，比如 OPT、BLOOM、LLaMA 等，这些预训练模型的推出极大...【查看原文】

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

机器之心专栏机器之心编辑部近日，来自卡耐基梅隆大学（CMU）的CatalystGroup团队发布了一款「投机式推理」引擎SpecInfer，可以借助轻量化的小模型来帮助大模型，在完全不影响生成内容准确度的情况下，实现两到三倍的推理加速。随着ChatGPT的出现，大规模语言模型（LLM）研究及其应用得到学术界和工业界的广泛关注。

清华 ChatGPT

机器之心Pro 2023-05-30

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

由普林斯顿和谷歌DeepMind联合提出的全新「思维树」框架，让GPT-4可以自己提案、评估和决策，推理能力最高可提升1750%。

GPT-4 清华谷歌

新智元 2023-05-22

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

机器之心发布作者：宁雪妃、周紫轩（无问芯穹TechView）近年来，大语言模型（LargeLanguageModels,LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。

清华大语言模型人工智能 ChatGPT Copilot

机器之心Pro 2024-06-14

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、

清华大语言模型人工智能 ChatGPT

机器之心 2024-06-13

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

随着大语言模型（Large Language Models）的爆火，例如 ChatGPT，GPT-4，PaLM，LLaMA 等，如何让大语言模型更好的应对有很长的上下文信息（超出其最大处理长度）的场景

清华大语言模型 LLaMA ChatGPT GPT-4

机器之心 2023-06-29

近期资讯

湖南趣智新视觉取得广告板的裁切装置专利，结构合理、使用效果好

金融界2024年12月26日消息，国家知识产权局信息显示，湖南趣智新视觉广告有限公司取得一项名为“一种广告板的裁切装置”的专利，授权公告号CN222200652U，申请日期为2024年3月。

金融界 2024-12-26

陕西孚兰取得打包带生产裁边设备专利，加快打包带生产裁边设备的废料收集的速率

金融界2024年12月26日消息，国家知识产权局信息显示，陕西孚兰包装材料有限公司取得一项名为“一种打包带生产裁边设备”的专利，授权公告号CN222200645U，申请日期为2024年5月。

金融界 2024-12-26

江苏东成园林机械取得一种用于收纳电动工具的刀套专利，提高用户使用安全性

金融界2024年12月26日消息，国家知识产权局信息显示，江苏东成园林机械有限公司取得一项名为“一种用于收纳电动工具的刀套”的专利，授权公告号CN222200641U，申请日期为2024年4月。

金融界 2024-12-26

和而泰申请一种液体温度控制方法专利，提高液体温度控制的准确性

金融界2024年12月26日消息，国家知识产权局信息显示，深圳和而泰智能控制股份有限公司申请一项名为“一种液体温度控制方法、电子设备及存储介质”的专利，公开号CN119179351A，申请日期为2024年8月。

金融界 2024-12-26

广东芬尼克兹申请泳池水温控制专利，用于有效均衡水温分布

金融界2024年12月26日消息，国家知识产权局信息显示，广东芬尼克兹节能设备有限公司申请一项名为“泳池水温控制方法、系统、装置及存储介质”的专利，公开号CN119179352A，申请日期为2024年7月。专利摘要显示，本发明涉及温度控制技术领域，公开了一种泳池水温控制方法、系统、装置及存储介质，用于有效均衡水温分布。

金融界 2024-12-26

广德方晟科技取得一种覆铜板的切割装置专利，可提升装置通用性

金融界2024年12月26日消息，国家知识产权局信息显示，广德方晟科技有限公司取得一项名为“一种覆铜板的切割装置”的专利，授权公告号CN222200654U，申请日期为2024年3月。

金融界 2024-12-26

成都莒纳申请电解水槽温度控制管理专利，确保整个过程安全高效运行

金融界2024年12月26日消息，国家知识产权局信息显示，成都莒纳新材料科技有限公司申请一项名为“一种电解水槽的温度控制管理方法、系统、设备及介质”的专利，公开号CN119179348A，申请日期为2024年11月。

金融界 2024-12-26

耀华（宜宾）玻璃申请浮法玻璃生产线冷却水恒温控制专利，降低环境温度对冷水池冷却水水温影响以提高生产质量

金融界2024年12月26日消息，国家知识产权局信息显示，耀华（宜宾）玻璃有限公司申请一项名为“一种浮法玻璃生产线冷却水的恒温控制方法和系统”的专利，公开号CN119179349A，申请日期为2024年11月。专利摘要显示，本发明公开了一种浮法玻璃生产线冷却水的恒温控制方法和系统，涉及冷却水控制技术领域。

金融界 2024-12-26

苏州元脑智能申请动态电压调节专利，在线调节较大范围的负载电压

金融界2024年12月26日消息，国家知识产权局信息显示，苏州元脑智能科技有限公司申请一项名为“动态电压调节装置、方法及计算机设备”的专利，公开号CN119179361A，申请日期为2024年9月。

金融界 2024-12-26

辽宁博芯科申请应用于光电半导体硅片的退火温度控制专利，提高光电半导体硅片退火温度控制的精确度和实时性

金融界2024年12月26日消息，国家知识产权局信息显示，辽宁博芯科半导体材料有限公司申请一项名为“应用于光电半导体硅片的退火温度控制方法”的专利，公开号CN119179354A，申请日期为2024年11月。专利摘要显示，本申请涉及温度控制技术领域，具体涉及一种应用于光电半导体硅片的退火温度控制方法。

金融界 2024-12-26

LLM推理提速2.8倍，CMU清华姚班校友提出「投机式推理」引擎SpecInfer，小模型撬动大模型高效推理

推荐体验

相关资讯

LLM推理提速2.8倍，CMU清华姚班校友提出投机式推理引擎SpecInfer

GPT-4推理提升1750%，普林斯顿清华姚班校友提出全新“思维树ToT”框架，让LLM反复思考

万字综述大模型高效推理：无问芯穹与清华、上交研究全面解析大模型推理优化

万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化

结合符号性记忆，清华等提出ChatDB，提升大模型的复杂推理能力

近期资讯

湖南趣智新视觉取得广告板的裁切装置专利，结构合理、使用效果好

陕西孚兰取得打包带生产裁边设备专利，加快打包带生产裁边设备的废料收集的速率

江苏东成园林机械取得一种用于收纳电动工具的刀套专利，提高用户使用安全性

和而泰申请一种液体温度控制方法专利，提高液体温度控制的准确性

广东芬尼克兹申请泳池水温控制专利，用于有效均衡水温分布

广德方晟科技取得一种覆铜板的切割装置专利，可提升装置通用性

成都莒纳申请电解水槽温度控制管理专利，确保整个过程安全高效运行

耀华（宜宾）玻璃申请浮法玻璃生产线冷却水恒温控制专利，降低环境温度对冷水池冷却水水温影响以提高生产质量

苏州元脑智能申请动态电压调节专利，在线调节较大范围的负载电压

辽宁博芯科申请应用于光电半导体硅片的退火温度控制专利，提高光电半导体硅片退火温度控制的精确度和实时性

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响