用FP8训练大模型有多香？微软：比BF16快64%，省42%内存

作者：机器之心发布时间：2023-11-02

微软 OpenAI 大语言模型

大型语言模型（LLM）具有前所未有的语言理解和生成能力，但是解锁这些高级的能力需要巨大的模型规模和训练计算量。在这种背景下，尤其是当我们关注扩展至 OpenAI 提出的超级智能 (Super Inte...【查看原文】

相关资讯

驱动之家 2024-10-29

安卓旗舰告别8GB内存时代，AI大模型推动手机厂商搞“大内存”

AI大模型

环球网 2024-10-28

近期资讯

焦点分析 | 比亚迪的短板，不再是智能化

25款腾势D9标配天神之眼。

韩永昌 2024-12-27

市值70亿，阿里CEO赶飞机投的智驾公司上市了

创始人是华科系

智能车参考 2024-12-27

并购“热火朝天”

“新气象”

36氪的朋友们 2024-12-27

年末好消息一则：鼎晖，50亿，投物流

险资投向不动产。

徐牧心 2024-12-27

上海国资开始了

风向标。

投资界 2024-12-27

社保、住房、消费和股市：我们的钱去哪里了？

2024，那些和钱有关的事

青年志Youthology 2024-12-27

中国最唬人的职位，坑了多少应届生

校招最大的坑，挤满最顶尖的毕业生

36氪的朋友们 2024-12-27

把注意力计算丢给CPU，大模型解码吞吐量提高1.76~4.99倍

基于局部敏感哈希采样技术

量子位 2024-12-27

海外短剧APP素材投放榜：Dramawave登顶，Shot Short猛增，这些海外市场值得关注

海外短剧数据独家发布！

DataEye 2024-12-27

2025消费观察：只有流行文化还会出现阿尔法

最有前途的消费门类。

躺姐指数 2024-12-27

用FP8训练大模型有多香？微软：比BF16快64%，省42%内存

推荐体验

相关资讯

Stable Diffusion 大模型 ChilloutMix fp16

大模型微调实战（八）-使用INT8/FP4/NF4微调大模型

告别卡顿：iPhone 16系列8GB内存大升级，iOS 18智能体验全面爆发

小米15砍掉8GB内存版本王腾：端侧AI大模型对内存占用更多

安卓旗舰告别8GB内存时代，AI大模型推动手机厂商搞“大内存”

近期资讯

焦点分析 | 比亚迪的短板，不再是智能化

市值70亿，阿里CEO赶飞机投的智驾公司上市了

并购“热火朝天”

年末好消息一则：鼎晖，50亿，投物流

上海国资开始了

社保、住房、消费和股市：我们的钱去哪里了？

中国最唬人的职位，坑了多少应届生

把注意力计算丢给CPU，大模型解码吞吐量提高1.76~4.99倍

海外短剧APP素材投放榜：Dramawave登顶，Shot Short猛增，这些海外市场值得关注

2025消费观察：只有流行文化还会出现阿尔法

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响