开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

小米 REDMI Book 14/16 2025 笔记本 SKU 曝光，最高 32GB+1TB

IT之家注意到，在昨晚举行的“卢伟冰的年度总结”活动中，REDMI品牌总经理王腾现身，并展示了小米REDMIBook2025笔记本真机。配置方面，REDMIBook162025笔记本首批搭载全新英特尔酷睿处理器，拥有47W整机满血性能释放。此外，新品还支持AI调度长续航，拥有19.05小时超长续航；适配小米澎湃OS2，支持小米澎湃智联。

IT之家 2024-12-28

俄航天集团：计划在2033至2035年间将俄罗斯生产的核电站送上月球

钛媒体App12月28日消息，俄罗斯国家航天集团表示，计划在2033至2035年间将俄罗斯生产的国际月球科研站用核电站送上月球。俄罗斯国家航天集团总裁鲍里索夫此前表示，俄航天集团正与中方审议2033年至2035年间将核电站送到月球并将其安装到月面上一事。5月初，鲍里索夫宣布，项目项下核电站的研发工作已经启动。

钛媒体快报 2024-12-28

绛县健生取得一种光伏配电箱专利，方便打开固定局部操作

金融界2024年12月28日消息，国家知识产权局信息显示，绛县健生自动化科技有限公司取得一项名为“一种光伏配电箱”的专利，授权公告号CN222214911U，申请日期为2024年3月。

金融界 2024-12-28

掌握修图技巧，轻松提升照片美感与个性表达的实用指南

修照片，听起来简单，但要把一张普通的照片变成让人惊艳的作品，却需要一些技巧和经验。无论是为了社交媒体的分享，还是为了留住美好的回忆，修照片的过程都能让我们更好地表达自己的审美和个性。今天就来聊聊修照片的那些事儿，让你轻松掌握一些基本的修图技巧。首先，修照片的第一步就是选择合适的工具。现在市面上有很多修图软件，各种各样的功能让人眼花缭乱。

新报观察 2024-12-29

盛素电气取得便于使用的高压计量箱专利，避免工具或零件掉落给工作人员造成不必要的麻烦

金融界2024年12月28日消息，国家知识产权局信息显示，盛素电气有限公司取得一项名为“一种便于使用的高压计量箱”的专利，授权公告号CN222214910U，申请日期为2024年3月。

金融界 2024-12-28

探秘“恢”字：发音、意义与生活中的应用

“恢”这个字，单从字形来看，似乎并不复杂，但在读音和用法上却有着一些不为人知的奥秘。我们常常会遇到这样的情况，看到一个字却不知道该怎么读，尤其是一些比较生僻的字。今天就来聊聊这个字，以及它在生活中的一些应用。首先，“恢”这个字的拼音是“huī”。

新报观察 2024-12-29

浙江发布数字健康人2.0版可助名医打造“数字分身”

中新网杭州12月28日电(张煜欢)12月28日，第三届浙江省数字健康大会暨2024年浙江省卫生信息学会年会在杭州举行，会上发布了安诊儿2.0、《浙江未来医院建设白皮书2.0》等一系列数字健康重大成果，并公布第二届全国数字健康创新应用大赛医学人工智能主题赛获奖名单。

中国新闻网 2024-12-28

远程科技明珠·智芯科技玄武黄金动力链，引领三电技术再进化！

12月27日，2025年远程生态伙伴大会在远程智芯科技湖州基地（湖州智芯动力系统发展有限公司）成功举办，此次大会不仅发布了远程新能源商用车集团的三大核心战略，远程科技明珠—智芯科技更是带来了一系列前瞻技术成果，向全体生态伙伴展示了全新一代新能源三电技术——玄武黄金动力链。

砍柴网 2024-12-28

“人民数据数融平台”正式上线试运行

钛媒体App12月28日消息，由人民数据开发的“数融平台”正式上线试运营。

钛媒体快报 2024-12-28

网易《实况足球 Online》游戏开启 PC 端预约

IT之家12月28日消息，网易《实况足球Online》官方公众号官宣PC端新游即将上线，并对游戏内容进行了介绍。据悉，《实况足球Online》由KONAMI主机原班制作团队打造，搭载虚幻4引擎，这将是国内首款虚幻引擎主机级足球端游。

IT之家 2024-12-28

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

小米 REDMI Book 14/16 2025 笔记本 SKU 曝光，最高 32GB+1TB

俄航天集团：计划在2033至2035年间将俄罗斯生产的核电站送上月球

绛县健生取得一种光伏配电箱专利，方便打开固定局部操作

掌握修图技巧，轻松提升照片美感与个性表达的实用指南

盛素电气取得便于使用的高压计量箱专利，避免工具或零件掉落给工作人员造成不必要的麻烦

探秘“恢”字：发音、意义与生活中的应用

浙江发布数字健康人2.0版可助名医打造“数字分身”

远程科技明珠·智芯科技玄武黄金动力链，引领三电技术再进化！

“人民数据数融平台”正式上线试运行

网易《实况足球 Online》游戏开启 PC 端预约

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响