开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

雷军：小米SU7全年交付量超13万提前完成全年目标

雷递网乐天12月28日小米CEO雷军今日表示，今天是小米汽车正式亮相1周年，截至目前，小米SU7全年交付量已超过13万，已提前完成全年所有目标。雷军说，之所以这么早公示，小米汽车希望YU7测试车可以尽早拆除重伪装。

雷递 2024-12-28

小米汽车：小米SU7全年交付量超13万提前完成全年目标

据小米汽车微博，截至目前，小米SU7全年交付量已超过13万，已提前完成全年所有目标。

证券时报 2024-12-28

巩义市宏萌新材料取得具有密封功能的烧制坩埚专利，提高装置的实用性

金融界2024年12月28日消息，国家知识产权局信息显示，巩义市宏萌新材料有限公司取得一项名为“一种具有密封功能的烧制坩埚”的专利，授权公告号CN222211223U，申请日期为2023年12月。

金融界 2024-12-28

机械革命无界 14N 上架，Ultra 5-288V + 32G + 1T 售 6199 元

IT之家12月28日消息，机械革命现已在京东上架无界14N笔记本，该机采用“英特尔酷睿Ultra5-288V+32GBRAM+1TB存储空间”规格，定价为6199元，将于1月13日首销。这款笔记本整体重量1.39千克，厚度17.3mm，机身采用CNC工艺，配备全尺寸方向按键。

IT之家 2024-12-28

蓝色起源新格伦火箭首次发射前启动关键测试

钛媒体App12月28日消息，亚马逊创始人杰夫·贝索斯旗下商业航空公司蓝色起源宣布，其大型轨道火箭“新格伦”（NewGlenn）的7台BE-4引擎于佛罗里达州卡纳维拉尔角发射台同时点火，热火持续24秒，并达到所有目标。这是为该火箭首次发射太空铺平道路所需的最后一次关键测试。

钛媒体快报 2024-12-28

中国熟透了的28nm及以上芯片，美国为何会害怕？

所以我们看到，最近几年，美国针对中国的芯片禁令不断升级，更是联手荷兰、日本，将包括EUV光刻机在内的众多先进设备，禁运了。美国之前的目标，是锁住逻辑芯片在14nm，NAND闪存有128层，DRAM内存在18nm即可，至于成熟芯片，就不管了，也管不着。

科技plus 2024-12-28

盘点2024年那些快消失的手机配置简直大快人心!

【CNMO科技】科技圈永恒的主题是“喜新厌旧”。但2024年，它们并没有选择沉默，至少在百元机这个市场，没人再动它们的蛋糕。首要原因是曲面屏的配套钢化膜价格高昂，相较于直屏，其费用要高出5至10倍。谁能料到，仅仅在去年还被视为大容量的5000mAh电池，到了今年已悄然变成小容量。换句话说，200W快充的营销噱头远大于其实用价值。

手机中国 2024-12-28

小米SU7全年交付量已超过13万台，已提前完成目标

小米汽车28日宣布，截至目前，小米SU7全年交付量已超过13万台，已提前完成全年所有目标。

北京日报 2024-12-28

轻松注册YouTube账号的详细步骤与注意事项解析

在这个数字化的时代，YouTube已经成为了一个不可或缺的平台。如果你还没有注册YouTube账号，别担心，接下来我会详细介绍如何轻松地完成注册过程。不过，我们的目标是注册一个新账号，所以接下来要找一个“登录”按钮。

新报观察 2024-12-28

超越ControlNet++！腾讯优图提出动态条件选择新架构

优图、南洋理工、浙大等研究机构联合推出DynamicControl，直接将多模态大语言模型（MLLM）的推理能力集成到文本生成图像（T2I)）任务中。具体来说，给定多个条件和文本提示，研究首先利用预训练的条件生成模型为每个条件生成图像。

量子位 2024-12-28

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

雷军：小米SU7全年交付量超13万提前完成全年目标

小米汽车：小米SU7全年交付量超13万提前完成全年目标

巩义市宏萌新材料取得具有密封功能的烧制坩埚专利，提高装置的实用性

机械革命无界 14N 上架，Ultra 5-288V + 32G + 1T 售 6199 元

蓝色起源新格伦火箭首次发射前启动关键测试

中国熟透了的28nm及以上芯片，美国为何会害怕？

盘点2024年那些快消失的手机配置简直大快人心!

小米SU7全年交付量已超过13万台，已提前完成目标

轻松注册YouTube账号的详细步骤与注意事项解析

超越ControlNet++！腾讯优图提出动态条件选择新架构

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响