开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

雷军预告小米SU7限定色明天亮相或为玫瑰红

【CNMO科技消息】12月30日晚，雷军预告了小米SU7的限定配色，表示：“再过2天，就是2025年，小米创业十五周年。”“我们准备了一份充满激情，又优雅浪漫的惊喜，小米SU7小米15周年限定色，明天见！”

手机中国 2024-12-30

“格致论道·未来少年”科学讲坛举办 8位“阳光下的少年”登台演讲

中新网北京12月30日电(记者孙自法)记者12月30日从科学讲坛格致论道获悉，以“阳光下的少年”为主题的“格致论道·未来少年”第五期演讲活动近日在北京顺利举办，8位来自北京市海淀区的青少年登台演讲，分享他们各自奔赴热爱、敢于创新、勇于探索的成长经历和精彩故事。“格致论道·未来少年”科学讲坛以“阳光下的少年”为主题举办第五期演讲活动。

中国新闻网 2024-12-30

韩现有波音737-800将被全面检查，美方介入调查，这款机型还能坐吗？资深机长发声

机上乘客和机组人员除了2名乘务员获救，其余179人全部遇难。据新华社报道，当地时间12月29日，美国国家运输安全委员会表示，由美国波音公司和美国航空机构专家组成的团队正前往韩国协助调查坠毁事件。

红星新闻 2024-12-30

年度记忆·沸腾的海洋②｜珊瑚白化危机：海底的“褪色警告”

近年来，全球变暖引发的海洋升温，加上一系列其他原因，导致珊瑚礁正以惊人的速度“褪色”——科学界称之为“珊瑚白化”。美国国家海洋和大气管理局（NOAA）与“国际珊瑚礁倡议”组织在今年5月的联合声明中指出，目前全球正经历有记录以来第四次全球珊瑚白化事件。

澎湃新闻 2024-12-30

新华社 2024-12-30

2023年度全国科普统计数据发布全国科普专兼职人员超215万人

统计结果显示，我国科普人员队伍建设不断完善。2023年科普工作人员队伍建设在“小核心+大协作”模式下多点推进，形成以专职人员为核心、兼职人员为补充、志愿者为后备的人才蓄水池。全国科普专、兼职人员共计215.63万人，比2022年增长7.99%。其中，科普专职人员29.32万人，科普兼职人员186.31万人。

中国经济网 2024-12-30

海格通信最新公告：公司在珠海航展推出“九天”重型无人机

海格通信在投资者关系活动上表示，其在珠海航展推出的“九天”灵活配置重型无人机，可广泛应用于智能物流运输、海警海监、公安边防、应急救援等领域。公司与中国移动已在北斗高精度服务及终端应用领域展开合作，未来将深化在北斗+行业应用拓展、空天地一体化协同发展等领域的合作。

证券之星 2024-12-30

一场关于“量子力学”的跨年演讲明日和张朝阳一同迎接2025

搜狐创始人、董事局主席兼首席执行官、物理学博士张朝阳将以“生活在量子力学的世界里”为题，从微观视角解析我们存在的世界，和大家共同迎接2025年的到来。届时，搜狐视频“关注流”账号@张朝阳将全程直播。

搜狐科技 2024-12-30

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

雷军预告小米SU7限定色明天亮相或为玫瑰红

“格致论道·未来少年”科学讲坛举办 8位“阳光下的少年”登台演讲

韩现有波音737-800将被全面检查，美方介入调查，这款机型还能坐吗？资深机长发声

年度记忆·沸腾的海洋②｜珊瑚白化危机：海底的“褪色警告”

德必承办首届硬科技科创家大会，聚焦硬科技助力产业发展新机遇

买新年“追光”装备来京东3C数码年货节享以旧换新至高补贴1500元

内蒙古呼和浩特：借“风光”之力全力逐“绿”

2023年度全国科普统计数据发布全国科普专兼职人员超215万人

海格通信最新公告：公司在珠海航展推出“九天”重型无人机

一场关于“量子力学”的跨年演讲明日和张朝阳一同迎接2025

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响