开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

航盛申请三层 PCB 板主机固定机构及其装配方法专利，提高 PCB 板间信号传输可靠性

金融界2024年12月25日消息，国家知识产权局信息显示，扬州航盛科技有限公司申请一项名为“一种三层PCB板主机的固定机构及其装配方法”的专利，公开号CN119172969A，申请日期为2024年9月。

金融界 2024-12-25

开利公司申请具有浸入式散热器的服务器冷却专利，可冷却服务器组件

金融界2024年12月25日消息，国家知识产权局信息显示，开利公司申请一项名为“具有浸入式散热器的服务器冷却”的专利，公开号CN119172978A，申请日期为2024年6月。

金融界 2024-12-25

深圳市英维克软件技术有限公司申请有源滤波器专利，降低有源滤波器对空间体积的占用量

金融界2024年12月25日消息，国家知识产权局信息显示，深圳市英维克软件技术有限公司申请一项名为“一种有源滤波器”的专利，公开号CN119172976A，申请日期为2023年12月。

金融界 2024-12-25

宜兴市南埠塑胶电子有限公司申请装配式LED数码管塑壳专利，实现封装后的LED数码管开放散热

金融界2024年12月25日消息，国家知识产权局信息显示，宜兴市南埠塑胶电子有限公司申请一项名为“一种装配式LED数码管塑壳结构及装配方法”的专利，公开号CN119172965A，申请日期为2024年10月。

金融界 2024-12-25

瀚为科技取得应用低功耗超声的混料匀浆设备专利，节能降低功耗

金融界2024年12月25日消息，国家知识产权局信息显示，浙江瀚为科技有限公司取得一项名为“一种应用低功耗超声的混料匀浆设备”的专利，授权公告号CN222196717U，申请日期为2024年5月。

金融界 2024-12-25

安徽长里建筑取得建筑防水材料流体搅拌设备专利，具备对搅拌容器内壁原料刮除功能保证搅拌质量

金融界2024年12月25日消息，国家知识产权局信息显示，安徽长里建筑有限公司取得一项名为“一种建筑防水材料流体搅拌设备”的专利，授权公告号CN222196712U，申请日期为2024年7月。

金融界 2024-12-25

南京云海铝业取得用于铝灰煅烧窑内搅拌的专用工具专利，可保证铝灰充分受热

金融界2024年12月25日消息，国家知识产权局信息显示，南京云海铝业有限公司取得一项名为“一种用于铝灰煅烧窑内搅拌的专用工具”的专利，授权公告号CN222196711U，申请日期为2024年5月。

金融界 2024-12-25

江苏固特电气申请具有温度控制功能的固态继电器及其温度控制方法专利，解决固态继电器的控温与保险更换难题

金融界2024年12月25日消息，国家知识产权局信息显示，江苏固特电气控制技术有限公司申请一项名为“具有温度控制功能的固态继电器及其温度控制方法”的专利，公开号CN119172970A，申请日期为2024年11月。

金融界 2024-12-25

成都晟源石化取得一种多液体混合装置专利，解决苯乙烯聚合问题

金融界2024年12月25日消息，国家知识产权局信息显示，成都晟源石化有限公司取得一项名为“一种多液体的混合装置”的专利，授权公告号CN222196719U，申请日期为2024年3月。

金融界 2024-12-25

柏康（湖北）医药科技取得新型临床试验用量筒专利，使溶解效果更好

金融界2024年12月25日消息，国家知识产权局信息显示，柏康（湖北）医药科技有限公司取得一项名为“种新型临床试验用量筒”的专利，授权公告号CN222196718U，申请日期为2024年1月。

金融界 2024-12-25

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

航盛申请三层 PCB 板主机固定机构及其装配方法专利，提高 PCB 板间信号传输可靠性

开利公司申请具有浸入式散热器的服务器冷却专利，可冷却服务器组件

深圳市英维克软件技术有限公司申请有源滤波器专利，降低有源滤波器对空间体积的占用量

宜兴市南埠塑胶电子有限公司申请装配式LED数码管塑壳专利，实现封装后的LED数码管开放散热

瀚为科技取得应用低功耗超声的混料匀浆设备专利，节能降低功耗

安徽长里建筑取得建筑防水材料流体搅拌设备专利，具备对搅拌容器内壁原料刮除功能保证搅拌质量

南京云海铝业取得用于铝灰煅烧窑内搅拌的专用工具专利，可保证铝灰充分受热

江苏固特电气申请具有温度控制功能的固态继电器及其温度控制方法专利，解决固态继电器的控温与保险更换难题

成都晟源石化取得一种多液体混合装置专利，解决苯乙烯聚合问题

柏康（湖北）医药科技取得新型临床试验用量筒专利，使溶解效果更好

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响