开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

如何高效复制图片：实用技巧与注意事项解析

在现代社会，图片已经成为我们日常生活中不可或缺的一部分。无论是社交媒体上的分享，还是工作中的资料整理，图片都扮演着重要的角色。然而，很多人可能会发现，复制图片并不是一件简单的事情。今天我们就来聊聊，关于如何有效地复制图片的那些事儿。首先，复制图片的方式有很多种，具体取决于你使用的设备以及软件。

新报观察 2024-12-31

手机双系统切换方法与注意事项详解，助你轻松使用

在如今这个科技飞速发展的时代，手机已经成为我们生活中不可或缺的一部分。双系统的好处不言而喻，比如可以在不同的环境下使用不同的系统，或者在一个系统上进行测试而不影响主系统的使用。今天，我们就来聊聊手机双系统的切换方法。

新报观察 2024-12-31

如何轻松连接手机与蓝牙设备，提升生活便利性指南

在现代生活中，蓝牙已经成为了我们日常使用的一种重要技术。无论是无线耳机、音响，还是智能手表、健身手环，蓝牙连接都能让我们的生活更加便利。

新报观察 2024-12-31

沈阳天瑞众成取得一种核生化 AI 机器人的智能预警装置专利

金融界2024年12月31日消息，国家知识产权局信息显示，沈阳天瑞众成系统集成有限公司取得一项名为“一种核生化AI机器人的智能预警装置”的专利，授权公告号CN118883146B，申请日期为2024年9月。天眼查资料显示，沈阳天瑞众成系统集成有限公司，成立于2011年，位于沈阳市，是一家以从事软件和信息技术服务业为主的企业。

金融界 2024-12-31

如何轻松取消腾讯视频会员自动续费，保障您的消费权益

视频会员自动续费的朋友们有所帮助。操作过程中如果有任何疑问，记得随时寻求帮助，确保自己的账户安全和权益。同时，享受视频带来的快乐，也要理性消费，选择最适合自己的会员服务。祝你在观看的旅程中，找到更多的乐趣和精彩！

新报观察 2024-12-31

华域三电取得热管理集成模组专利，减少线束布设数量，便于后续检修工作

金融界2024年12月31日消息，国家知识产权局信息显示，华域三电汽车空调有限公司取得一项名为“一种热管理集成模组”的专利，授权公告号CN222223858U，申请日期为2024年5月。

金融界 2024-12-31

新实亚取得新能源轻卡压缩机支架结构专利，具有结构简单等优点

金融界2024年12月31日消息，国家知识产权局信息显示，北京新实亚科技有限公司取得一项名为“一种新能源轻卡压缩机支架结构”的专利，授权公告号CN222223859U，申请日期为2024年5月。

金融界 2024-12-31

浙江极氪取得手自一体出风口总成装置专利，提高了手自一体出风口总成装置的多年龄乘客适配性

金融界2024年12月31日消息，国家知识产权局信息显示，浙江极氪智能科技有限公司取得一项名为“手自一体出风口总成装置”的专利，授权公告号CN222223860U，申请日期为2024年5月。

金融界 2024-12-31

泉州永晋机械取得一种风箱用导流板专利，减小噪音

金融界2024年12月31日消息，国家知识产权局信息显示，泉州永晋机械有限公司取得一项名为“一种风箱用导流板”的专利，授权公告号CN222223855U，申请日期为2024年5月。

金融界 2024-12-31

换卡攻略：轻松应对手机卡更换过程中的注意事项与步骤解析

如果没有提前备份好，换卡后可能会失去重要的联系信息。换卡后，还需要进行一些设置，确保一切正常运行。最后，想说的是，换卡虽然看似简单，但还是要认真对待。

新报观察 2024-12-31

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

如何高效复制图片：实用技巧与注意事项解析

手机双系统切换方法与注意事项详解，助你轻松使用

如何轻松连接手机与蓝牙设备，提升生活便利性指南

沈阳天瑞众成取得一种核生化 AI 机器人的智能预警装置专利

如何轻松取消腾讯视频会员自动续费，保障您的消费权益

华域三电取得热管理集成模组专利，减少线束布设数量，便于后续检修工作

新实亚取得新能源轻卡压缩机支架结构专利，具有结构简单等优点

浙江极氪取得手自一体出风口总成装置专利，提高了手自一体出风口总成装置的多年龄乘客适配性

泉州永晋机械取得一种风箱用导流板专利，减小噪音

换卡攻略：轻松应对手机卡更换过程中的注意事项与步骤解析

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响