开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

如何高效扫描备忘录：步骤与管理技巧详解

在现代生活中，备忘录的使用越来越普遍。无论是工作中的会议记录，还是生活中的购物清单，备忘录都扮演着重要的角色。

新报观察 2024-12-27

小米发布新品，四口充电器120W仅需249元！

小米推出了一款120WGaN四口充电器套装，已在京东等平台上架销售，售价为249元。其次，任意两个C口都支持65W+55W的快速充电，以满足双口高速充电的需求。此外，小米私有协议与PD3.0、QC2.0、QC3.0和PPS兼容，并且该产品支持市面上主流智能手机、笔记本电脑及其他电子设备的充电需求。

中关村在线 2024-12-27

天翔建设取得一种土建测量放线装置专利，可避免绳索粘带泥水或粘土后增加重量

金融界2024年12月27日消息，国家知识产权局信息显示，天翔建设集团有限公司取得一项名为“一种土建测量放线装置”的专利，授权公告号CN222204299U，申请日期为2024年5月。

金融界 2024-12-27

广州市精井机械设备有限公司取得一种分叠机构专利，优化手指架横移结构减轻机构重量

金融界2024年12月27日消息，国家知识产权局信息显示，广州市精井机械设备有限公司取得一项名为“一种分叠机构”的专利，授权公告号CN222204293U，申请日期为2024年1月。

金融界 2024-12-27

安徽信义智能取得一种铺纸机升降平移机构专利，保证工作准确

金融界2024年12月27日消息，国家知识产权局信息显示，安徽信义智能机械有限公司取得一项名为“一种铺纸机升降平移机构”的专利，授权公告号CN222204295U，申请日期为2024年3月。

金融界 2024-12-27

探讨名字中间点的意义与书写技巧

你有没有发现，在一些人的名字中间，特别是英文名字，常常会出现一个小点，比如“Mary.Johnson”这样的写法。

新报观察 2024-12-27

重庆冠尚取得一种线缆布线装置专利，能有效对线缆盘进行支撑

金融界2024年12月27日消息，国家知识产权局信息显示，重庆冠尚科技发展有限公司取得一项名为“一种线缆布线装置”的专利，授权公告号CN222204301U，申请日期为2024年4月。

金融界 2024-12-27

如何查看和优化电脑内存使用，提升性能与体验

无论是处理文档、浏览网页，还是玩游戏、进行视频编辑，内存的大小和性能都会直接影响到电脑的运行速度和使用体验。

新报观察 2024-12-27

手机投屏电视的多种方法与技巧，提升娱乐体验

在这个信息爆炸的时代，手机已经成为我们生活中不可或缺的一部分。无论是看视频、玩游戏还是浏览社交媒体，手机总是能够给我们带来无限的乐趣。不过，有时候在小小的手机屏幕上看东西，难免会觉得不够过瘾。这时候，电视投屏就成了一个绝佳的解决方案。接下来，我就来聊聊手机怎么连接电视投屏，让你的娱乐体验更上一层楼。

新报观察 2024-12-27

中建六局第四建设有限公司取得可移动式滚筒工具专利，可为工作人员提供人工移动大型电缆滚筒便利

金融界2024年12月27日消息，国家知识产权局信息显示，中建六局第四建设有限公司取得一项名为“一种可移动式滚筒工具”的专利，授权公告号CN222204305U，申请日期为2024年4月。

金融界 2024-12-27

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

如何高效扫描备忘录：步骤与管理技巧详解

小米发布新品，四口充电器120W仅需249元！

天翔建设取得一种土建测量放线装置专利，可避免绳索粘带泥水或粘土后增加重量

广州市精井机械设备有限公司取得一种分叠机构专利，优化手指架横移结构减轻机构重量

安徽信义智能取得一种铺纸机升降平移机构专利，保证工作准确

探讨名字中间点的意义与书写技巧

重庆冠尚取得一种线缆布线装置专利，能有效对线缆盘进行支撑

如何查看和优化电脑内存使用，提升性能与体验

手机投屏电视的多种方法与技巧，提升娱乐体验

中建六局第四建设有限公司取得可移动式滚筒工具专利，可为工作人员提供人工移动大型电缆滚筒便利

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响