开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

作者：机器之心Pro发布时间：2023-02-15

ChatGPT

但ChatGPT发布已有数月，市面上不仅没有预训练权重开源，连可靠的完整开源训练流程都仍是空白，更无法实现基于千亿大模型的ChatGPT全流程高效搭建和应用。Colossal-AI以开源方式复现了ChatGP…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…

ChatGPT

量子位 2023-02-19

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

其声称已通过ZeRO、Gemini、Chunk-based内存管理等技术，极大地降低ChatGPT训练的显存开销；仅需一半硬件资源即可启动1750亿参数模型训练（从64卡到32卡），显著降低应用成本。博客内容…

ChatGPT

OSC开源社区 2023-02-21

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

ChatGPT作为当下最火爆的AI应用，之所以能达到如此“聪明”的程度，背后离不开海量的训练，离不开强大的算力，使用的是NVIDIA A100加速计算卡。GTC 2023春季技术大会上，NVIDIA又发

ChatGPT 英伟达

上方文Q 2023-03-22

近期资讯

熊孩子楼顶做放大镜实验爸爸在微信群“举报”自己小孩

据湖南消防消息，近日，在湖南郴州市嘉禾县的一个小区业主微信群里，一段视频引起了大家的恐慌。视频显示，一名孩子趁家长不注意，独自跑到楼顶用放大镜做实验，不慎将自家拖鞋点燃，冒出明火

2024-12-28

16岁男孩每天只睡5小时头秃了医生道出原因

12月28日消息，微博话题“16岁男孩每天只睡5小时头先秃了”引发热议。据媒体报道，16岁的小周由妈妈带至医院脱发门诊就诊，妈妈纳闷，家里没有脱发基因，小周的爷爷70岁了，头发还算

2024-12-28

北大数学家独作论文登数学顶刊！统一算术与几何大猜想

四大顶刊之一的《数学年刊》，正式接收北大袁新意独作论文。在困扰数学界多年的Uniform Bogomolov猜想问题上取得重要进展。值得一提的是，这篇论文还在预印版状态时就已获得一定引用，据称还

2024-12-28

久违的麒麟回归！华为重磅新机首度曝光：取代高通

快科技12月28日消息，博主数码闲聊站爆料，在畅享80系列登场之前，华为会先推出畅享70X，这款新品的海报已在社交平台上被曝光。海报显示，华为畅享70X包含4大卖点：北斗卫星消息、华为巨鲸长续

2024-12-28

华为顶配机皇降价2000！网友直呼Mate70买早了

春节即将到来，不少朋友都有入手新手机回家过年的打算，华为手机成为了很多人的选择。其中最热门的还是刚刚发布不久的华为Mate70系列。尽管市场传言其备货量相较于前代Mate60系列有显

2024-12-28

客机坠毁25岁空姐幸存掩面痛哭：仍处于极大心理压力中

12月28日消息，据媒体报道，阿塞拜疆航空25岁空姐艾丹在客机坠毁事故中幸存，她在接受探视时崩溃痛哭。报道称艾丹仍处于极大心理压力中，无力讲述事发经过，正在接受心理治疗，艾丹的父亲表示

2024-12-28

Qt 中实现系统主题感知

在现代桌面应用程序开发中，系统主题感知是一项重要的功能，它使得应用程序能够根据用户的系统主题设置（如深色模式或浅色模式）自动调整其外观。 Qt 作为一个跨平台的C++图形用户界面应用程序

梦起丶 2024-12-28

“地下51米的南京”刷屏网友直呼犹如飞龙在天

快科技12月28日消息，今天，南京地铁7号线中段正式开通运营，标志着全线实现贯通。其中，清凉山站作为南京最深的地铁站，一经亮相便在南京人的朋友圈里刷屏，“地下51米的南京”成为

2024-12-28

红米Turbo 4外观巨变！员工：我最喜欢的REDMI设计

快科技12月28日消息，博主数码闲聊站剧透了REDMI Turbo 4的外观设计。他爆料，REDMI Turbo4元旦回来就发，这代设计删繁就简，配色都很克制，玻璃机身加强质感，整体很耐看，个人觉得是今年RED

2024-12-28

我国5G基站耗电量有多大：专家给结果确实很惊人！

快科技12月28日消息，中国工业经济联合会会长，工业和信息化部原部长李毅中近日公开表示，“数绿融合、协同发展”可以大幅度提高制造业的资源效率、环境效益、管理效能。他指出，据

2024-12-28

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

188GB显存 800W功耗！NVIDIA发顶级神卡 ChatGPT提速12倍

近期资讯

熊孩子楼顶做放大镜实验爸爸在微信群“举报”自己小孩

16岁男孩每天只睡5小时头秃了医生道出原因

北大数学家独作论文登数学顶刊！统一算术与几何大猜想

久违的麒麟回归！华为重磅新机首度曝光：取代高通

华为顶配机皇降价2000！网友直呼Mate70买早了

客机坠毁25岁空姐幸存掩面痛哭：仍处于极大心理压力中

Qt 中实现系统主题感知

“地下51米的南京”刷屏网友直呼犹如飞龙在天

红米Turbo 4外观巨变！员工：我最喜欢的REDMI设计

我国5G基站耗电量有多大：专家给结果确实很惊人！

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响