ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

作者：量子位发布时间：2023-02-19

ChatGPT

要知道，在单机多卡服务器上，即便把显卡规格提升为A10080GB，由于ChatGPT的复杂性和内存碎片，PyTorch最大也只能启动基于GPT-L（774M）这样的小模型ChatGPT。以ChatGPT可选的…...【查看原文】

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

首个开源的ChatGPT低成本复现流程来了！预训练、奖励模型训练、强化学习训练，一次性打通。最小demo训练流程仅需1.62GB显存，随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。

ChatGPT

2023-02-15

量子位 2023-05-07

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

这不，“首个开源ChatGPT低成本复现流程”就来了波大更新！现在，仅需不到百亿参数，利用RLHF简单微调，模型即可掌握中、英双语能力，达到与ChatGPT和GPT-3.5相当的效果。比如Meta开源了LLaMA模型，其参数量从70亿到650亿不等，号称130亿参数即可胜过1750亿的GPT-3模型在大多数基准测试的表现。

ChatGPT LLaMA

量子位 2023-03-29

近期资讯

[study] 关于 egg.js 内核的基础(阉割版)实现

前言：使用 KOA 来实现一下 elpis-core (简易的 egg.js 内核) 并补充说明一下我个人对洋葱圈模型的理解吧。

best_code 2024-12-29

Linux环境配置nvm，nodejs，npm保姆级教程

我的配置方案：将自身看作一个使用root shell的普通用户。 linux的root用户的软件默认安装在usr目录中，而我将应用全部安装在home目录中。并且配置环境变量时不配置全局变量（在et

夜阳朔 2024-12-29

vue基础语法

创建vue项目,使用终端打开我们想要放置创建的vue的文件夹然后输入这段语法npm create vite@latest，然后输入我们想创建的项目名称，然后选择我们想要的框架，选择vue,选

竺梓君 2024-12-29

ByConity ELT 测试——体验 BSP 模式带来的高效数据处理

在实际业务场景中，实时数仓和离线数仓的构建对于满足用户多样化的数据分析需求至关重要。实时数仓注重数据的快速入库与即时分析，而离线数仓则强调复杂任务的稳定执行与高效的内存管理。ByConity作为

颜颜颜yan_ 2024-12-29

小白也可以直播预测 😱| 数据分析、可视化、数据训练 | 魔搭社区🤔

前言大家好 , 我是浪遏 , 今天学习黄佳老师的 AI 课程 , 受益良多 , 和大家一起分享。我将从需求出发 , 而不是一上来就开始思想绑架 , 告诉你这段代码干啥 ? 不明白需求 , 小白可

浪遏 2024-12-29

NIO SelectionKey 详解

SelectionKey 是 Java NIO 中的一个重要类，用于表示一个通道在 Selector 上的注册关系。它包含了通道的状态信息和感兴趣的事件类型。SelectionKey 是使用 Sele

倚栏听风雨 2024-12-29

LMDeploy 量化部署 - 第四期书生大模型实战营实验记录（进阶岛-第3关）

我目前正在参加“书生大模型实战营”，这是一个旨在帮助学员掌握大模型开发和应用的实战课程。我根据官方提供的教程文档提取了核心步骤，去掉了详细的背景知识介绍和说明，这样后续作为一个手册查找起来会更加直观。

飞哥数智坊 2024-12-29

Cookie的全面了解

Cookie Cookie Cookie Cookie Cookie Cookie Cookie Cookie

豫章归来时 2024-12-29

Java Set的理解

一、Set 集合总览在 Java 的集合框架中，Set 是一个重要的接口，它代表了一个不包含重复元素的集合。这种特性使得 Set 在许多场景下都有着独特的用途，比如去除重复数据、存储无序的唯一元素集

简单的东西为什么越来越复杂 2024-12-29

分词器和词嵌入的那些小故事

分词器和词嵌入的那些故事我们在调用大模型之前，往往会进行分词器分词，进行分词器分词后，然而还需要嵌入。其中的原因在于它们的功能和作用是相辅相成的。分词器的任务是将文本转化为模型可以处理的离散单位，而

用户149562046117 2024-12-29

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验，显存需求低至1.62GB

推荐体验

相关资讯

ChatGPT低成本复现流程开源！任意单张消费级显卡可体验

开源方案复现ChatGPT流程！1.62GB显存即可体验，单机训练提速7.73倍

开源方案低成本复现ChatGPT流程，仅需1.6GB显存即可体验

IBM加入战局！任意大模型低成本变ChatGPT方法开源，个别任务超GPT-4

零门槛复现ChatGPT：预训练模型数据集直接用，包含完整RLHF流程，在线可体验

近期资讯

[study] 关于 egg.js 内核的基础(阉割版)实现

Linux环境配置nvm，nodejs，npm保姆级教程

vue基础语法

ByConity ELT 测试——体验 BSP 模式带来的高效数据处理

小白也可以直播预测 😱| 数据分析、可视化、数据训练 | 魔搭社区🤔

NIO SelectionKey 详解

LMDeploy 量化部署 - 第四期书生大模型实战营实验记录（进阶岛-第3关）

Cookie的全面了解

Java Set的理解

分词器和词嵌入的那些小故事

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响