使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

天津州杰取得COB显示屏封胶结构专利，避免树脂边缘位置参差不齐

金融界2024年12月28日消息，国家知识产权局信息显示，天津州杰科技发展有限公司取得一项名为“一种COB显示屏的封胶结构”的专利，授权公告号CN222214176U，申请日期为2024年5月。

金融界 2024-12-28

芯探取得一种芯片抗干扰结构专利，提高器件的信号质量和性能稳定性

金融界2024年12月28日消息，国家知识产权局信息显示，芯探（上海）科技有限公司取得一项名为“一种芯片抗干扰结构”的专利，授权公告号CN222214186U，申请日期为2024年5月。

金融界 2024-12-28

东莞市元航精密电子科技取得一种半导体引线框架专利，能加速散热片对引线框架本体的散热作用

金融界2024年12月28日消息，国家知识产权局信息显示，东莞市元航精密电子科技有限公司取得一项名为“一种半导体引线框架”的专利，授权公告号CN222214171U，申请日期为2024年1月。

金融界 2024-12-28

路溱微电子取得一种传感器封装连接结构专利，避免胶液随意溢流影响其他器件使用

金融界2024年12月28日消息，国家知识产权局信息显示，路溱微电子技术（苏州）有限公司取得一项名为“一种传感器封装连接结构”的专利，授权公告号CN222214164U，申请日期为2023年12月。

金融界 2024-12-28

路溱微电子取得种芯片真空封装结构专利，避免焊料随意溢流影响其他部件

金融界2024年12月28日消息，国家知识产权局信息显示，路溱微电子技术（苏州）有限公司取得一项名为“种芯片真空封装结构”的专利，授权公告号CN222214166U，申请日期为2023年12月。

金融界 2024-12-28

德芯科技取得不易损坏的二极管封装结构专利，散热效率高延长使用寿命

金融界2024年12月28日消息，国家知识产权局信息显示，德兴市德芯科技有限公司取得一项名为“一种不易损坏的二极管封装结构”的专利，授权公告号CN222214167U，申请日期为2024年5月。

金融界 2024-12-28

湖南志浩航取得一种芯片散热盖板专利，防止芯片盖板运输途中对工质注入管封口处的损伤

金融界2024年12月28日消息，国家知识产权局信息显示，湖南志浩航精密科技有限公司取得一项名为“一种芯片散热盖板”的专利，授权公告号CN222214168U，申请日期为2024年3月。专利摘要显示，本实用新型涉及芯片散热技术领域，公开了一种芯片散热盖板。

金融界 2024-12-28

时创能源取得一种背接触叠栅结构电池片及电池专利，大幅减少银耗量，降低电池成本

金融界2024年12月28日消息，国家知识产权局信息显示，常州时创能源股份有限公司取得一项名为“一种背接触叠栅结构电池片及电池”的专利，授权公告号CN222214187U，申请日期为2024年1月。

金融界 2024-12-28

福建华佳彩取得提高开口率的低寄生电容TFT阵列基板专利，提高TFT阵列基板的开口率

金融界2024年12月28日消息，国家知识产权局信息显示，福建华佳彩有限公司取得一项名为“种提高开口率的低寄生电容TFT阵列基板”的专利，授权公告号CN222214179U，申请日期为2023年2月。

金融界 2024-12-28

浙江禾芯取得非TSV的HBM芯片封装结构专利，大大降低工艺成本

金融界2024年12月28日消息，国家知识产权局信息显示，浙江禾芯集成电路有限公司取得一项名为“一种非TSV的HBM芯片封装结构”的专利，授权公告号CN222214165U，申请日期为2023年12月。

金融界 2024-12-28

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

天津州杰取得COB显示屏封胶结构专利，避免树脂边缘位置参差不齐

芯探取得一种芯片抗干扰结构专利，提高器件的信号质量和性能稳定性

东莞市元航精密电子科技取得一种半导体引线框架专利，能加速散热片对引线框架本体的散热作用

路溱微电子取得一种传感器封装连接结构专利，避免胶液随意溢流影响其他器件使用

路溱微电子取得种芯片真空封装结构专利，避免焊料随意溢流影响其他部件

德芯科技取得不易损坏的二极管封装结构专利，散热效率高延长使用寿命

湖南志浩航取得一种芯片散热盖板专利，防止芯片盖板运输途中对工质注入管封口处的损伤

时创能源取得一种背接触叠栅结构电池片及电池专利，大幅减少银耗量，降低电池成本

福建华佳彩取得提高开口率的低寄生电容TFT阵列基板专利，提高TFT阵列基板的开口率

浙江禾芯取得非TSV的HBM芯片封装结构专利，大大降低工艺成本

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响