使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

湖南丽赛药业取得抗 HPV 凝胶敷料反应试验观察箱专利，便于对比不同处

金融界2024年12月28日消息，国家知识产权局信息显示，湖南丽赛药业有限公司取得一项名为“一种抗HPV凝胶敷料反应试验观察箱”的专利，授权公告号CN222212738U，申请日期为2024年4月。

金融界 2024-12-28

楚雄变压器取得油浸式电力变压器湿度报警装置专利，有利于人们及时知晓变压器本体的运行异常

金融界2024年12月28日消息，国家知识产权局信息显示，云南省楚雄变压器有限责任公司取得一项名为“一种油浸式电力变压器湿度报警装置”的专利，授权公告号CN222212766U，申请日期为2024年3月。专利摘要显示，本实用新型提供一种油浸式电力变压器湿度报警装置。

金融界 2024-12-28

上海华新合金取得铝合金铸造产线用检具专利，能够对铸件进行快速装夹定位并提高检具使用效果和操作便捷性

金融界2024年12月28日消息，国家知识产权局信息显示，上海华新合金有限公司取得一项名为“一种铝合金铸造产线用检具”的专利，授权公告号CN222212754U，申请日期为2024年3月。

金融界 2024-12-28

信通云峰取得一种水环境监测浮标专利，能够在入水时提高整体质量和稳定性

金融界2024年12月28日消息，国家知识产权局信息显示，北京信通云峰科技有限公司取得一项名为“一种水环境监测浮标”的专利，授权公告号CN222212752U，申请日期为2024年11月。

金融界 2024-12-28

陕西地建取得一种水域生态环境监测预警装置专利，方便水质监测仪稳定检测一定区域内水质

金融界2024年12月28日消息，国家知识产权局信息显示，陕西地建土地工程技术研究院有限责任公司取得一项名为“一种水域生态环境监测预警装置”的专利，授权公告号CN222212745U，申请日期为2024年3月。

金融界 2024-12-28

耀辉眼镜取得眼镜镜片表面探伤检测机专利，能够方便对待检测探伤的镜片进行自动清洁

金融界2024年12月28日消息，国家知识产权局信息显示，耀辉眼镜（深圳）有限公司取得一项名为“一种眼镜镜片表面探伤检测机”的专利，授权公告号CN222212774U，申请日期为2024年4月。

金融界 2024-12-28

方太取得微流控检测仪专利，能增快加样速度及避免多次加样繁琐问题

金融界2024年12月28日消息，国家知识产权局信息显示，宁波方太厨具有限公司取得一项名为“一种微流控检测仪”的专利，授权公告号CN222212781U，申请日期为2024年2月。

金融界 2024-12-28

斯芮弗科技取得高效的TOC流路系统专利，结构简单、价格优势明显

金融界2024年12月28日消息，国家知识产权局信息显示，斯芮弗（无锡）科技有限公司取得一项名为“一种高效的TOC流路系统”的专利，授权公告号CN222212748U，申请日期为2024年4月。

金融界 2024-12-28

延长油田子长采油厂取得新型油田注水水质检测仪器专利，对检测头进行有效地放置和保护

金融界2024年12月28日消息，国家知识产权局信息显示，延长油田股份有限公司子长采油厂取得一项名为“一种新型油田注水水质检测仪器”的专利，授权公告号CN222212750U，申请日期为2024年4月。

金融界 2024-12-28

山东三润生物科技取得方便清理的水分测定仪专利，便于对盛料盘内部进行清理

金融界2024年12月28日消息，国家知识产权局信息显示，山东三润生物科技有限公司取得一项名为“一种方便清理的水分测定仪”的专利，授权公告号CN222212742U，申请日期为2024年3月。

金融界 2024-12-28

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

湖南丽赛药业取得抗 HPV 凝胶敷料反应试验观察箱专利，便于对比不同处

楚雄变压器取得油浸式电力变压器湿度报警装置专利，有利于人们及时知晓变压器本体的运行异常

上海华新合金取得铝合金铸造产线用检具专利，能够对铸件进行快速装夹定位并提高检具使用效果和操作便捷性

信通云峰取得一种水环境监测浮标专利，能够在入水时提高整体质量和稳定性

陕西地建取得一种水域生态环境监测预警装置专利，方便水质监测仪稳定检测一定区域内水质

耀辉眼镜取得眼镜镜片表面探伤检测机专利，能够方便对待检测探伤的镜片进行自动清洁

方太取得微流控检测仪专利，能增快加样速度及避免多次加样繁琐问题

斯芮弗科技取得高效的TOC流路系统专利，结构简单、价格优势明显

延长油田子长采油厂取得新型油田注水水质检测仪器专利，对检测头进行有效地放置和保护

山东三润生物科技取得方便清理的水分测定仪专利，便于对盛料盘内部进行清理

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响