使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

清创智申请光纤预制棒石英把棒熔接热防护涂层专利，涂层强度高、耐高温

金融界2024年12月25日消息，国家知识产权局信息显示，德清创智科技股份有限公司申请一项名为“一种光纤预制棒石英把棒熔接热防护涂层”的专利，公开号CN119176669A，申请日期为2024年10月。

金融界 2024-12-25

立胜（厦门）塑胶管材取得管件加工用扩口装置专利，提高加工效率

金融界2024年12月25日消息，国家知识产权局信息显示，立胜（厦门）塑胶管材有限公司取得一项名为“一种管件加工用扩口装置”的专利，授权公告号CN222198648U，申请日期为2024年5月。

金融界 2024-12-25

洛阳北方玻璃申请曲面玻璃制备方法及装置专利，提高成型玻璃的产品精度

金融界2024年12月25日消息，国家知识产权局信息显示，洛阳北方玻璃技术股份有限公司申请一项名为“一种曲面玻璃的制备方法及装置”的专利，公开号CN119176661A，申请日期为2024年10月。

金融界 2024-12-25

沧州四星申请具有预热控制功能的玻璃管制瓶机专利，解决玻璃管制瓶生产成本高的问题

金融界2024年12月25日消息，国家知识产权局信息显示，沧州四星玻璃股份有限公司申请一项名为“一种具有预热控制功能的玻璃管制瓶机”的专利，公开号CN119176664A，申请日期为2024年11月。

金融界 2024-12-25

阿克苏竣创伟业钢结构取得不锈钢弯折机用定位结构专利，便于使用人员利用弯折机将钢板弯折呈弧形

金融界2024年12月25日消息，国家知识产权局信息显示，阿克苏竣创伟业钢结构有限公司取得一项名为“一种不锈钢弯折机用定位结构”的专利，授权公告号CN222198653U，申请日期为2024年4月。

金融界 2024-12-25

安徽巨一科技取得一种包边系统压刀驱动装置专利，为包边质量提供有力保障

金融界2024年12月25日消息，国家知识产权局信息显示，安徽巨一科技股份有限公司取得一项名为“一种包边系统压刀驱动装置”的专利，授权公告号CN222198644U，申请日期为2023年12月。

金融界 2024-12-25

宁波固安力取得一种稳定的单柱压力机专利，避免工件挤压时错位变形

金融界2024年12月25日消息，国家知识产权局信息显示，宁波固安力精工有限公司取得一项名为“一种稳定的单柱压力机”的专利，授权公告号CN222198651U，申请日期为2024年4月。

金融界 2024-12-25

新旗滨科技申请旋转管气泡消除装置专利，解决玻璃管生产中气泡降低品质的问题

金融界2024年12月25日消息，国家知识产权局信息显示，深圳市新旗滨科技有限公司申请一项名为“旋转管气泡消除装置”的专利，公开号CN119176659A，申请日期为2024年9月。

金融界 2024-12-25

东台市洪华机械配件公司取得变径管锻压机专利，帮助定位变径管

金融界2024年12月25日消息，国家知识产权局信息显示，东台市洪华机械配件有限公司取得一项名为“一种辅助定位机构的变径管锻压机”的专利，授权公告号CN222198646U，申请日期为2024年5月。

金融界 2024-12-25

东莞市方展实业取得用于DP线外壳的铆压机专利，可增加固定稳定性

金融界2024年12月25日消息，国家知识产权局信息显示，东莞市方展实业有限公司取得一项名为“一种用于DP线外壳的铆压机”的专利，授权公告号CN222198650U，申请日期为2024年4月。

金融界 2024-12-25

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

清创智申请光纤预制棒石英把棒熔接热防护涂层专利，涂层强度高、耐高温

立胜（厦门）塑胶管材取得管件加工用扩口装置专利，提高加工效率

洛阳北方玻璃申请曲面玻璃制备方法及装置专利，提高成型玻璃的产品精度

沧州四星申请具有预热控制功能的玻璃管制瓶机专利，解决玻璃管制瓶生产成本高的问题

阿克苏竣创伟业钢结构取得不锈钢弯折机用定位结构专利，便于使用人员利用弯折机将钢板弯折呈弧形

安徽巨一科技取得一种包边系统压刀驱动装置专利，为包边质量提供有力保障

宁波固安力取得一种稳定的单柱压力机专利，避免工件挤压时错位变形

新旗滨科技申请旋转管气泡消除装置专利，解决玻璃管生产中气泡降低品质的问题

东台市洪华机械配件公司取得变径管锻压机专利，帮助定位变径管

东莞市方展实业取得用于DP线外壳的铆压机专利，可增加固定稳定性

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响