使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

深圳欣锐科技取得控制引导功能发生电路专利，做到元件数量少、电路简单、体积小、成本低、可靠性高

金融界2024年12月25日消息，国家知识产权局信息显示，深圳欣锐科技股份有限公司取得一项名为“控制引导功能发生电路”的专利，授权公告号CN222192151U，申请日期为2024年2月。

金融界 2024-12-25

力零科技申请用于带电作业的并沟线夹安装工具专利，提升并沟线夹带电作业效率

金融界2024年12月25日消息，国家知识产权局信息显示，武汉力零科技有限公司申请一项名为“一种用于带电作业的并沟线夹安装工具”的专利，公开号CN119171098A，申请日期为2024年9月。

金融界 2024-12-25

英维克取得一种多路输出的隔离电源电路以及一种逆变系统专利，提高隔离电源电路的工作效率

金融界2024年12月25日消息，国家知识产权局信息显示，深圳市英维克信息技术有限公司取得一项名为“一种多路输出的隔离电源电路以及一种逆变系统”的专利，授权公告号CN222192152U，申请日期为2023年12月。

金融界 2024-12-25

力林科技取得电源转换装置专利，具有高电压需求且具备小体积

金融界2024年12月25日消息，国家知识产权局信息显示，力林科技股份有限公司取得一项名为“电源转换装置”的专利，授权公告号CN222192147U，申请日期为2024年4月。

金融界 2024-12-25

常州新苑星申请单元主电路静插件等专利，实现单元主电路静插件的小型化

金融界2024年12月25日消息，国家知识产权局信息显示，常州新苑星电器有限公司申请一项名为“单元主电路静插件、电源分配器及多回路单元总成”的专利，公开号CN119171107A，申请日期为2024年9月。

金融界 2024-12-25

深圳市周励电子科技取得能够限制最大功率的开关电源专利，能够限制最大功率

金融界2024年12月25日消息，国家知识产权局信息显示，深圳市周励电子科技有限公司取得一项名为“一种能够限制最大功率的开关电源”的专利，授权公告号CN222192150U，申请日期为2024年4月。

金融界 2024-12-25

威胜能源技术取得一种负电源电路专利，成本极低

金融界2024年12月25日消息，国家知识产权局信息显示，威胜能源技术股份有限公司取得一项名为“一种负电源电路”的专利，授权公告号CN222192146U，申请日期为2024年3月。

金融界 2024-12-25

龙境科技申请一体式线对板连接器专利，有效避免线路板焊盘脱落风险

金融界2024年12月25日消息，国家知识产权局信息显示，深圳市龙境科技有限公司申请一项名为“一体式线对板连接器”的专利，公开号CN119171104A，申请日期为2024年7月。专利摘要显示，本发明公开了一种一体式线对板连接器，涉及电子配件技术领域，其中，一体式线对板连接器包括主体部、第一压线部和第二压线部。

金融界 2024-12-25

超聚变申请种电源及计算设备专利，能够降低提高连接器的电流通流能力所需的成本

电路板的端部具有第一连接器。第一连接器包括插接部和第一导电套，其中，插接部包括第一子插接部和第二子插接部，第一子插接部的和第二子插接部间隔设置。第一子插接部的表面设置有第一导电触片，第一导电触片与电压输出端电连接。第二子插接部的表面设置有第二导电触片，第二导电触片与接地端电连接。

金融界 2024-12-25

上海航天能源取得一种基于本安关联的电源专利，降低产品成本

金融界2024年12月25日消息，国家知识产权局信息显示，上海航天能源股份有限公司取得一项名为“一种基于本安关联的电源”的专利，授权公告号CN222192144U，申请日期为2023年12月。

金融界 2024-12-25

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

深圳欣锐科技取得控制引导功能发生电路专利，做到元件数量少、电路简单、体积小、成本低、可靠性高

力零科技申请用于带电作业的并沟线夹安装工具专利，提升并沟线夹带电作业效率

英维克取得一种多路输出的隔离电源电路以及一种逆变系统专利，提高隔离电源电路的工作效率

力林科技取得电源转换装置专利，具有高电压需求且具备小体积

常州新苑星申请单元主电路静插件等专利，实现单元主电路静插件的小型化

深圳市周励电子科技取得能够限制最大功率的开关电源专利，能够限制最大功率

威胜能源技术取得一种负电源电路专利，成本极低

龙境科技申请一体式线对板连接器专利，有效避免线路板焊盘脱落风险

超聚变申请种电源及计算设备专利，能够降低提高连接器的电流通流能力所需的成本

上海航天能源取得一种基于本安关联的电源专利，降低产品成本

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响