使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

为什么必须把代码写到极致？

最近写代码把节奏从求快改成了求好，力求我过手的系统稳如老狗，顺便总结了几点把代码写到极致的思考。能学习，有成长前几年写代码只求快，回想起来几乎没什么成长，疯狂搓 CRUD 谁不会呢。架构的思考、扩

小兵张健 2024-12-28

直播带货预测：数据与模型的幽默碰撞

前言在科技飞速发展的今天，人工智能已经成为了一个不可忽视的领域，本文将结合黄佳老师AI理论课来聊一聊如何在魔搭社区通过数据分析和机器学习来进行直播带货的预测。魔搭社区：数据科学家的理想实验田首先

少年姜太公 2024-12-28

一文带你全面了解 RAG 组件

检索增强生成 (RAG) 流程正在彻底改变我们与大型语言模型 (LLM) 的交互方式。RAG 不再仅仅依赖这些模型中预先训练的知识，而是让 LLM 能够实时访问和利用外部知识源，从而产生更准确、更相关

致Great 2024-12-28

Docker-Dockerfile案例(一)

前面我们经过几个小节的讲解，把常用的Dockerfile的参数都大概讲解了一次，今天这小节我们将结合实际需求来讲解。

dessler 2024-12-28

DOW 插件增强-可控 JinaSum 触发+追问+黑名单

增强版 JinaSum 插件，支持手动触发、追问以及群聊黑名单功能。支持 dow 和 cow，有感兴趣的可以试试

三金得鑫 2024-12-28

Hamm 2024-12-28

看完前端各种风骚操作，我眼睛被亮瞎了！

一、实现一个快速评分组件这个都不用多解释了，简直写的太妙了！二、巧用位运算用位运算可以实现很多功能，比如乘2、除2（或者2的倍数），向下取整这些计算操作，而且性能很高！并且，利用~符,即按位取

程序员小寒 2024-12-28

性能优化：加载优化——提升用户体验的关键

性能优化：加载优化——提升用户体验的关键加载优化对于用户体验起着决定性作用。能够极大幅度地缩短用户等待时间，让页面瞬间呈现，彻底告别长时间面对空白屏幕的焦虑。

Vuhao 2024-12-28

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

为什么必须把代码写到极致？

直播带货预测：数据与模型的幽默碰撞

一文带你全面了解 RAG 组件

Docker-Dockerfile案例(一)

DOW 插件增强-可控 JinaSum 触发+追问+黑名单

005：安装 python 和 OpenCV

69天探索操作系统-第24天：动态内存管理技术

哪有什么代码如诗,代码里全是人生路上的那些人情世故

看完前端各种风骚操作，我眼睛被亮瞎了！

性能优化：加载优化——提升用户体验的关键

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响