使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

打破传统显示尺寸限制！天马Micro-LED产线全制程贯通

快科技12月30日消息，今日，天马微电子宣布，天马Micro-LED产线在厦门成功实现全制程贯通。本次全制程贯通仪式现场点亮的是天马自主研发生产的PID标准显示单元模块。该标准模块以天马LTPS基

2024-12-30

崔东树：国产自主高端纯电轿车将赶超特斯拉

快科技12月30日消息，近日，乘联会秘书长崔东树表示，新能源乘用车的国内零售渗透率已持续突破50%，自主高端纯电轿车正在赶超特斯拉。根据数据显示，2024年1-11月，新能源车零售量达到959万辆

2024-12-30

大姐吸入年糕上霉菌得肺炎：家中这些场景很常见、需提防！

快科技12月30日消息，霉菌，生活中比较常见的一种微生物，但值得警惕的是，这种东西如果不慎吸入肺中，很有可能造成严重疾病。据“邵逸夫医院”官微发布，杭州的洪女士在家中处理发

2024-12-30

数据要素参与分配的公理有哪些？

随着信息技术的飞速发展，数据已成为驱动经济增长的关键要素之一。数据要素不仅在生产过程中发挥着重要作用，在价值创造和收入分配中的作用也日益凸显，那么数据要素参与分配的公理有哪些？一、数据要素参与分配的

埃文科技 2024-12-30

【鸿蒙NEXT】鸿蒙里面类似iOS的Keychain——关键资产(@ohos.security.asset)实现设备唯一标识

在iOS开发中Keychain 是一个非常安全的存储系统，用于保存敏感信息，如密码、证书、密钥等。那么鸿蒙里面类似的功能是什么呢?

ZJPRENO 2024-12-30

女子撞玛莎拉蒂赔3.2万私了后悔了要去4S店重新定损

快科技12月30日消息，据报道，河南郑州，一位女车主驾车变道时，不慎撞上了一辆玛莎拉蒂。女车主介绍：交警出具了事故认定书，是她的全责，玛莎拉蒂和她的车都没有买商业保险。她的车撞上了

2024-12-30

electron-vite_17设置系统音量loudness报错

loudness是一款控制系统音量输出的一款 Node.js 库；但是在electron-vite中直接使用编译的时候会报错；这个时候需要单独处理；

前端进阶者 2024-12-30

【性能优化】真有那么慢？Java 和 Kotlin 的反射

Android 性能，从刷牙说起都不让用反射，因为性能差——到底有多差？首先，反射是啥？从内存里现场读取软件结构，以及现场修改软件结构慢吗？慢。主要就慢在各种动态检查，以及缺少代码优化。

扔物线 2024-12-30

HTML&CSS：超炫丝滑的卡片水波纹效果

这段代码创建了一个卡片，卡片上有三个波动效果，这些波动效果通过 CSS 的@keyframes 动画实现，创建了一个旋转的动画效果。这种效果适用于创建动态的视觉效果，例如音乐播放器的封面、动态背景或其

前端Hardy 2024-12-30

对标3万元的Vision Pro！vivo革命性产品来了：体验超苹果

快科技12月30日消息，vivo执行副总裁胡柏山透露，vivo将在2025年9、10月份推出高保真的MR原型机。胡柏山表示，vivo在MR领域跑得比较快，目前人员编制已经达到500人，vivo目标是希望能够在2025

2024-12-30

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

打破传统显示尺寸限制！天马Micro-LED产线全制程贯通

崔东树：国产自主高端纯电轿车将赶超特斯拉

大姐吸入年糕上霉菌得肺炎：家中这些场景很常见、需提防！

数据要素参与分配的公理有哪些？

【鸿蒙NEXT】鸿蒙里面类似iOS的Keychain——关键资产(@ohos.security.asset)实现设备唯一标识

女子撞玛莎拉蒂赔3.2万私了后悔了要去4S店重新定损

electron-vite_17设置系统音量loudness报错

【性能优化】真有那么慢？Java 和 Kotlin 的反射

HTML&CSS：超炫丝滑的卡片水波纹效果

对标3万元的Vision Pro！vivo革命性产品来了：体验超苹果

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响