使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

22130米穿越天山！世界最长高速公路隧道贯通

12月30日11时许，作为世界上最长的高速公路隧道，天山胜利隧道全线贯通！天山胜利隧道横穿天山中部，全长22.13公里，是新疆乌尉（乌鲁木齐至尉犁）高速公路的“咽喉”工程，双车道设

2024-12-30

乱步印花港风针织衫大促：V领单排简约大方到手24.9元/件

乱步印花针织衫/开衫毛衣日常售价为49.9元，下单领取50元优惠券，拍2件共发2件实付49.8元包邮，折合24.9元/件。购买链接：天猫(2件49.8元)共有28款可选，包含开衫/套头款式、印花/纯色设计

2024-12-30

编造理想MEGA车内摄像头拍摄色情图片：一男子获刑7个月

快科技12月30日消息，理想汽车法务部最新发文，通报了一起有关理想MEGA谣言的后续，涉事男子被除刑拘7个月的处罚。理想汽车法务部称：关于“MEGA车内摄像头拍摄色情图片”谣言一事

2024-12-30

25万以内全品类马力最大！最值得买的领克Z10正式交付

快科技12月30日消息，就在今日，领克Z10 702km四驱Halo正式交付，该车绝对是最值得买的Z10，同时也是该价位最值得买的电动轿车，极其适合驾驶爱好者。本月初，领克加推了该款车型，售价22.98万

2024-12-30

钻石巨头：今年是钻石销售最糟一年库存达顶峰

快科技12月30日消息，据报道，全球最大钻石生产商戴比尔斯集团钻石库存处于2008年金融危机以来的最高水平，价值大约在20亿美元。戴比尔斯集团首席执行官阿尔·库克（Al Cook）表示：&ld

2024-12-30

摘养NFC100%纯椰子水10盒大促：到手19.9元

摘养100%纯椰子水250ml*10盒平时要卖49.9元，今日可叠加30元限时优惠券，到手19.9元，包邮。购买链接：天猫(券后19.9元)摘养100%纯椰子水0添加蔗糖，0脂，甄选东南亚本地椰子。NFC鲜榨，

2024-12-30

比亚迪王传福：读上中南大学冶金物理化学专业是一生的幸运

快科技12月30日消息，据媒体综合报道，今天上午，比亚迪正式启动其规模达30亿的教育慈善基金。启动仪式上，比亚迪股份有限公司董事长兼总裁王传福登台，首先介绍了自己的求学路，并且对自己的

2024-12-30

科大讯飞刘庆峰：每个人都能站在AI肩膀上成为更好的自己

快科技12月30日消息，据央视报道，近日，科大讯飞董事长刘庆峰参加了首届“跨年科技秀”——《中国科技创新盛典》。在盛典现场，科大讯飞董事长刘庆峰分别通过机器狗小

2024-12-30

十年还未完善Windows深色模式！微软被痛批

快科技12月30日消息，自2016年微软为Windows 10引入深色模式切换功能以来，用户一直期待系统界面能够实现全面的深色主题。然而将近十年过去了，Windows的深色模式依旧存在诸多缺陷。Windows

2024-12-30

中国英雄机长就韩国客机失事发声：特情和训练有太多不同

快科技12月30日消息，当地时间29日上午9时07分左右（北京时间29日8时07分左右），一架正在着陆的客机在韩国全罗南道的务安国际机场偏离跑道，与围栏外墙发生碰撞后爆炸起火。据悉，发生事故的

2024-12-30

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

22130米穿越天山！世界最长高速公路隧道贯通

乱步印花港风针织衫大促：V领单排简约大方到手24.9元/件

编造理想MEGA车内摄像头拍摄色情图片：一男子获刑7个月

25万以内全品类马力最大！最值得买的领克Z10正式交付

钻石巨头：今年是钻石销售最糟一年库存达顶峰

摘养NFC100%纯椰子水10盒大促：到手19.9元

比亚迪王传福：读上中南大学冶金物理化学专业是一生的幸运

科大讯飞刘庆峰：每个人都能站在AI肩膀上成为更好的自己

十年还未完善Windows深色模式！微软被痛批

中国英雄机长就韩国客机失事发声：特情和训练有太多不同

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响