使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

德鑫机械取得气动式合金蝶阀锁止结构专利，可防止阀瓣被介质持续推力自转导致阀门泄露

金融界2024年12月27日消息，国家知识产权局信息显示，福建省德鑫机械制造有限公司取得一项名为“一种气动式合金蝶阀锁止结构”的专利，授权公告号CN222209200U，申请日期为2024年3月。

金融界 2024-12-27

奔驰史上最快量产车全新AMG GT 63插混版曝光：零百2.8S

快科技12月27日消息，据媒体报道，梅赛德斯-AMG官方宣布旗下AMG GT 63 S E PERFORMANCE将1月6日正式上市。值得一提的是，该车搭载了由4.0T双涡轮增压V8发动机和后电机组成的插电式混合动力

王略 2024-12-27

火到国外，马斯克也忍不住转发！空翻、倒立旋转、复杂地形穿越……国产机器人高难度动作看呆观众，厂家订单已遍及全球

原地转体两周，再倒立转体三周半；跋山涉水下陡坡，稳定性和速度兼顾……12月23日，宇树科技发布的一段不到2分钟的视频，展示其最新推出的UnitreeB2-W工业轮足机器人最新性能，收获了大量关注和好评，连马斯克也在社交平台X上转发。

每日经济新闻 2024-12-27

《亮剑》演员杨清文确诊甲状腺癌：已经完成切除手术

12月27日消息，据媒体报道，在《亮剑》中出演“鬼子大佐”的演员杨清文发视频称，自己确诊了甲状腺癌，已经完成了切除手术。据了解，杨清文出生于河北省承德市，曾因会日语，从剧组

振亭 2024-12-27

平原实验室助力生物医药创新产业集群发展

12月26日，平原实验室的科技人员正在紧张地进行生物与新医药领域的实验工作。该实验室致力于聚焦前沿科学问题，为我省生物医药创新产业集群的高质量发展提供有力支撑。平原实验室凭借先进的科研设备和专业的科研团队，不断推进生物医药领域的科技创新。在这里，科技人员们不断探索、实践，以期在生物医药领域取得更多的突破和进展。

河南日报 2024-12-27

小米 REDMI Book 16 2025 笔记本真机公布

IT之家12月27日消息，在今晚举行的“卢伟冰的年度总结”活动中，REDMI品牌总经理王腾现身，并展示了小米REDMIBook162025笔记本真机。直播展示机型采用了银灰配色并且采用了REDMI最新字母logo，除了16英寸版本外，王腾还透露该系列还有更小的14英寸版本。

IT之家 2024-12-27

小米又一款新品卖爆了！米家智能健腹轮众筹50小时直接售罄

快科技12月27日消息，小米最新推出的一款产品又卖爆了，据王化介绍，米家智能健腹轮众筹上线仅50小时，已经全部售罄。米家智能健腹轮众筹定价为179元，建议零售价是249元，预计将在不久后上架

建嘉 2024-12-27

联发科联手微软：全面优化AI小语言模型

快科技12月27日消息，联发科官方宣布，联发科天玑系列移动平台现已针对微软最新推出的Phi-3.5小语言模型(SLM)进行了专门适配与优化。该优化目前已经落地天玑9400、天玑9300两款旗舰芯片，以及

上方文Q 2024-12-27

南凌科技深耕SD-WAN解决方案助力企业数字化转型

近日，国际数据公司（IDC）发布《IDCMarketScape:中国软件定义广域网管理服务2024年厂商评估》报告。南凌科技(300921)SD-WAN被评为市场领导者，拥有出色的骨干网基础设施、安全产品集成能力、云集成能力、研发创新战略，完善的服务体系、生态体系，清晰的产品策略。

证券时报 2024-12-27

千亿潜力市场风口如何把握？参展通道再延迟5天微短剧产业主题展1月7日亮相成都东郊记忆

（红星新闻网记者李婉清）2025年1月7日至1月9日，中国广播电视社会组织联合会、西安交通大学携手成都传媒集团，将在成都举办首届“繁星闪耀•微短剧年度盛典”（简称繁星盛典）系列活动。

红星新闻 2024-12-27

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

德鑫机械取得气动式合金蝶阀锁止结构专利，可防止阀瓣被介质持续推力自转导致阀门泄露

奔驰史上最快量产车全新AMG GT 63插混版曝光：零百2.8S

火到国外，马斯克也忍不住转发！空翻、倒立旋转、复杂地形穿越……国产机器人高难度动作看呆观众，厂家订单已遍及全球

《亮剑》演员杨清文确诊甲状腺癌：已经完成切除手术

平原实验室助力生物医药创新产业集群发展

小米 REDMI Book 16 2025 笔记本真机公布

小米又一款新品卖爆了！米家智能健腹轮众筹50小时直接售罄

联发科联手微软：全面优化AI小语言模型

南凌科技深耕SD-WAN解决方案助力企业数字化转型

千亿潜力市场风口如何把握？参展通道再延迟5天微短剧产业主题展1月7日亮相成都东郊记忆

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响