使用 PyTorch FSDP 微调 Llama 2 70B

作者：HuggingFace发布时间：2023-12-12

LLaMA Hugging Face

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel...【查看原文】

相关资讯

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

使用 DPO 微调 Llama 2

简介基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback，RLHF) 事实上已成为 GPT-4 或 Claude 等 LLM 训练的最后一步

LLaMA GPT-4 Claude

HuggingFace 2023-08-22

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne

Hugging Face

HuggingFace 2023-10-28

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

用AI生成的指令微调羊驼大模型，数学能力超ChatGPT——微软最新开源大模型WizardMath来了。如下图所示，经过GSM8k数据集测试，WizardMath数学能力直接击败了ChatGPT、Claude In

ChatGPT Claude 微软

2023-08-14

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

近期资讯

清华用主动学习模型筛选析氢催化剂，产氢性能高于铂基商业催化剂

由于其广阔的组分空间和大量可能的元素组合，高熵氧化物呈现出“万花筒”般的多样性。其由于丰富的活性位点、可调节的比表面积、稳定的晶体结构、独特的几何相容性和电子结构等特性，在化学催化领域展示出广阔的应用前景。研究伊始，该课题组采用Kennard-Stone采样方法选择一个代表性子集。

DeepTech深科技 2024-12-30

无锡富良机械制造有限公司取得左右箱体清洗机专利，能方便用户更换滤网

金融界2024年12月30日消息，国家知识产权局信息显示，无锡富良机械制造有限公司取得一项名为“一种左右箱体清洗机”的专利，授权公告号CN222220624U，申请日期为2024年4月。

金融界 2024-12-30

iPhone SE 4售价及配置曝光低于4000元搭载A18芯片

然而，在韩国市场，其售价可能会超过800000韩元（折合人民币约为3968元）。此前有传言称，iPhoneSE4的定价范围可能在499美元（折合人民币约为3642元）至549美元（折合人民币约为4000元）之间。

手机中国 2024-12-30

自研 ERP，一门注定失败的生意

最近，中广核、中移动等“中字头”纷纷发布了ERP系统预研采购公告，计划用自研ERP来替换SAP、Oracle等欧美软件。一般来说，自研一套大型管理软件，主要有2个原因。

人人都是产品经理 2024-12-30

第一批符合新版工业机器人行业规范条件企业名单发布，博实股份、埃斯顿、埃夫特等上榜

工业和信息化部发布公告称，为进一步加强工业机器人行业规范管理，推动产业高质量发展，根据《工业机器人行业规范条件（2024版）》《工业机器人行业规范条件管理实施办法（2024版）》（工业和信息化部公告2024年第20号）有关要求，经企业申报、省级工业和信息化主管部门和有关中央企业核实推荐、专家评审、网上公示等程序，现将符合《工业机器人行业规...

证券时报 2024-12-30

供不应求！台积电3、5nm制程和封装将最高涨价20%

快科技12月30日消息，在全球AI需求的推动下，台积电的先进制程与封装产能变得异常抢手。据媒体报道，台积电计划从2025年1月起对3nm、5nm先进制程和CoWoS封装工艺进行价格调整。其中，3nm和5nm制程的价格涨幅将在5%到10%之间，而CoWoS封装工艺的涨幅则达15%到20%。

快科技 2024-12-30

黑芝麻智能发布华山A2000家族芯片平台，打造全场景通识智驾标杆

12月30日，黑芝麻智能宣布推出其专为下一代AI模型设计的高算力芯片平台——华山A2000家族。A2000家族芯片平台承袭黑芝麻智能华山产品线的使命，以更高算力、更强性能赋能汽车行业，加速高阶智能驾驶成为标配，打造全场景通识智驾标杆。随着行业步入大模型时代，Transformer算法结构和混合模型架构将引领新的技术潮流。

格隆汇 2024-12-30

高效节能，华帝燃气热水器小飞翼K6：1871元享16升天然气

#年货节好物集市#华帝作为国内厨电行业的佼佼者，其燃气热水器产品一直以技术创新和卓越性能著称。华帝燃气热水器小飞翼K6型号采用了多项创新技术，包括直流变频降噪、智感恒吸系统、挥手智控功能和第四代自清洁功能等。这些技术的应用不仅提升了燃气热水器的性能，还增强了用户体验，使得产品在市场中更具竞争力。

小米地瓜 2024-12-30

大航跃迁：“筷子夹火箭”回收试验塔架完成静力试验及系统调试工作

12月30日消息，据大航跃迁官方消息，近日，大航跃迁“筷子夹火箭”回收试验塔架圆满完成静力试验及系统调试工作。试验塔架在静力试验考核过程中，关键结构测点数据曲线良好，符合仿真预示结果。试验塔架各功能机构经过系统充分调试，能够遵循预定指令有序执行系列动作，塔架系统各项性能符合预期。

IT之家 2024-12-30

科技赋能文化传承，文物“上云”焕发生命力

博物馆里的国宝、沉睡千年的遗迹、惟妙惟肖的石窟壁画……浸透光阴的文化遗存既凝结了古人智慧，也承载着中华民族的根与魂。思接千载，鉴往知来。透过文物意味着开启了一个与文明对话的时空，触摸到历史发展的脉搏。然而，经年累月，文物面临着裂隙渗水、风化残缺、开裂剥落等诸多挑战。

砍柴网 2024-12-30

使用 PyTorch FSDP 微调 Llama 2 70B

推荐体验

相关资讯

Meta 发布开源大模型 Code Llama 70B

使用 DPO 微调 Llama 2

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

数学能力超ChatGPT 70B开源大模型火了：用AI微调AI

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

近期资讯

清华用主动学习模型筛选析氢催化剂，产氢性能高于铂基商业催化剂

无锡富良机械制造有限公司取得左右箱体清洗机专利，能方便用户更换滤网

iPhone SE 4售价及配置曝光低于4000元搭载A18芯片

自研 ERP，一门注定失败的生意

第一批符合新版工业机器人行业规范条件企业名单发布，博实股份、埃斯顿、埃夫特等上榜

供不应求！台积电3、5nm制程和封装将最高涨价20%

黑芝麻智能发布华山A2000家族芯片平台，打造全场景通识智驾标杆

高效节能，华帝燃气热水器小飞翼K6：1871元享16升天然气

大航跃迁：“筷子夹火箭”回收试验塔架完成静力试验及系统调试工作

科技赋能文化传承，文物“上云”焕发生命力

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响