实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

作者：HuggingFace发布时间：2023-10-28

Hugging Face

每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging Ne...【查看原文】

相关资讯

使用 PyTorch FSDP 微调 Llama 2 70B

## 引言通过本文，你将了解如何使用 PyTorch FSDP 及相关最佳实践微调 Llama 2 70B。在此过程中，我们主要会用到 Hugging Face Transformers、Accel

LLaMA Hugging Face

HuggingFace 2023-12-12

开源模型 Zephyr-7B 发布——跨越三大洲的合作

最近我们刚刚发布了新的开源模型 Zephry-7B，这个模型的诞生离不开全球三大洲开源社区的协作 ️。我们的 CSO Thomas 录了一个视频介绍了它的起源故事: 就在几个月前，巴黎的一个新团队发布了他们首个模型: Mistral 7B，这个模型体积小巧但性能强劲，在基准测试中的表现超过了所有同类模型。而且这是个开源模型，这意味着大家都可以在此基础上进行开发。开发者 Lewis 在瑞士伯尔尼，Ed 在法国南部里昂，他们俩都是 Hugging Face H4 团队的一员。在 Hugging Face 举

Hugging Face

HuggingFace 2023-11-09

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

通义千问又双叒开源了最强开源大模型，再次易主！就在刚刚，阿里云通义千问又双叒开源了，并且直接开大：甩出了720亿参数版本—— 在中国的开源大模型中，少见地直接对标最大号羊驼Llama2-70B。

通义千问

量子位 2023-12-04

“最强7B模型”论文发布，揭秘如何超越13B版Llama 2

来自“欧洲OpenAI”的“最强7B开源模型”Mistral最近可谓是圈粉无数。它各方面的测试指标全面超越了13B的Llama2，甚至让一众网友觉得羊驼不香了。最新消息是，MistralAI团队已经发布了相关论文，透露背后的技术细节。

LLaMA OpenAI

量子位 2023-10-13

Meta 发布开源大模型 Code Llama 70B

Meta 今天宣布，推出全新开源大模型Code Llama 70B，据悉，其HumanEval评分达到67.8，达到 GPT-4水准，是目前评分最高的开源大模型。

LLaMA GPT-4

2024-01-30

近期资讯

雷科技编辑2024买了啥？手机、耳机最受宠，可穿戴无人问津？

2024年即将结束，这种辞旧迎新的时候，也是大家做年度复盘的最好时机。过去一个月里，雷科技已经发布了多个企业、行业的年度回顾和盘点。而作为年度盘点中的保留环节，接下来该盘点一下雷科技编辑部小伙伴今年买了些什么了。

雷科技 2024-12-29

手机中国 2024-12-29

SpaceX计划今年进行144次发射，已完成133次

钛媒体App12月29日消息，截至12月29日，SpaceX在2024年度已完成133次发射，距离该公司在年初设立的年度目标还差11次。

钛媒体快报 2024-12-29

AMD RX 9070 XT功耗超过300W！但拒绝16针供电

快科技12月29日消息，AMD的新一代显卡RX9070XT、RX9070将会在CES2025期间正式发布，预计1月底春节前就会上市，更多曝料也不断出现。不过在NVIDIA全线普及12V-2x616针供电接口的情况下，AMD并不会跟进，而是继续使用传统的PCIe8针接口，预计公版标配两个(最大供电能力就有375W)，非公版上三个也不罕见。

驱动之家 2024-12-29

AI用“错”了，人真的会变笨！没骗你

近两年来，AI技术发展迅猛，对我们生活渗透的速度，可以用一日千里形容。当工作中为了提效，和人工智能协作时，我们应该将人工智能视为一个古怪的队友，而不是一个无所不知的仆人。

科普中国 2024-12-29

基于数字化转型的中医药企业智慧供应链模式

智慧供应链作为企业提升竞争力的关键，如何助力中医药企业实现传统与现代的融合发展？通过采用先进的信息技术和管理模式，智慧供应链能够有效应对原材料供应不稳定、信息共享不畅和质量控制难题，进而推动中医药企业在传统与现代融合发展道路上更进一步。

人人都是产品经理 2024-12-29

看看今年花多少支付宝年度总结来了：首页下拉可领

快科技12月29日消息，一年一度的支付宝年度总结终究还是来了！据介绍，支付宝首页下拉或下载“支小宝”App，输入“我的2024”，查看你的AI年度总结。马云在支付宝20周年纪念活动中表示，未来的20年，AI时代所带来的巨大的变革会超出所有人的想象，因为AI会是一个更加伟大的时代，AI会改变一切，但这并不代表AI会决定一切。

快科技 2024-12-29

国产大飞机进展神速，CR929突破大瓶颈，波音是否会退出我国市场

飞机作为现在常见的一种交通工具，频繁地接受着人们的运输任务，而要说中国最缺的其实就是国产的大型飞机。一提到国产大型飞机，大家一定会先想到C919，但这种机型现在已经难以满足我国的一些应用条件，在这样的情况之下，我国和俄罗斯选择了共同研制，制造我国的CR929。

科学知识点秀 2024-12-29

实战｜如何低成本训练一个可以超越 70B Llama2 的模型 Zephyr-7B

推荐体验

相关资讯

使用 PyTorch FSDP 微调 Llama 2 70B

开源模型 Zephyr-7B 发布——跨越三大洲的合作

国产720亿参数开源免费模型来了！对标Llama2 70B，一手实测在此

“最强7B模型”论文发布，揭秘如何超越13B版Llama 2

Meta 发布开源大模型 Code Llama 70B

近期资讯

雷科技编辑2024买了啥？手机、耳机最受宠，可穿戴无人问津？

【实探】华为手机，大降价！

史诗升级！iPhone 17将全系用上高刷

小米汽车的2024 单车型跑出雷军的速度与激情

SpaceX计划今年进行144次发射，已完成133次

AMD RX 9070 XT功耗超过300W！但拒绝16针供电

AI用“错”了，人真的会变笨！没骗你

基于数字化转型的中医药企业智慧供应链模式

看看今年花多少支付宝年度总结来了：首页下拉可领

国产大飞机进展神速，CR929突破大瓶颈，波音是否会退出我国市场

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响