大模型微调实战（八）-使用INT8/FP4/NF4微调大模型

作者：吃果冻不吐果冻皮发布时间：2023-12-05

ChatGPT

随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。...【查看原文】

相关资讯

大模型微调实战（七）-基于LoRA微调多模态大模型

随着，ChatGPT 迅速爆火，引发了大模型的时代变革。然而对于普通大众来说，进行大模型的预训练或者全量微调遥不可及。由此，催生了各种参数高效微调技术，让科研人员或者普通开发者有机会尝试微调大模型。

LoRA ChatGPT

吃果冻不吐果冻皮 2023-12-04

阿里发布通义千问大模型的int8版本

可在线运行的notebook链接：在kaggle网站搜索：Qwen-7B-Chat-Int8首先需要安装依赖包：!pip install modelscope tiktoken transformers_stream_generator!pip install auto-gptq optimum接着加载八比特量化的模型：from modelscope import AutoTokenizer, AutoModelForCausalLMtokenizer = AutoTokenizer.from_pretr

通义千问

AI日日新 2023-10-18

近期资讯

蔚来同步维权最新进展：多个账号被固定证据已在法院起诉

快科技12月29日消息，蔚来汽车法务部日前发布消息称，和大家分享下公司近期依法维护自身权益的举措：“Super Wade”、“宝利捷新能源”、“电动汽车叨逼叨”、

2024-12-29

用一个简单系统记住你读过的一切

简单而有效

神译局 2024-12-29

华为鸿蒙千元神机来了！麒麟5G芯片卫星通信下放

快科技12月29日消息，日前，数码博主“定焦数码”爆料，称华为畅享70X预计下周亮相，节后发布，新机售价预计在1500元~2000元左右。结合已知爆料，华为畅享70X两个最大亮点是麒麟芯片

2024-12-29

女子半夜和男友吵架刷机票抢到3元票平台：出票成功就能用

快科技12月29日消息，据报道，多位网友日前爆料称，自己抢到了海南航空明年1月4日从成都飞往北京的机票，票价3元，外加70元的机建燃油费，总费用仅为73元，起飞时间为晚上8点半。此事引起

2024-12-29

鲁格“超级红鹰”双动转轮提供优秀精度和火力控制令人爱不释手

武器科技 2024-12-28

SUV高速撞上隧道发动机都被撞飞！司机：空调太暖睡着了

快科技12月29日消息，公安部交通管理局今日分享了一起高速上疲劳驾车导致事故的案例。据介绍，12月18日凌晨4时许，浙江温丽高速向阳山隧道内，一辆白色SUV高速行驶中突然向右偏离车道，猛烈撞

2024-12-29

玉林迈入高铁时代至南宁行程缩短至48分钟

快科技12月29日消息，近日，据官方获悉，南宁至珠海高铁南宁至玉林段（南玉段）将于12月30日开通运营，这标志着广西玉林迈入高铁时代。南宁与玉林间铁路最快旅行时间由1小时44分钟缩短至48分钟，

2024-12-29

华为用户必看！换电池优惠50元等错过等明年

快科技12月29日消息，距离2024年结束仅剩3天，华为服务回馈礼遇活动也将于12月31日正式收官，华为手机、平板等设备用户，若想享受维修或电池更换的优惠服务要抓紧时间了，错过就要等明年了。据

2024-12-29

齐亚帕M1892杠杆武器拥有“马腿”绰号便携性和复古魅力兼备

武器科技 2024-12-28

六代机为什么采用3台发动机？集中爆发4款隐身机，四川喜提小航母

科技老房 2024-12-28

大模型微调实战（八）-使用INT8/FP4/NF4微调大模型

推荐体验

相关资讯

大模型微调实战（七）-基于LoRA微调多模态大模型

阿里发布通义千问大模型的int8版本

贪心大模型微调实战营

贪心大模型微调实战营贪心大模型开发应用实战营贪心大模型微调实战营算法篇分享

贪心AI大模型实战开发微调大模型学习

近期资讯

蔚来同步维权最新进展：多个账号被固定证据已在法院起诉

用一个简单系统记住你读过的一切

华为鸿蒙千元神机来了！麒麟5G芯片卫星通信下放

女子半夜和男友吵架刷机票抢到3元票平台：出票成功就能用

鲁格“超级红鹰”双动转轮提供优秀精度和火力控制令人爱不释手

SUV高速撞上隧道发动机都被撞飞！司机：空调太暖睡着了

玉林迈入高铁时代至南宁行程缩短至48分钟

华为用户必看！换电池优惠50元等错过等明年

齐亚帕M1892杠杆武器拥有“马腿”绰号便携性和复古魅力兼备

六代机为什么采用3台发动机？集中爆发4款隐身机，四川喜提小航母

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响