使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

作者：HuggingFace发布时间：2023-08-25

大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。 🤗 Hugging Face 的核心使命...【查看原文】

相关资讯

雷军：小米研发大模型的方向是轻量化和本地部署

在之前的年度演讲中，雷军提到今年4月，小米正式组建AI大模型团队。而且小爱同学正式升级生成式大模型，已经开始测试，小米高管最新表态很快会实现端侧AI模型能力。这篇文章来自小米创始人雷军公众号的分享，详细解释了小米大模型的台前幕后，希望能对大家了解小米大模型有所帮助。

AI大模型

Nairo 2024-01-01

OPPO携手联发科技共建轻量化大模型

鞭牛士10月11日消息，联发科技官方发文称，将携手@OPPO@ColorOS，合作共建轻量化大模型端侧部署方案，共同推动大模型能力在端侧逐步落地。联发科技先进的AI处理器APU与AI开发平台NeuroPilot，构建了完整的终端侧AI与生成式AI计算生态，可加速边缘AI计算的应用开发与落地，强化大语言模型和生成式AI应用的性能。

生成式AI 大语言模型

鞭牛士 2023-10-11

泰迪智能科技企业AI大模型服务——轻量化部署

据中国证券报记者不完全统计，当前全国生成式AI产品数量已超300个。随着大模型产品日益增加，当前大模型行业竞争从比拼参数阶段过渡到比拼落地应用阶段。业内人士表示，随着未来不断有新的企业通过备案，大模型应用拐点将加速到来，轻量化的行业大模型将以更低的成本和灵活性吸引行业客户，加速大模型的落地推广，也有助于为大模型企业带来良好回报。中科院自动化所副所长、研究员刘成林表示，当前大模型产品数量还在爆发增长阶段，但未来达到某一数量级后或会下降。“大模型产品如果不能很好地实现业务落地，就会被淘汰，最终能够存活下去的大

AI大模型生成式AI

泰迪科技 2023-10-13

如何使用BART模型和Hugging Face Transformers总结文本？

BART是一个帮助总结文本的工具。它可以使长文章变得更短，更容易阅读。这有助于你快速找到要点。BART的工作原理是，分析整段文本以理解其上下文。然后，它通过保留重要的部分并删除不太重要的部分来生成摘要。

Hugging Face

51CTO 2024-12-17

拓尔思：自主研发的拓天大模型能实现轻量化部署，降低用户部署及使用成本

金融界3月18日消息，有投资者在互动平台向拓尔思提问：董秘，你好：Sora是由800张英伟达A100的卡运算1天时间生成的1分钟视频，当下的AI硬件的水平没法支撑Sora模式进行盈利，那么通用大模型的性能天花板将很快达到了，后面通用大模型与行业大模型将与行业进行结合，赋予行业降本增效。请问贵司的行业大模型最近有什么具体的进展么，谢谢回复。

金融融资 Sora 英伟达

金融界 2024-03-18

近期资讯

支付宝推出新一代AI视觉搜索产品“探一下”：用AI之眼探索万物

12月30日，支付宝推出新一代AI视觉搜索产品“探一下”，基于自研的多模态大模型技术，可“用AI之眼探索万物”，提供更快速、有用、趣味的生成式搜索服务。用户遇到感兴趣的事物，就能让AI通过摄像头，识别花草宠物和潮玩、做旅游的随身讲解、查询商品药品详情等，还能趣味解读萌宠照、宝宝照等，晒图不愁配文案。

极目新闻 2024-12-30

详解QQ截图功能：简单易用的操作步骤与实用技巧

软件，拥有很多实用的功能，而截图就是其中之一。首先，打开你的QQ，进入你想要截图的聊天界面。这里的截图功能并不复杂，操作起来也很方便。如果你使用的是PC端的QQ，截图的方法有很多。最经典的一种方式就是使用QQ自带的截图工具。你只需按下键盘上的“Ctrl+Alt+A”组合键，就会自动弹出截图工具。

新报观察 2024-12-30

华为多款高端手机降价：Pura70Ultra最高优惠两千

12月30日，华为宣布对其多款高端手机进行降价促销，其中包括Pura70系列和MateX5。此次价格调整中，华为Pura70Ultra的最高优惠幅度达到2000元，而MateX5的降价更是高达2500元。研究机构Counterpoint称，华为在第三季度保持了强劲反弹态势，帮助该品牌销量实现30%的同比增长。

大象新闻 2024-12-30

科大讯飞亮相总台首届“科晚” 打造AI虚拟数字人一分钟炫技3种方言

但你是否想过，AI还能用方言朗诵古诗、能听见危险的声音，甚至能让课堂更生动？飞董事长刘庆峰用一系列精彩的现场演示，向全国观众展现了人工智能深度赋能千行百业的创新实践，看AI技术如何真正走进百姓生活、服务社会生产发展。

中关村在线 2024-12-30

科大讯飞亮相“科晚”

飞作为代表携多项AI技术创新成果亮相盛典。飞还用人工智能助力产业升级，搭载声学成像仪的巡检机器狗“小汐”能在几秒内发现人耳难以捕捉的危险声源，为工业安全保驾护航；在人工智能助力民生方面，智慧黑板让几何教学变得直观立体，AI还能精准分析学生知识短板，让孩子告别题海战术。

央广网 2024-12-30

坐火箭去太空旅行要7500万，为什么这么贵？看完就明白了

技术进步的现在，让很多人有人之前都不敢有的想法，人们对于太空的向往，一直以来都是存在。而科技的进步也让我们逐步实现，但能够进入到太空的宇航员和飞行员都比较少，每个国家对于他们的培育也花了大力气，那么普通人可以乘坐火箭去太空旅行吗？

基建不倒翁 2024-12-30

航天技术试验推动相关技术优化成熟，有望服务于日常生活

在本次任务周期内，乘组计划开展86项空间科学研究与技术试验，其中包括空间微生物防控、导电环磨屑在轨长期迁移成像等多项航天技术试验。12月30日，中国载人航天工程办公室发布《中国空间站科学研究与应用进展报告（2024年）》，系统总结展示了空间站科学研究和应用进展情况。

北京日报 2024-12-30

2025年华为服务日活动全新升级更新三大权益

【CNMO科技消息】新年新气象，华为服务也有新气象。2025年即将来临，华为服务打造的2025年华为服务日活动也将正式开启。2025年1月1日-12月31日，新一轮华为服务日活动仍将通过维修免人工费、免费贴膜、免费清洁保养等权益为用户提供专业的维修体验和优惠的增值服务。

手机中国 2024-12-30

支付宝入局生成式搜索，推出AI视觉搜索产品“探一下”

钛媒体App12月30日消息，支付宝推出新一代AI视觉搜索产品“探一下”，基于自研的多模态大模型技术，可“用AI之眼探索万物”，提供更快速、有用、趣味的生成式搜索服务。据了解，“探一下”目前提供三种核心服务：探知识、探灵感、探文本。目前该产品已上线支付宝，在首页点击“扫一扫”后左划即可找到它，在支小宝App也能快速访问。

钛媒体快报 2024-12-30

《HarmonyOS第一课》焕新升级，赋能开发者快速掌握鸿蒙应用开发

近日，华为精心打造的《HarmonyOS第一课》全新上线，集“学、练、考”于一体，凭借多维融合的教学模式与系统课程设置，助力开发者快速掌握HarmonyOS应用开发技能。《HarmonyOS第一课》分为基础、中级、高级及主题课程四大模块，为不同层次开发者量身定制学习路径。

砍柴网 2024-12-30

使用 AutoGPTQ 和 transformers 让大语言模型更轻量化

推荐体验

相关资讯

雷军：小米研发大模型的方向是轻量化和本地部署

OPPO携手联发科技共建轻量化大模型

泰迪智能科技企业AI大模型服务——轻量化部署

如何使用BART模型和Hugging Face Transformers总结文本？

拓尔思：自主研发的拓天大模型能实现轻量化部署，降低用户部署及使用成本

近期资讯

支付宝推出新一代AI视觉搜索产品“探一下”：用AI之眼探索万物

详解QQ截图功能：简单易用的操作步骤与实用技巧

华为多款高端手机降价：Pura70Ultra最高优惠两千

科大讯飞亮相总台首届“科晚” 打造AI虚拟数字人一分钟炫技3种方言

科大讯飞亮相“科晚”

坐火箭去太空旅行要7500万，为什么这么贵？看完就明白了

航天技术试验推动相关技术优化成熟，有望服务于日常生活

2025年华为服务日活动全新升级更新三大权益

支付宝入局生成式搜索，推出AI视觉搜索产品“探一下”

《HarmonyOS第一课》焕新升级，赋能开发者快速掌握鸿蒙应用开发

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响