【ChatGLM3】（8）：模型执行速度优化，在4090上使用fastllm框架，运行ChatGLM3-6B模型，速度11w tokens/s，真的超级快

作者：freewebsys发布时间：2023-12-05

ChatGPT

1，视频演示 https://www.bilibili.com/video/BV1fC4y1c7nf/ 更多chatgpt资料： https://blog.csdn.net/freewebsys/ca...【查看原文】

相关资讯

【chatglm3】（3）：在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！附视频

在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！其他chatgpt 和chatglm3 资料： https://blog

ChatGPT

freewebsys 2023-11-13

码钉泥 2023-12-08

简单三步使用OpenVINO 搞定ChatGLM3的本地部署

工具介绍英特尔OpenVINO 工具套件是一款开源AI推理优化部署的工具套件，可帮助开发人员和企业加速生成式人工智能 (AIGC)、大语言模型、计算机视觉和自然语言处理等 AI 工作负载，简化深度学习推理的开发和部署，便于实现从边缘到云的跨英特尔平台的异构执行。 ChatGLM3是智谱AI和清华大学KEG实验室联合发布的对话预训练模型。ChatGLM3-6B是ChatGLM3系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B引入了以下新特性： 1更强

人工智能 AIGC

英特尔技术汇 2024-04-17

近期资讯

天玑科技获软件能力成熟度（CSMM）四级证书

天玑科技于近日荣获CSMM软件能力成熟度四级证书，这是CSMM认证开放以来国内企业获得的最高认证等级，目前通过4级认证的企业不足20家，标志着天玑科技在软件研发和项目管理方面具备国内领先水平。

证券时报 2024-12-31

国家数据局：鼓励企业探索市场化、场景化的“授权使用、分享收益”新模式，盘活企业数据资源

12月31日，国家数据局举办推动数据产业高质量发展和促进企业数据资源开发利用专题新闻发布会。

每日经济新闻 2024-12-31

比亚迪启动“尧舜禹”人形机器人项目

据报道，比亚迪的第十五事业部已正式启动了人形机器人项目，内部代号为“尧舜禹”。目前，该项目团队仍在持续招聘相关技术人才，但比亚迪官方尚未对此作出公开回应。据比亚迪介绍，其智能化研究团队自2022年成立以来，致力于深入挖掘公司在多个规模化应用场景中的需求，开展各类机器人本体及系统的定制开发。

动点科技 2024-12-31

苹果手机投屏到电脑的简单步骤与实用技巧分享

可能会需要输入一个连接码，软件界面上会显示，输入后即可完成连接。比如，如果你是学生，想在课堂上展示自己的作业，或者准备一个演示文稿，通过投屏就能很方便地在大屏幕上展示；如果你是游戏爱好者，想让朋友们一起看自己玩游戏的过程，投屏也是个不错的选择。

新报观察 2024-12-31

真诚为用户！2025年华为服务日全新升级更新三大权益

华为始终坚持以消费者为中心的服务理念，在追求技术创新的同时，持续为消费者提供专业且温暖的服务。自2017年起，华为服务日活动已经连续开展8年，通过一系列实实在在的服务权益，让消费者感受到温暖与关怀。

iMobile爱科技 2024-12-31

华为2025年第一款麒麟手机！畅享70X 1月3日预售

快科技12月31日消息，华为终端官微预告，畅享70X将于1月3日开启预售。该机共有4款配色，分别是湖光青、云杉黛、雪域白和曜金黑，正面是双孔双曲面屏，背部是环形镜头，相机DECO神似华为Mate60系列，极具辨识度。

快科技 2024-12-31

荣耀笔记本X14 2025战斗版首发3299元：13代i5+轻薄金属机身

快科技12月31日消息，荣耀笔记本X142025战斗版目前已经上架，首发3299元。据悉，新款笔记本采用超轻薄金属机身，薄至16.5mm，重量仅有1.4kg。屏幕为14寸IPS雾面屏，1920*1200分辨率，60Hz刷新率，亮度300尼特，覆盖45%NTSC色域，通过莱茵护眼认证，支持DC调光。

驱动之家 2024-12-31

孟晚舟新年致辞：再微弱的渔火，连在一起，也能化作满天星光

12月31日，华为轮值董事长孟晚舟发表题为《前行路上，你我皆星辰》的新年致辞称，智能化的浪潮正呼啸而来，行业旧范式与新范式更替、产业旧格局被新力量重塑，蜕变中孕育着希望。她表示，生态是广袤的沃土，繁荣生态的征程是星辰大海，离不开每一位伙伴和开发者；只有生态伙伴的成长和成功，才有生态系统的枝繁叶茂。

澎湃新闻 2024-12-31

国产手机海外销量占比：传音100%，小米76%，荣耀33%，华为14%

大家都知道，中国是全球第一大手机市场，但中国的手机销量，其实也只占到全球的24%左右，另外的76%的销量，还是在中国之外的市场。这也是为何三星在中国市场的份额接近于0，还依然是全球第一的原因，因为三星在除中国之外的其它国家和地区，都表现不错。

科技plus 2024-12-31

【品牌】小米SU7官宣上新小米15周年限定色璀璨洋红打几分？

如上图所见，小米SU7的小米15周年限定色命名为「璀璨洋红」，将于1月1日0点在小米汽车APP开售。官方表示除了小米SU7璀璨洋红，还有4款轮毂、1款内饰，均将于1月1日0点在小米汽车APP准时开售，锁单且未交付用户可限时改配。

小白测评 2024-12-31

【ChatGLM3】（8）：模型执行速度优化，在4090上使用fastllm框架，运行ChatGLM3-6B模型，速度11w tokens/s，真的超级快

推荐体验

相关资讯

【chatglm3】（3）：在AutoDL上，使用4090显卡，部署ChatGLM3API服务，并微调AdvertiseGen数据集，完成微调并测试成功！附视频

ChatGLM3革新：推理速度提升2-3倍，成本降低一半的AI大模型

大模型国产化适配6-基于昇腾910B快速验证ChatGLM3-6B/BaiChuan2-7B模型推理

利用ChatGLM3量化模型免费搭建本地的AI大语言模型

简单三步使用OpenVINO 搞定ChatGLM3的本地部署

近期资讯

天玑科技获软件能力成熟度（CSMM）四级证书

国家数据局：鼓励企业探索市场化、场景化的“授权使用、分享收益”新模式，盘活企业数据资源

比亚迪启动“尧舜禹”人形机器人项目

苹果手机投屏到电脑的简单步骤与实用技巧分享

真诚为用户！2025年华为服务日全新升级更新三大权益

华为2025年第一款麒麟手机！畅享70X 1月3日预售

荣耀笔记本X14 2025战斗版首发3299元：13代i5+轻薄金属机身

孟晚舟新年致辞：再微弱的渔火，连在一起，也能化作满天星光

国产手机海外销量占比：传音100%，小米76%，荣耀33%，华为14%

【品牌】小米SU7官宣上新小米15周年限定色璀璨洋红打几分？

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响