超简单，不用GPU，3步教你轻松在笔记本上部署聊天大模型 LLaMA

作者：董董灿是个攻城狮发布时间：2024-01-17

今天带大家在自己的电脑(笔记本)上部署一个类似于 chatGPT 的 AI 聊天大模型。部署完之后，你就拥有了一个私人 AI 聊天机器人，无需联网，随时进行实时对话。 0. 简单说下背景大模型我们...【查看原文】

相关资讯

在个人电脑上部署GPT-3级的模型——LLaMA & Alpaca

这两天尝试按网上的许多教程把LLaMA的模型尝试部署到本地，算是之前ChatGPT火爆而一直没能尝试的补偿性尝鲜。不得不说，这新出现的AI确实令我很惊讶，和以前的xx助手完全不在一个级别上，部署并试验成功之后有点小兴奋，算是随便写点日记之类的娱乐一下。本人不是相关专业的（其实是完全不沾边的地科生），捣鼓这个就是闲暇时间自娱自乐放松，如果有什么误导性的内容，大家可以在评论或者私信指出。可怕的资源占用和傻的冒泡的AI 在个人电脑上部署GPT-3级别的NLP模型应该主要面临的就是系统资源短缺的问题，譬如装载

ChatGPT LLaMA Alpaca

彗星鱼Official 2023-03-30

【TVM 教程】在 CPU 上部署 Hugging Face 剪枝模型

作者：Josh Fromm 本教程演示如何采用剪枝后的模型（本例中模型是来自 Hugging Face 的 PruneBert），并使用 TVM 来利用模型稀疏支持来加速。尽管本教程的主要目的是在

Hugging Face

神经星星 2024-08-05

云上部署文生图大模型Stable Diffusion 3

概述随着人工智能技术的不断进步，越来越多的人开始关注和使用AI艺术生成工具。而Stable Diffusion 3作为最新一代的文生图大模型，于2024年6月12日正式开源，以其高质量的图像生成受到

Stable Diffusion 人工智能艺术

百度智能云 2024-08-08

最好的7B模型易主，笔记本轻松跑，免费开源可商用，来自“欧洲的OpenAI”

开发者：羊驼都不香了

OpenAI

量子位 2023-10-09

红魔发布多款新品，红魔首款游戏笔记本16PRO重塑游戏笔记本标杆

红魔9SPro系列作为行业首款搭载垂直游戏AI大模型的游戏手机，搭配第三代骁龙8Gen3超频版旗舰处理器，拥有行业唯一背部纯平+全面屏的设计，以及最高6500mAh大电池，最快165W魔闪超级快充配置，售价4…

AI大模型

大肥皂 2024-08-12

近期资讯

向着高水平科技自立自强一步一个脚印迈进

必须只争朝夕、埋头苦干，一步一个脚印把建成科技强国这一战略目标变为现实。从这个意义上说，2024年的每一项激动人心的自主科技创新成果都是科技强国建设的重要基石，将这些基石垒筑在一起，高水平科技自立自强也就变成了现实。

北青网 2024-12-26

按克计算，随便交易就上百万元，这“泼天富贵”怎么接住？

什么东西这么矜贵？石头？陨石！近日，陨石因为定价高昂、交易陷阱等频上热搜。什么样的石头被称为陨石？为什么陨石卖这么贵？会给人类造成什么影响？科学家曾做出估算，陨石降落地球属于高概率事件，年累积有50多吨。近年来，随着人类收集到的陨石数量不断攀升，陨石也逐渐走进人们的视野，甚至披上转运、治病等“外衣”，交易价格也水涨船高。

环球网 2024-12-26

iPhone 17 Pro屏幕大改：灵动岛大幅缩小，设计向“充满魔力的玻璃”迈进

近日，多方消息源已确认，苹果将在即将发布的iPhone17Pro系列上采用全新的Metalens技术，以显著缩小FaceID模组，进而大幅减小灵动岛的开孔面积。这一变化标志着自iPhone14Pro引入灵动岛设计以来，苹果首次对其正面外观做出较大调整。

中关村在线 2024-12-26

从汽车到汽车机器人重庆打响突围战

12月25日，长安数智工厂，全自动装配机器人和视觉检测机器人协作安装前后挡风玻璃。新重庆-重庆日报消息，你说的，它都懂；它做的，就是你想要的；它能像人一样感知、思考、行动……当科幻巨制《变形金刚：起源》引领今年国庆档电影市场，“重庆造”现实版“变形金刚”长安启源E07也正式上市。

上游新闻 2024-12-26

对比新机，OPPOReno12Pro的性价比更高，入手更香！

OPPOReno12Pro的12GB+256GB版本发售时的价格为3399元，而今在主流平台上的价格已经降至2899元，第三方平台中OPPOReno12Pro降幅更高一些，同样是12GB+256GB版本，价格目前来到了2421元。

大话百科天地 2024-12-26

呼和浩特市荣获两项荣誉

近日，2024算力产业生态高质量发展大会在北京举办，呼和浩特市政府和内蒙古和林格尔新区管委会分别荣获“算力产业”集群先锋、“绿色算力”发展先锋两项荣誉。大会期间，《中国智算中心产业发展白皮书(2024年)》重磅发布，“重点区域算力产业考察年度行”暨《全球重点区域算力竞争态势分析报告》启动仪式成功举行。

金台资讯 2024-12-26

最后时刻飞行员仍在全力抢救飞机

当地时间12月25日11时30分左右，阿塞拜疆航空公司一架“Embraer190”型飞机在哈萨克斯坦西部里海沿岸的阿克套机场降落时坠毁。互联网上流传的地面人员拍下的坠机前画面显示，飞机机身倾斜，以与地面呈约30度角的幅度冲向地面后爆炸，升起滚滚浓烟。

封面新闻 2024-12-26

北师大：基于单一固体发光碳量子点的明亮多色LED器件

照明和显示是年产值超千亿美元的国民经济先导性支柱产业。与传统的照明与显示技术相比，发光二极管(LED)能够直接将电能转化为光能，因此可以实现较高的电光能量转换效率及亮度，同时LED还具有轻便及体积小等优点，被认为是理想的全彩显示与固态照明技术。

小材科研 2024-12-26

中泰证券：AI智能眼镜目前可对标2014年智能手表后续放量可期

12月26日，中泰证券研报认为，AI智能眼镜具备信息获取和交互的便捷性，相比于手机、电脑等传统电子终端，AI智能眼镜能够解放用户双手，提供更具沉浸式的交互体验，是未来发展AI应用的高潜力载体。2018—2021年全球智能眼镜市场规模持续增长，预计2024—2028年将随消费者应用场景增多而进一步加速增长。

每日经济新闻 2024-12-26

无人机飞上飞下“这里是‘未来世界’起点”

宝安区无人机系统应用测试基地，工作人员准备开启新一轮测试。燕罗街道燕山大道112号，静卧着宝安区无人机系统应用测试基地。作为改革开放的前沿阵地，当前的宝安，正处在战略叠加机遇期、蓄势跃升突破期、转型升级关键期，如何用好“改革”关键一招，写时代之问的改革答卷？

南方都市报 2024-12-26

超简单，不用GPU，3步教你轻松在笔记本上部署聊天大模型 LLaMA

推荐体验

相关资讯

在个人电脑上部署GPT-3级的模型——LLaMA & Alpaca

【TVM 教程】在 CPU 上部署 Hugging Face 剪枝模型

云上部署文生图大模型Stable Diffusion 3

最好的7B模型易主，笔记本轻松跑，免费开源可商用，来自“欧洲的OpenAI”

红魔发布多款新品，红魔首款游戏笔记本16PRO重塑游戏笔记本标杆

近期资讯

向着高水平科技自立自强一步一个脚印迈进

按克计算，随便交易就上百万元，这“泼天富贵”怎么接住？

iPhone 17 Pro屏幕大改：灵动岛大幅缩小，设计向“充满魔力的玻璃”迈进

从汽车到汽车机器人重庆打响突围战

对比新机，OPPOReno12Pro的性价比更高，入手更香！

呼和浩特市荣获两项荣誉

最后时刻飞行员仍在全力抢救飞机

北师大：基于单一固体发光碳量子点的明亮多色LED器件

中泰证券：AI智能眼镜目前可对标2014年智能手表后续放量可期

无人机飞上飞下“这里是‘未来世界’起点”

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响