【AIGC】Mac Intel 本地 LLM 部署经验汇总（CPU Only）

作者：Kida的技术小屋发布时间：2024-05-13

书接上文，我在 ollama 中部署 qwen1_5-14b-chat-q4_k_m.gguf 预量化模型，在非 Stream 模式下需要 89 秒才完成一轮问答，响应速度实在是太慢，后续想办法优化...【查看原文】

相关资讯

Mac 本地部署#AI绘图 stable-diffusion-webui（Intel 版）

其实 2024 年了，教怎么部署的文章已经很多了，但我实操一下，还是很多坑，实际跑不起来，因此着重描述下我这个mac配置的部署问题## 系统配置Stable Diffusion WebUI 当然支持 Windows/Linux，也适配三种芯片- NVidia (recommended)- AMD GPUs、Intel CPUs,- Intel GPUs (both integrated and discrete)**我的配置如下：**- 系统：MacOS（14.3.1 我最新更新的，应该关系不大）- Py

Stable Diffusion WebUI Stable Diffusion

我爱我所AI 2024-03-23

Mac本地部署大模型体验AIGC能力

介绍随着ChatGPT的横空出世，国内互联网大厂、创业公司纷纷加了AIGC赛道，不断推出各种大模型

AIGC ChatGPT

magicwt 2023-10-08

【Python】Mac 本地部署 stable-diffusion

忙里偷闲在本地部署了一套 stable-diffusion 来玩玩，虽然 Mac 还是使用 CPU 来生图，但是整体效果（生成时间、生成效果）还是能够接受的。

Stable Diffusion

kida_yuan 2024-02-06

LLM探索：环境搭建与模型本地部署

前言最近一直在炼丹（搞AIGC这块），突然发现业务代码都索然无味了… 上次发了篇AI画图的文章，ChatGPT虽然没法自己部署，但现在开源的LLM还是不少的，只要有一块差不多的显卡，要搞个LLM本地

AIGC 编程 ChatGPT

程序设计实验室 2023-05-20

NovelAI 整合包本地部署中核显CPU使用一例

采用设备：笔记本电脑显卡配置：英特尔核显 i7-7500U 系统配置：Win 10 安装包来源：【【AI绘画】A卡也能用？NovelAI中文频道最新整合包使用攻略】 https://www.bilibili.com/video/BV1Mv4y1s7BB/? share_source=copy_web&vd_source=ed7573b826feef8c5cfbe96dc9ed293c 在部署完成后，直接运行程序，后台显示：显示需重定位存储至CPU RuntimeError: Attempting to

AI绘画

Plus_Gate 2023-02-22

近期资讯

dessler 2024-12-28

哪有什么代码如诗,代码里全是人生路上的那些人情世故

我并不觉得代码如诗有人说，代码如诗。而我觉得，代码入戏，正如人生路上的每一出戏：跟对人很重要在面向对象的设计思维中，继承了一个强大的父类，也会为自己带来不一样的人生：莱德投胎成了人类，于是他

Hamm 2024-12-28

为什么必须把代码写到极致？

最近写代码把节奏从求快改成了求好，力求我过手的系统稳如老狗，顺便总结了几点把代码写到极致的思考。能学习，有成长前几年写代码只求快，回想起来几乎没什么成长，疯狂搓 CRUD 谁不会呢。架构的思考、扩

小兵张健 2024-12-28

一文带你全面了解 RAG 组件

检索增强生成 (RAG) 流程正在彻底改变我们与大型语言模型 (LLM) 的交互方式。RAG 不再仅仅依赖这些模型中预先训练的知识，而是让 LLM 能够实时访问和利用外部知识源，从而产生更准确、更相关

致Great 2024-12-28

DOW 插件增强-可控 JinaSum 触发+追问+黑名单

增强版 JinaSum 插件，支持手动触发、追问以及群聊黑名单功能。支持 dow 和 cow，有感兴趣的可以试试

三金得鑫 2024-12-28

005：安装 python 和 OpenCV

> 本文为合集收录，欢迎查看合集/专栏链接进行全部合集的系统学习。合集完整版请参考[这里](https://mp.weixin.qq.com/s?__biz=MzAwOTc2NDU3OQ==&m

董董灿是个攻城狮 2024-12-28

69天探索操作系统-第24天：动态内存管理技术

1.介绍内存管理是系统编程中的一个关键方面，直接影响到应用程序的性能、可靠性和效率。本文重点关注动态内存管理技术，尤其是内存池策略，这些策略对于优化性能关键应用中的内存分配至关重要。 2.内存管理基

电赛小陈找出路 2024-12-28

性能优化：加载优化——提升用户体验的关键

性能优化：加载优化——提升用户体验的关键加载优化对于用户体验起着决定性作用。能够极大幅度地缩短用户等待时间，让页面瞬间呈现，彻底告别长时间面对空白屏幕的焦虑。

Vuhao 2024-12-28

【AIGC】Mac Intel 本地 LLM 部署经验汇总（CPU Only）

推荐体验

相关资讯

Mac 本地部署#AI绘图 stable-diffusion-webui（Intel 版）

Mac本地部署大模型体验AIGC能力

【Python】Mac 本地部署 stable-diffusion

LLM探索：环境搭建与模型本地部署

NovelAI 整合包本地部署中核显CPU使用一例

近期资讯

看完前端各种风骚操作，我眼睛被亮瞎了！

直播带货预测：数据与模型的幽默碰撞

Docker-Dockerfile案例(一)

哪有什么代码如诗,代码里全是人生路上的那些人情世故

为什么必须把代码写到极致？

一文带你全面了解 RAG 组件

DOW 插件增强-可控 JinaSum 触发+追问+黑名单

005：安装 python 和 OpenCV

69天探索操作系统-第24天：动态内存管理技术

性能优化：加载优化——提升用户体验的关键

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响