基于 NNCF 和 🤗 Optimum 面向 Intel CPU 对 Stable Diffusion 优化

作者：HuggingFace发布时间：2023-07-12

基于隐空间的扩散模型 (Latent Diffusion Model)，是解决文本到图片生成问题上的颠覆者。Stable Diffusion 是最著名的一例，广泛应用在商业和工业。Stable Dif...【查看原文】

相关资讯

基于 NNCF 和 Optimum 面向 Intel CPU 对 Stable Diffusion 优化

基于隐空间的扩散模型 (Latent Diffusion Model)，是解决文本到图片生成问题上的颠覆者。Stable Diffusion 是最著名的一例，广泛应用在商业和工业。Stable Diffusion 的想法简单且有效: 从噪声向量开始，多次去噪，以使之在隐空间里逼近图片的表示。但是，这样的方法不可避免地增加了推理时长，使客户端的体验大打折扣。众所周知，一个好的 GPU 总能有帮助，确实如此，但其损耗大大增加了。就推理而言，在 2023 年上半年 (H1’23)，一个好 CPU 实例 (r6i

Stable Diffusion

HuggingFace 2023-07-12

利用 Optimum Intel 和 fastRAG 在 CPU 上优化文本嵌入

嵌入模型在很多场合都有广泛应用，如检索、重排、聚类以及分类。近年来，研究界在嵌入模型领域取得了很大的进展，这些进展大大提高了基于语义的应用的竞争力。BGE、GTE以及E5等模型在MTEB基准上长期霸榜，在某些情况下甚至优于私有的嵌入服务。Hugging Face 模型 hub 提供了多种尺寸的嵌入模型，从轻量级 (100-350M 参数) 到 7B (如Salesforce/SFR-Embedding-Mistral) 一应俱全。不少基于语义搜索的应用会选用基于编码器架构的轻量级模型作为其嵌入模型，此时，

Hugging Face

HuggingFace 2024-04-02

使用 Optimum-Intel 和 OpenVINO GenAI 优化和部署模型

在端侧部署 Transformer 模型需要仔细考虑性能和兼容性。Python 虽然功能强大，但对于部署来说有时并不算理想，特别是在由 C++ 主导的环境中。这篇博客将指导您如何使用 Optimum-Intel 和 OpenVINO GenAI 来优化和部署 Hugging Face Transformers 模型，确保在最小依赖性的情况下进行高效的 AI 推理。为什么使用 OpenVINO 来进行端侧部署OpenVINO 最初是作为 C++ AI 推理解决方案开发的，使其非常适合在端侧设备部署中，其中最

Hugging Face

HuggingFace 2024-10-21

三、stable-diffusion-webui Intel CPU/核显版安装

为软件配置虚拟环境（此处需要开启魔法） 1、源码下载：从https://github.com/openvinotoolkit/stable-diffusion-webui/wiki/Installation-on-Intel-Silicon的自述文件中我们看到如下内容 [图片] 我们先下载git，并双击安装即可，这个没什么难度，然后Python 3.10.6，这个不用下载，因为前面我们已经在conda内创建好了虚拟环境。安装好git之后，通过“Git Gui”克隆存储库 [图片] 选择Clone Ex

Stable Diffusion WebUI Stable Diffusion GitHub

bili_305256810 2024-08-24

在英特尔至强 CPU 上使用 Optimum Intel 实现超快 SetFit 推理

在缺少标注数据场景，SetFit 是解决的建模问题的一个有前途的解决方案，其由 Hugging Face 与 Intel 实验室以及UKP Lab 合作共同开发。作为一个高效的框架，SetFit 可用于对Sentence Transformers模型进行少样本微调。SetFit 仅需很少的标注数据就能达到较高的准确率，例如，在使用 3-示例提示时，SetFit优于GPT-3.5；在使用 5-示例提示时，其在 Banking 77 金融意图数据集上的表现也优于使用 3-示例提示的 GPT-4。Intel 实

Hugging Face GPT-4 金融

HuggingFace 2024-05-06

近期资讯

科学家将科学计算基座大模型开源，有望用于大科学装置的实验数值分析

该方法将输入数据编码为字节序列，有效保留了数值数据的内在结构和数量完整性，并避免了通过分割或合并数值和文本信息引起的歧义。这种创新的分词方法展示了在统一表示不同数据模态（包括文本、数值、图像）方面的能力，这对于大规模实验中产生的以二进制格式存储的科学数据尤为重要。

DeepTech深科技 2024-12-30

智能手表五大趋势已明：健康、AI、颜值、续航…… | 聚焦2024

经过多年的技术演变后，其从只能记录心率、睡眠时长、运动时长等简单数据进化到能够监测血氧浓度、睡眠质量甚至是血压数值。2024年，智能手表厂商们纷纷瞄准专业场景，将健康数据监测做得更细，甚至还抢起了专业运动手表的饭碗。

雷科技 2024-12-30

研究显示AI可能会被用来操控用户的选择，相关用户数据将被出售

钛媒体App12月30日消息，剑桥大学的一项研究警告称，人工智能(AI)技术可能被用来操控在线用户的选择，从购买商品到投票决定。研究指出，一个名为“意图经济”的新兴市场正在成形。在这一市场中，AI助手不仅可以分析和预测用户意图，还能操控这些意图，并将相关数据出售给希望获利的公司。

钛媒体快报 2024-12-30

第三届重庆市青少年智能机器人编程大赛决赛举行

12月28日，第三届重庆市青少年智能机器人编程大赛决赛在垫江三合湖城市博览中心举行。据了解，该比赛自2020年以来已成功举办三届，吸引了来自全市41个区县的十余万名选手参赛，是重庆市青少年科普教育的重要活动之一。

央广网 2024-12-30

荣耀罗巍展示200倍变焦内部仿真效果：称“200X”有机会实现

12月30日消息，荣耀首席影像工程师罗巍近日分享了手机200倍变焦的内部仿真效果，并表示“看来支持200X有机会”。在评论区中，罗巍还回应了网友的提问。当被问及荣耀手机未来是否会支持放大至200倍时，他表示“有可能哦”。对于12倍以内长焦的后续优化计划，他透露“端侧的优化也会推出，不过比云测慢”。

环球网科技 2024-12-30

华为服务的温度是人心最舒服的37℃

2019年劳动节的时候，我回家给外公外婆带了两台智能手机。第一组数据，《2023年度国家老龄事业发展公报》显示，截至2023年末，全国60周岁及以上老年人口29697万人，占总人口的21.1%；第二组数据，《中国互联网络发展状况统计报告》显示，我国网民规模近11亿人，60岁及以上网民群体规模已达1.4亿。

趣写观点 2024-12-30

“人机料法环测”全面解析-3：如何应用？

在制造和生产领域，工序质量是确保最终产品质量的关键。而“人机料法环测”作为影响工序质量的六大要素，对于实现工序标准化和质量控制至关重要。本文全面解析了“人机料法环测”的每一个环节，并探讨了如何将这些要素应用于实际工作中，以实现工序质量的持续改进和数字化转型。工序是产品形成的基本环节，工序质量是保障产品质量的基础。

人人都是产品经理 2024-12-30

2025美妆会好吗？AI的回答出乎意料

久未公开露面的马云最近现身，发表了一个关于AI的重要观点：20年前，互联网刚刚到来的时候，一代人抓住了互联网时代的机遇。那么站在AI时代的潮头，我们身处的化妆品行业，未来的朝向如何？医美与日常保养之间的逐渐模糊，带来新的市场空间，针对医疗美容术后的修复护肤品体量持续增加。

蓝鲸新闻 2024-12-30

古井贡酒以“数智”诠释名酒向“新”发力

此外，古井集团还搭建起工业互联网“双跨”平台优势，构建白酒行业数字生态链，开创数字经济时代人工智能与实体经济融合发展的新模式，推进人工智能在白酒行业的应用发展，迈向“再造一个数字化、国际化、法治化新古井”战略目标。

新京报 2024-12-30

四大功能，为医生减负！全球首个重症医疗大模型正式落地

混元大模型提供的超强脑力，为启元赋予了万亿级参数和7万亿Tokens，通过采用的大量医学数据，能涵盖285万医学实体、1250万医学关系以及98%的医学知识和文献，最终训练出了新款能够懂医学的医疗大模型，并且也是全球首个临床可用的医疗大模型。

封面新闻 2024-12-30

基于 NNCF 和 🤗 Optimum 面向 Intel CPU 对 Stable Diffusion 优化

推荐体验

相关资讯

基于 NNCF 和 Optimum 面向 Intel CPU 对 Stable Diffusion 优化

利用 Optimum Intel 和 fastRAG 在 CPU 上优化文本嵌入

使用 Optimum-Intel 和 OpenVINO GenAI 优化和部署模型

三、stable-diffusion-webui Intel CPU/核显版安装

在英特尔至强 CPU 上使用 Optimum Intel 实现超快 SetFit 推理

近期资讯

科学家将科学计算基座大模型开源，有望用于大科学装置的实验数值分析

智能手表五大趋势已明：健康、AI、颜值、续航…… | 聚焦2024

研究显示AI可能会被用来操控用户的选择，相关用户数据将被出售

第三届重庆市青少年智能机器人编程大赛决赛举行

荣耀罗巍展示200倍变焦内部仿真效果：称“200X”有机会实现

华为服务的温度是人心最舒服的37℃

“人机料法环测”全面解析-3：如何应用？

2025美妆会好吗？AI的回答出乎意料

古井贡酒以“数智”诠释名酒向“新”发力

四大功能，为医生减负！全球首个重症医疗大模型正式落地

推荐体验

AIGC重要产品

AI对话：类ChatGPT产品体验

好用的AI绘画工具

火热的AIGC产品

AIGC近期要闻

大公司发布的大模型产品都有哪些？

政府对AIGC的扶持政策

AIGC对就业的影响：我们会失业吗？

AIGC产业影响

AIGC对内容创作的影响

AIGC对绘画设计领域的影响

AIGC对各行各业的影响