WebNN：将 AI 推理引入浏览器 微软Azure OpenAI

想象一下，直接在浏览器中实现人工智能驱动的面部识别或实时图像分类。这是 WebNN 的承诺，WebNN 是一种突破性的 JavaScript API，旨在将神经网络推理引入 Web 应用程序。

企业如何合规、稳定使用ChatGPT以及Copilot？

出于合规角度，建议国内企业可以选择微软的Azure OpenAI服务来使用接口。

通过微软官方合作伙伴获取服务，企业用户可以合规、稳定地使用ChatGPT，满足国内发票需求，同时也能解决连接不稳定/响应速度慢/并发配额低等问题。

作为微软的合作伙伴，全云在线可为企业开通绿色申请通道！包括最新版本GPT-4o、Dalle-3等，只要企业有需求，全云在线都能协助快速开通！

参考链接：https://azureopenai.cloudallonline.com/?zxwsh162

微软 Azure OpenAI 免费试用申请

另外有需要可以关注【全云在线】gz号，进OpenAI技术开发交流裙

什么是 WebNN？

Web 神经网络 API (WebNN )是一种 JavaScript API，它使 Web 开发人员能够直接在 Web 应用程序中对神经网络执行机器学习计算。WebNN 简化了机器学习模型与 Web 应用程序的集成，为浏览器中的交互式智能应用程序开辟了新的可能性

WebNN 主要用于推理任务，而不是训练。它为 Web 应用程序中高效的神经网络推理加速提供了一个抽象层。Web 神经网络 API (WebNN) 是一个 Web 友好的、与硬件无关的神经网络推理加速抽象层。它允许 Web 应用程序在各种设备上高效运行机器学习计算，包括 CPU、GPU 和专用 AI 加速器 1。开发人员可以利用 WebNN 在 Web 应用程序中执行推理任务，从而受益于减少延迟、增强隐私和 GPU 加速。如果您有兴趣在浏览器中构建和执行神经网络的计算图，WebNN 为这些任务提供了一个高级接口。截至目前，WebNN 可在 Edge 和 Chrome 浏览器中使用。

随着软件和硬件生态系统中机器学习创新的不断涌现，Web 面临的主要挑战之一是将软件和硬件开发结合起来，并整合一个可以跨硬件平台扩展且适用于任何基于 Web 的机器学习体验框架的解决方案。我们提出 WebNN API 作为 Web 浏览器中神经网络的抽象。

架构图展示了 WebNN 如何与各种机器学习框架和硬件平台集成，从而实现 Web 应用程序中高效的神经网络推理。

了解WebNN架构图：

WebNN 架构图说明了 Web 神经网络 API 如何与基于 Web 的机器学习工作流中的各种组件集成。让我们逐步了解每个层和组件：

1. Web应用层

• ONNX 模型、TensorFlow 模型、其他模型：这些是预先训练的机器学习模型，可用于图像识别、对象检测等各种任务。JS ML 框架（TensorFlow.js、ONNX.js 等）：基于 JavaScript 的机器学习框架，提供在 Web 应用程序中直接使用这些模型的工具和库。

1. Web浏览器层

• WebGPU：一种利用 GPU 在 Web 上提供高性能图形和计算的 Web 标准。WebNN：Web 神经网络 API，它提供了在浏览器中直接运行神经网络推理的高级接口。WebAssembly：一种基于堆栈的虚拟机的二进制指令格式，使高性能应用程序能够在Web上运行。

1. 原生 ML API 层

• ML Compute（MacOS/iOS）：Apple 的机器学习框架，用于在 macOS 和 iOS 设备上执行高性能 ML 任务。DirectML（Windows）：微软的直接机器学习 API，它在 Windows 上提供 GPU 加速的机器学习。NN API（Android）：Android 的神经网络 API，它为 Android 设备提供硬件加速的推理操作。OpenVINO（Linux）：英特尔的开放视觉推理和神经网络优化工具包，用于在 Linux 上部署高性能 ML 推理。

1. 硬件层

• CPU：中央处理器，计算机中的通用处理器。GPU：图形处理单元，专门用于并行处理，常用于加速机器学习任务。ML 加速器：专为加速机器学习计算而设计的专用硬件（例如 NPU、TPU）。

一切如何结合在一起：

1. Web应用层：

• 开发人员使用预先训练的模型（如 ONNX 或 TensorFlow）和 JavaScript ML 框架（如 TensorFlow.js 或 ONNX.js）来构建具有机器学习功能的 Web 应用程序。

Web浏览器层：

• Web 应用程序在支持 WebNN API 的 Web 浏览器中运行。浏览器可以利用 WebGPU 进行高性能计算、利用 WebNN 进行神经网络推理以及利用 WebAssembly 执行性能关键型代码。

原生 ML API 层：

• 浏览器中的 WebNN API 将高级神经网络操作转换为对操作系统提供的本机机器学习 API 的调用。这确保 Web 应用程序可以利用设备上最佳的可用硬件加速，无论它是在 macOS、Windows、Android 还是 Linux 上运行。

硬件层：

• 原生机器学习 API 利用底层硬件功能（例如 CPU 并行性、GPU 加速或专用 ML 加速器）来高效地执行神经网络计算。

这种架构的优点：

• 硬件无关：WebNN 提供硬件无关层，这意味着开发人员无需编写特定于平台的代码。同一个 Web 应用程序可以在不同的设备和操作系统上高效运行。性能优化：通过利用原生 ML API 和硬件加速，Web 应用程序可以在机器学习任务中实现高性能。隐私：数据保留在设备上，减少了向远程服务器发送敏感信息的需要。减少延迟：浏览器内推理减少了与服务器发送数据相关的延迟，从而支持视频分析或面部检测等实时应用。

这种架构使 Web 开发人员能够构建功能强大、高效且保护隐私的机器学习应用程序，这些应用程序可直接在浏览器中运行。通过抽象

以下代码示例说明了此 API 的简单用法：

使用案例

WebNN 为 Web 应用程序提供了多种用例。以下是 WebNN 可以发挥作用的一些常见场景：

• 人脸识别：带有 WebNN 的人脸标志（SimpleCNN）。面部特征检测：使用 WebNN 检测面部特征，这对于增强现实过滤器或情感分析等应用非常有用。图像分类：利用 WebNN 进行图像分类任务。您可以使用预先训练的模型和 WebNN API 来演示这一点。对象检测：利用带有预训练模型的 WebNN 在 Web 应用程序中执行对象检测。噪声抑制：使用 WebNN 实现噪声抑制模型（例如 RNNoise）进行音频处理，自拍分割：使用 TFLite Web XNNPACK 委托和 WebNN 委托探索 MediaPipe 自拍分割，以便在自拍中实时去除背景。语义分割：使用 WebNN 实现语义分割任务，例如识别图像中的对象边界。风格转换：使用 WebNN 将艺术风格转换技术应用于图像。

请记住，WebNN 简化了浏览器中的神经网络推理，使 Web 开发人员更容易使用

目标硬件

Web 应用程序和框架可以针对人们日常生活中使用的流行操作系统上的典型计算设备。初始原型在以下方面表现出色：

• 智能手机，例如 Google Pixel 3 或类似产品笔记本电脑，例如 13 英寸 MacBook Pro 2015 或类似产品

WebNN API 不依赖于特定平台，可以通过现有的各大平台 API 实现，例如：

• Android 神经网络 APIWindows DirectML APImacOS/iOS ML 计算 API

根据底层硬件功能，这些平台 API 可能会利用 CPU 并行性、通用 GPU 或专用硬件加速器进行机器学习。WebNN API 提供了 性能适配 选项，但仍与硬件无关。

在 GPU 上运行时，WebNN 目前支持以下模型：

• 稳定扩散涡轮稳定扩散 1.5耳语基地MobileNetv2细分一切残差网络高效网络挤压网

只要有足够的运算符支持，WebNN 也可以与自定义模型配合使用。 在此处查看运算符的状态。

安装指南：

要开始使用 WebNN，请按照以下步骤操作：

1. 浏览器兼容性：

• WebNN 需要兼容的浏览器。下载Microsoft Edge Dev 频道版本或更高版本。要启用 WebNN，请在浏览器地址栏中输入 about://flags，然后按 Enter。将打开一个实验页面在搜索标志框中，输入 webnn。出现启用 WebNN API 的提示在下拉菜单中，选择已启用重新启动浏览器

GitHub 存储库：

• 将WebNN 开发者预览存储库克隆到您的本地机器。导航到存储库并浏览提供的示例和示例。

结论：

WebNN API 代表着将机器学习功能直接引入 Web 浏览器的重大进步，在 AI 和 Web 技术之间建立了强大的交集。下面详细介绍了它为何具有变革性：

• 赋能 Web 开发者 - WebNN 通过为 Web 开发者提供将 AI 模型无缝集成到其 Web 应用程序中的工具，使高级机器学习的访问变得民主化。这消除了对 AI 或硬件特定优化的广泛专业知识的需求，降低了 AI 开发的准入门槛。性能和效率 -通过利用原生机器学习 API 和底层硬件功能，WebNN 可确保高效执行神经网络推理任务。无论是利用 CPU 并行性、GPU 加速还是专用 ML 加速器，WebNN 都能优化各种设备和操作系统的性能。这可缩短推理时间，并提供更流畅的用户体验，即使对于实时视频分析或对象检测等计算密集型任务也是如此。隐私保护 - WebNN 的一大优势是它能够直接在设备上进行推理。这种方法将用户数据保存在本地，无需将敏感信息发送到远程服务器。这对于处理个人数据的应用程序至关重要，例如健康监测应用程序、面部识别系统或任何关注用户隐私的应用程序。降低延迟 -在浏览器中执行推理可大幅降低与向服务器发送数据和从服务器接收数据相关的延迟。这对于实时应用（例如增强现实 (AR) 滤镜、实时视频分析或交互式 AI 驱动体验）尤其有益。用户可以享受即时响应和更具吸引力的互动，而不会因网络延迟而导致延迟。高可用性 -借助 WebNN，一旦缓存了必要的资产，Web 应用程序就可以离线运行。这确保了即使在网络连接较差或没有网络连接的环境中，AI 功能仍可访问。例如，使用 WebNN 进行交互式学习的教育应用程序可以在飞行期间或在没有可靠互联网接入的偏远地区无缝运行。成本效益 -通过将计算转移到客户端设备，WebNN 减少了对强大服务器基础设施的需求。这降低了在云中运行 AI/ML 服务的运营和维护成本。开发人员可以部署复杂的 AI 功能，而无需承担与基于云的推理相关的高成本，使其成为初创公司和大型企业的经济高效的解决方案。

未来机会：

WebNN 为 Web 应用程序的未来开辟了一个充满可能性的世界：

• 边缘 AI：在边缘实现 AI 功能，无需依赖云服务。交互式体验：创建更具动态性和响应能力的 Web 应用程序，可以实时对用户交互做出反应。隐私优先的人工智能：随着对隐私优先的人工智能解决方案的需求不断增长，WebNN 将自己定位为一种关键技术，可以在浏览器中为大众带来强大的人工智能功能。标准化：随着 WebNN 的成熟和获得更广泛的应用，它有可能成为基于网络的 AI 的标准，鼓励在不同的浏览器和平台上实现更加一致和可互操作的 AI 实现。