在 Qt Group 的2025黑客马拉松活动中，我们的开发人员进行了创新实验。他们构建了一个概念验证，我们称之为 Qt AI Inference API (PoC)，这个工具旨在简化 AI 与 QML 及 C++应用程序的集成。
通过本篇博客，我们将为您独家揭秘未来可能推出的产品。 此次早期预览旨在探索各种可能性，并收集开发人员社区和行业合作伙伴宝贵的反馈意见。
2024年思科公司研究表明，41%的企业计划在未来两年内优先投资 AI 技术。这反映出明确的行业趋势：AI 正成为工业自动化的核心组成部分，不再只是实验性技术，而是生产力、效率和创新的根本驱动力。
然而，将 AI 集成到工业环境中并非没有挑战。从硬件限制到分散的 AI 框架，企业难以在不同平台上高效部署 AI 模型。此外，市场对机器人技术和工业应用领域的开拓性创新越来越感兴趣，这些领域需要多个模型在流程中无缝交互。
在众多改变行业的应用中，边缘 AI 正成为颠覆性技术 ，它可以在计算能力有限的设备上实现实时决策。
然而，与传统的云端 AI 相比，在边缘部署 AI 带来了一系列独特的技术挑战，包括：
计算能力有限：嵌入式设备缺乏云服务器的原始处理能力。针对这些环境优化 AI 模型至关重要。
能耗问题：在电池供电的设备上运行 AI 模型会导致过度耗电。
实时处理需求：工业自动化要求 AI 模型即时响应，延迟是不可接受的
网络安全风险：将敏感的工业数据传输到云端会引发安全问题。
克服这些制约因素对于充分释放边缘 AI 在工业应用中的潜力至关重要。
在某些情况下，云端安全性不足。本地 AI处理可提供更好的安全性，但也存在硬件限制。
开发者必须应对数量庞大的框架选择，从 TensorFlow、PyTorch、ONNX 到各厂商特定的 AI 工具包（如 NVIDIA、Intel、Qualcomm 等）——每个框架都有自己的API、部署模型、SDK 和硬件要求。持续跟进快速变化的 API 和技术更是难上加难。这种现状不仅需要投入大量时间学习，通常还需要具备 AI 专业人员的专业技能，而这类人才往往难以寻觅。
对于许多应用程序开发人员来说，他们关注的并非底层 AI 框架或模型，而是需要能够将语音转文字、生成文本转语音、利用最新语言模型或在图像视频中进行对象识别的稳健解决方案——所有这些功能都需要全面且无缝地集成。
形势因快速变化而更加复杂，企业面临两难抉择：是继续使用过时技术，还是投入资源跟上日新月异的 AI 发展浪潮。
想象一下，集成 AI 并不意味着要编写数千行适配器代码。 基于 Qt 构建的 AI 一体化解决方案无缝集成多种 AI 模型到跨平台流程中，利用 Qt Multimedia 和 Qt AI Inference API 简化媒体处理和进程间通信，同时通过声明式的 QML 接口实现直观的应用逻辑和 UI 行为。
借助 Qt AI Inference API（PoC），开发人员可以利用以下优势：
核心能力：在统一的框架内集成 ASR（Whisper）、LLMs （Ollama）和 TTS （Piper）。
统一 API 支持多种 AI 框架：无需编写特定供应商代码。
无缝集成 QML 和 C++：只需几行代码即可接入 AI 模型。
轻松切换 AI 模型：只需调整 Qt QML 应用程序中的一个参数，即可更换模型（例如切换到DeepSeek）。
本地或云端 AI 部署模型：以最小的工作量实现简化部署。
灵活的 AI 管道：轻松组合多个 AI 模型/解决方案（如语音识别+文本转语音）。
后台插件系统：支持专有和开源 AI 解决方案。
开发人员无需担心 AI 模型是否需要 REST API、Python 绑定或 C++ 库，因为 Qt AI Inference API (PoC) 将所有这些都整合为统一接口。
图片1.创建 AI 管道的典型方法
要实现一个用例，通常需要多个 AI 模型。此外，还需要将它们连接起来创建AI模型管道，例如这个基于语音的AI聊天应用中 "语音->文本->文本->语音 "的管道。
实现方式通常有两种：要么直接从应用程序访问每个AI模型并在应用内部构建AI管道，要么创建外部定制化的用例专属AI管道供应用程序调用。
第一种方式（图1左侧）中，应用程序通过某些API（通常是REST API，有时也通过gRPC或WebSocket协议）访问各个AI模型。这些API由运行在本地设备或云端的Python服务器提供。Python服务器随后调用某些AI框架的Python接口来加载AI模型并执行实际部署（称为"推理"）。应用程序还需整合具有不同API的多个AI模型以构建AI管道，这将产生数万行既依赖特定用例又依赖AI框架的代码——这些代码本可避免。
第二种方式（图1右侧）将这类代码从应用程序转移至外部的用例专属AI管道。这意味着需要为每个用例单独实现AI管道。此时应用程序访问的是完全针对特定用例的AI管道私有API。用例的任何更改都需要对应用程序和 AI 管道进行更改。同样，还有数千行代码是针对特定用例和 AI 框架的，是可以避免的。
两种方案中，处理视频、音频或语音数据时都需要使用依赖特定平台的多媒体框架进行录制和播放。这意味着应用程序和/或Python服务器需针对不同目标平台进行差异化实现。
AI 应用程序
从
数天到几分钟
图片 2.Qt 如何优化 AI 处理流程
Qt如何优化这一过程？
对于媒体录制和播放，Qt框架已提供跨平台的Qt Multimedia模块及Qt Multimedia API。由于Qt框架支持Python，该API可同时应用于应用程序端和Python服务器端，从而实现平台无关性——即能适用于多种目标平台。
为提供跨平台、跨AI框架的推理API，现推出全新的Qt AI Inference API (PoC)。该API由新推出的" Qt Data Processing"模块提供。每个AI框架都有对应的后端适配插件，用于连接Python服务器执行推理。
Qt框架本身具备进程间通信机制Qt Remote Objects模块（QtRO），可实现后端与Python服务器的直接通信，无需额外编写消息编码、解码、发送和接收的代码。
这种方式可节省数万行代码，降低应用程序复杂度，且客户端和Python服务器无需修改就能适用于所有支持的平台和AI框架。更重要的是，只需在应用程序的QML中简单定义，即可在后台自动创建AI管道。这使得AI元素（用于模型和管道）能与UI元素无缝结合，让AI元素同时控制应用程序逻辑和界面行为，从而实现更全面的AI应用。
全新数据处理模块 (Data Processing module) 提供Qt AI Inference API 及多种AI后端插件，用于实现与不同推理服务及AI框架的适配。推理服务提供更高级的API以隐藏底层支持的AI框架。
每个嵌入式板卡供应商都为推理操作提供一到两个 AI 框架。例如，一个可以是针对生成式 AI的专有 AI 框架，针对板上可用的硬件加速进行了优化；另一个则用于更简单的 AI 模型。
这些 AI 框架使用 CPU、GPU 或其他 AI 处理器，利用并行处理技术执行推理操作。
多媒体框架负责图像、视频和音频/语音的处理与生成，包括数据编解码以及格式转换以适应推理需求。它还需支持音频/视频源（如麦克风和摄像头）的访问，以及音视频播放功能。现有的Qt Multimedia模块通过跨平台API提供这些服务，隐藏了平台特定的多媒体框架实现细节。
该原型可在 Windows、Linux 甚至 NVIDIA Jetson 等嵌入式平台上构建。
结果显而易见：通过整合各种 AI 框架的复杂性，开发人员节省了大量时间，只需几分钟就能部署 AI 模型。
这种灵活性不仅使 AI 专家受益，也有利于建立内部 AI 模型的公司。他们不再需要掌握特定厂商的 AI 框架--Qt AI Inference API (PoC) 已为他们处理了这些复杂性 。
这样间接为自主构建模型的企业提供了价值。现在他们无需为了最大化硬件性能而学习每家厂商的 AI 系统。
我们很高兴分享 Qt AI Inference API (PoC) 资源库及其示例应用的代码库，这些工具旨在显著加速边缘 AI 应用的开发进程。诚邀您试用该 API，亲身体验它如何简化您的开发流程并为项目提供面向未来的保障。
非常欢迎各位对这些资源提出反馈意见！
如果您是从事 AI 开发的开发者或行业领导者，或者我们的产品有助于您的项目，请随时联系我们，探索 Qt AI Inference API (PoC) 并为工业自动化开启新的可能性。
AI 在工业自动化领域的应用不仅仅是渐进式的改进。而是要从根本上提高生产力和效率。