模型已经导出成 ONNX,Runtime 官方怎么在本机跑起来?

手里已经有一份导出好的 .onnx。本机这边只想用 Runtime 跑推理,并不是要再起一个对话服务。本地聊天入口,和这份格式的推理运行时,不是同一件事。前者可以看站内这篇 Ollama 本机跑模型。这里只谈已经导出的文件,怎么在本机用官方 Runtime 跑起来。

ONNX Runtime 官网 把它写成生产级的 AI 引擎,用来在现有技术栈里加速训练和推理。首页把最短安装命令写成 pip install onnxruntime,随后用 Python 加载模型并创建 InferenceSession,再调用 session.run 传入输入、取出输出。示例是这样写的:

import onnxruntime as ort
model_path = "path/to/your/onnx/model"
session = ort.InferenceSession(model_path)
outputs = session.run(None, {"input": inputTensor})

model_path 指向已经导出的那份文件即可。示例里 session.run 的第一个参数写成 None,第二个参数是带 "input" 这个键的字典。这两个写法在这几页里没有展开说明,"input" 也只是示例里的占位。真正该填什么名称、张量是什么形状,要看这份模型自己的约定,官网并没有把它写成对所有模型通用的固定流程。输入怎么预处理、输出怎么解释,同样取决于模型,示例只用注释标出了这一步。装好包、指向自己的路径,再按模型实际使用的输入名称把数据喂进去,就是文档展示的本机推理入口。

语言和平台方面,官网写明可以在 Python、C#、C++、Java、JavaScript、Rust 等语言里使用,并跑在 Linux、Windows、Mac、iOS、Android 以及浏览器里。文档的 Get Started 按语言分成 Python、C++、C、C#、Java、JavaScript、Objective-C 等入口,还有 Windows、移动端,以及设备上训练、大规模训练相关的页面。文档首页 同样从安装和 Get Started 开始编排。本机只跑已经导出的模型时,从 Python 这条最短路径进去即可,不必先绕到生成式接口。官网另外提供了 pip install onnxruntime-genai,面向把生成式模型接到应用里,和「加载一份现成的 .onnx 做一次 session.run」不是同一条线。浏览器里的路径在官网被写成 ONNX Runtime Web,移动应用则指向 ONNX Runtime Mobile。第一次只想在本机脚本里验证文件能不能跑通,不必先跳到这两端。官网还单独写了训练这一侧:既可以加速大规模模型训练,也提供在设备上继续训练、让推理模型在本地再适应数据的能力。已经完成导出、只做推理时,不必先进入这些训练页面。首页把推理写成 ONNX Runtime Inferencing,把训练写成 ONNX Runtime Training,两条线在文档里是分开的。本机只跑已经导出的文件,走的是推理这一条。

推理这一侧,官网还提到它被用在 Windows、Office、Azure Cognitive Services、Bing 以及许多其他项目里,并覆盖云、边缘、Web 和移动场景。这些是产品定位,不是本机入门必须具备的部署目标。文档导航里也能看到面向 PyTorch、TensorFlow、Hugging Face 的加速教程,以及在 AzureML、移动端或 IoT 上部署的条目。训练侧如果还没把模型导出来,可以再进那些页面。已经拿到 .onnx、只想在本机跑通推理时,不必先把这些教程走完。硬件上,它写明 CPU、GPU、NPU 都可以作为推理目标,并关注延迟、吞吐、内存占用和二进制体积。另有模型优化和运行时配置,可按具体模型和用途再调。第一次在本机验证能不能跑通,默认安装往往已经够用,加速、量化或更换执行提供者,可以等跑通后再看对应页面。这几页官方文档没有写出某一个固定的发行号,本机入门按首页给出的 pip install onnxruntime 即可。

你们现在是用 Python 直接 InferenceSession,还是准备接到 C++ 或 Java 的服务进程里?