# 模型已经导出成 ONNX，Runtime 官方怎么在本机跑起来？

**URL:** <https://www.shiqidu.com/t/topic/2066>\
**Category:** 人工智能\
**Tags:** 编程, AICoding, 问与答, 开源软件, Python\
**Created:** [2026 年11 月 13 日 11:20 UTC](https://www.shiqidu.com/t/topic/2066 "2026-11-13T11:20:41Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

作者： ![shiqidu\_editor](https://www.shiqidu.com/user_avatar/www.shiqidu.com/shiqidu_editor/32/528_2.png) [@shiqidu\_editor](https://www.shiqidu.com/u/shiqidu_editor)\
发布日期： [2026 年11 月 13 日 11:20 UTC](https://www.shiqidu.com/t/topic/2066/1 "2026-11-13T11:20:41Z")

</div>

手里已经有一份导出好的 `.onnx`。本机这边只想用 Runtime 跑推理，并不是要再起一个对话服务。本地聊天入口，和这份格式的推理运行时，不是同一件事。前者可以看站内这篇 [Ollama 本机跑模型](https://www.shiqidu.com/t/topic/2018)。这里只谈已经导出的文件，怎么在本机用官方 Runtime 跑起来。

[ONNX Runtime 官网](https://onnxruntime.ai/) 把它写成生产级的 AI 引擎，用来在现有技术栈里加速训练和推理。首页把最短安装命令写成 `pip install onnxruntime`，随后用 Python 加载模型并创建 `InferenceSession`，再调用 `session.run` 传入输入、取出输出。示例是这样写的：

```python
import onnxruntime as ort
model_path = "path/to/your/onnx/model"
session = ort.InferenceSession(model_path)
outputs = session.run(None, {"input": inputTensor})

```

`model_path` 指向已经导出的那份文件即可。示例里 `session.run` 的第一个参数写成 `None`，第二个参数是带 `"input"` 这个键的字典。这两个写法在这几页里没有展开说明，`"input"` 也只是示例里的占位。真正该填什么名称、张量是什么形状，要看这份模型自己的约定，官网并没有把它写成对所有模型通用的固定流程。输入怎么预处理、输出怎么解释，同样取决于模型，示例只用注释标出了这一步。装好包、指向自己的路径，再按模型实际使用的输入名称把数据喂进去，就是文档展示的本机推理入口。

语言和平台方面，官网写明可以在 Python、C#、C++、Java、JavaScript、Rust 等语言里使用，并跑在 Linux、Windows、Mac、iOS、Android 以及浏览器里。[文档的 Get Started](https://onnxruntime.ai/docs/get-started/) 按语言分成 Python、C++、C、C#、Java、JavaScript、Objective-C 等入口，还有 Windows、移动端，以及设备上训练、大规模训练相关的页面。[文档首页](https://onnxruntime.ai/docs/) 同样从安装和 Get Started 开始编排。本机只跑已经导出的模型时，从 Python 这条最短路径进去即可，不必先绕到生成式接口。官网另外提供了 `pip install onnxruntime-genai`，面向把生成式模型接到应用里，和「加载一份现成的 `.onnx` 做一次 `session.run`」不是同一条线。浏览器里的路径在官网被写成 ONNX Runtime Web，移动应用则指向 ONNX Runtime Mobile。第一次只想在本机脚本里验证文件能不能跑通，不必先跳到这两端。官网还单独写了训练这一侧：既可以加速大规模模型训练，也提供在设备上继续训练、让推理模型在本地再适应数据的能力。已经完成导出、只做推理时，不必先进入这些训练页面。首页把推理写成 ONNX Runtime Inferencing，把训练写成 ONNX Runtime Training，两条线在文档里是分开的。本机只跑已经导出的文件，走的是推理这一条。

推理这一侧，官网还提到它被用在 Windows、Office、Azure Cognitive Services、Bing 以及许多其他项目里，并覆盖云、边缘、Web 和移动场景。这些是产品定位，不是本机入门必须具备的部署目标。文档导航里也能看到面向 PyTorch、TensorFlow、Hugging Face 的加速教程，以及在 AzureML、移动端或 IoT 上部署的条目。训练侧如果还没把模型导出来，可以再进那些页面。已经拿到 `.onnx`、只想在本机跑通推理时，不必先把这些教程走完。硬件上，它写明 CPU、GPU、NPU 都可以作为推理目标，并关注延迟、吞吐、内存占用和二进制体积。另有模型优化和运行时配置，可按具体模型和用途再调。第一次在本机验证能不能跑通，默认安装往往已经够用，加速、量化或更换执行提供者，可以等跑通后再看对应页面。这几页官方文档没有写出某一个固定的发行号，本机入门按首页给出的 `pip install onnxruntime` 即可。

你们现在是用 Python 直接 `InferenceSession`，还是准备接到 C++ 或 Java 的服务进程里？
