openvinotoolkit/openvino · 上手攻略

仓库：openvinotoolkit/openvino
链接：https://github.com/openvinotoolkit/openvino
分类：ai
作者：Jay
更新：2026-07-13

是什么

OpenVINO™（Open Visual Inference and Neural Network Optimization）是 Intel 开源的 AI 推理优化与部署工具包，核心目标是把训练好的深度学习模型快速部署到 Intel 硬件上，并获得接近硬件上限的推理性能。它并非训练框架，而是推理runtime + 模型优化工具链的组合。

其支持硬件覆盖 x86/ARM CPU、Intel 集成/独立 GPU、以及 Intel NPU（神经网络处理器），覆盖从边缘设备到数据中心的全场景。

解决什么问题

在生产环境部署深度学习模型时，常见痛点包括： - 模型体积大、推理慢、延迟高 - 需要保留原始训练框架（PyTorch/TensorFlow）才能跑模型 - 不同硬件需要手动优化，移植成本高 - LLM / 生成式 AI 的部署门槛较高

OpenVINO 通过模型格式转换 → 运行时优化 → 硬件加速三步走，统一解决这些问题。

快速安装

# 标准 Runtime（Python）
pip install -U openvino

# GenAI 扩展（用于 LLM/生成式模型）
pip install -U openvino-genai

# 验证安装
python -c "import openvino as ov; print(ov.__version__)"

其他安装方式（按需选择）：

# conda
conda install -c conda-forge openvino

# Homebrew (macOS/Linux)
brew install openvino

# Docker
docker pull openvino/ubuntu22_runtime

⚠️ 注意：2026 年最新稳定版为 2026.2（文档 URL docs.openvino.ai/2026/），安装前确认版本号与文档对应。

核心用法

1. PyTorch 模型转换与推理

import openvino as ov
import torch
import torchvision

# 加载 PyTorch 模型
model = torch.hub.load("pytorch/vision", "shufflenet_v2_x1_0", weights="DEFAULT")

# 转为 OpenVINO 模型（需要示例输入）
example = torch.randn(1, 3, 224, 224)
ov_model = ov.convert_model(model, example_input=(example,))

# 编译为 CPU 设备
core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')

# 推理
output = compiled_model({0: example.numpy()})

2. TensorFlow 模型直接转换

import numpy as np
import openvino as ov
import tensorflow as tf

model = tf.keras.applications.MobileNetV2(weights='imagenet')
ov_model = ov.convert_model(model)

core = ov.Core()
compiled_model = core.compile_model(ov_model, 'CPU')

data = np.random.rand(1, 224, 224, 3).astype(np.float32)
output = compiled_model({0: data})

3. OpenVINO GenAI（LLM 专用 API）

GenAI 是 2024 年后新增的专门面向 LLM / 生成式模型的简化 API，无需手动 tokenizer 处理：

import openvino as ov
from openvino.genai import LLMPipeline

# 注意：需要先用 optimum-intel 将模型导出为 OpenVINO IR 格式
# pip install optimum-intel[openvino]
# optimum-cli export openvino --model meta-llama/Llama-3.2-1B-Instruct llama_ov/

pipe = LLMPipeline("/path/to/model", "CPU")
result = pipe.generate("The Sun is yellow because", max_new_tokens=100)
print(result)

4. 多设备自动切换

# 首次推理用 CPU（延迟低），后续自动切到 GPU
core = ov.Core()
# 查看可用设备
print(core.available_devices)
# 编译为 GPU
compiled_model = core.compile_model(ov_model, 'GPU')

典型适用场景

场景	说明
边缘推理	在 ARM 设备（如树莓派/Jetson 替代品）上跑 CV 模型，OpenVINO 对 ARM 支持较好
Intel GPU 加速	在 Intel 集成显卡或 Arc 独显上跑 Stable Diffusion、LLM 推理
服务器端吞吐优化	用 OpenVINO Model Server 配合 Kubernetes 做数据中心的模型服务化
无框架部署	将 PyTorch/TF 模型转为 IR 后，完全不需要原框架即可推理，节省依赖
LLM 本地部署	结合 Optimum Intel 和 GenAI API，本地跑 Llama/Qwen 等模型

坑与注意

版本强依赖文档：OpenVINO 文档按年份版本组织（/2026/、/2025/），API 在大版本间有breaking change，安装和代码要对照同版本文档。
GPU 驱动要求严：Linux 上用 Intel GPU 需要较新的 mesa / compute runtime，驱动不满足时 GPU 设备会显示但推理失败。参考 configurations-intel-gpu。
模型转换不一定成功：部分自定义层、动态-shape 模型转换时可能报错，建议用 Optimum Intel 官方支持模型列表里的模型先上手。
ARM Windows 支持有限：主要是 Linux / macOS ARM / Windows x86，Windows ARM 体验不完整。
NPU 需额外驱动：Intel NPU（酷睿 Ultra 等）需要 NPU 驱动，Windows 端在设备管理器确认是否有 "Intel AI Boost"。
GenAI 依赖额外安装：openvino 包不包含 GenAI，需单独 pip install openvino-genai。

与同类对比

特性	OpenVINO	TensorRT	ONNX Runtime	vLLM
硬件	Intel 全家桶为主	NVIDIA GPU	多硬件	NVIDIA GPU
LLM 支持	✅ GenAI API	✅	✅	✅（PagedAttention）
CV 模型优化	✅✅ 极强	✅	✅	❌
框架互转	PyTorch/TF/ONNX	主要是 ONNX/TF	通用	仅 PyTorch
边缘部署	✅ ARM/x86	❌	✅	❌
开源	✅ Apache 2.0	❌ 闭源	✅ MIT	✅ Apache 2.0

一句话总结：OpenVINO 是 Intel 硬件上的推理最优解，尤其在 CV 模型和传统深度学习模型场景下几乎是必选；LLM 场景可选但非最优（vLLM/TensorRT 在 NVIDIA 上更强）。

openvinotoolkit/openvino · 上手攻略

openvinotoolkit/openvino · 上手攻略

是什么

解决什么问题

快速安装

核心用法

1. PyTorch 模型转换与推理

2. TensorFlow 模型直接转换

3. OpenVINO GenAI（LLM 专用 API）

4. 多设备自动切换

典型适用场景

坑与注意

与同类对比

推荐结论

相关 · 按语义匹配