IPU Inference Toolkit Quick Start
Version: latest
1. 概述
1.1. IPU推理方案架构
2. 模型编译
2.1. 模型下载
2.2. 模型转换和编译
3. 模型运行
3.1. 通过PopRT Runtime运行
3.1.1. 环境准备
3.1.2. 使用 Python API 运行模型
3.1.3. 通过 C++ API 运行模型
3.2. 部署模型到Triton Inference Server
3.2.1. 生成模型的配置
3.2.2. 启动模型服务
3.2.3. 通过gRPC验证服务
4. Trademarks & copyright
IPU Inference Toolkit Quick Start
IPU Inference Toolkit Quick Start
1. 概述
1.1. IPU推理方案架构
2. 模型编译
2.1. 模型下载
2.2. 模型转换和编译
3. 模型运行
3.1. 通过PopRT Runtime运行
3.1.1. 环境准备
3.1.2. 使用 Python API 运行模型
3.1.3. 通过 C++ API 运行模型
3.2. 部署模型到Triton Inference Server
3.2.1. 生成模型的配置
3.2.2. 启动模型服务
3.2.3. 通过gRPC验证服务
4. Trademarks & copyright
Read the Docs
v: latest