IPU Inference Toolkit Quick Start

• 1. 概述
  • 1.1. IPU推理方案架构
• 2. 模型编译
  • 2.1. 模型下载
  • 2.2. 模型转换和编译
• 3. 模型运行
  • 3.1. 通过PopRT Runtime运行
    • 3.1.1. 环境准备
    • 3.1.2. 使用 Python API 运行模型
    • 3.1.3. 通过 C++ API 运行模型
  • 3.2. 部署模型到Triton Inference Server
    • 3.2.1. 生成模型的配置
    • 3.2.2. 启动模型服务
    • 3.2.3. 通过gRPC验证服务
• 4. Trademarks & copyright