- ONNX支持
- 格式转换
- 自动数据类型转换
- 创建模型
- 运行模型
- 运行策略测试
- OnnxCreate
- OnnxCreateFromBuffer
- OnnxRelease
- OnnxRun
- OnnxGetInputCount
- OnnxGetOutputCount
- OnnxGetInputName
- OnnxGetOutputName
- OnnxGetInputTypeInfo
- OnnxGetOutputTypeInfo
- OnnxSetInputShape
- OnnxSetOutputShape
- 数据结构
OnnxRun
运行ONNX模型。
bool OnnxRun(
|
参数
onnx_handle
[in] 通过OnnxCreate或OnnxCreateFromBuffer创建的ONNX会话对象句柄。
flags
[in] ENUM_ONNX_FLAGS中的标识,描述运行模式:ONNX_DEBUG_LOGS和ONNX_NO_CONVERSION。
...
[in] [out] 模型输入和输出。
成功返回true,否则返回false。要获取错误代码,请调用GetLastError函数。
ENUM_ONNX_FLAGS
该ENUM_ONNX_FLAGS枚举描述了模型的运行模式
ID |
描述 |
|---|---|
ONNX_LOGLEVEL_VERBOSE |
记录所有消息 |
ONNX_LOGLEVEL_INFO |
记录信息消息、警告和错误(此标志替换 ONNX_DEBUG_LOGS) |
ONNX_LOGLEVEL_WARNING |
记录警告和错误(默认) |
ONNX_LOGLEVEL_ERROR |
仅记录错误 |
ONNX_NO_CONVERSION |
禁用自动转换,按原样使用用户数据 |
ONNX_COMMON_FOLDER |
从 Common\Files 文件夹载入一个模型文件; 该值等于FILE_COMMON标志 |
ONNX_USE_CPU_ONLY |
仅使用 CPU 执行 ONNX 模型 |
ONNX_GPU_DEVICE_0 |
索引为 0 的 CUDA 设备(默认) |
ONNX_GPU_DEVICE_1 |
索引为 1 的 CUDA 设备 * |
ONNX_GPU_DEVICE_2 |
索引为 2 的 CUDA 设备 * |
ONNX_GPU_DEVICE_3 |
索引为 3 的 CUDA 设备 * |
ONNX_GPU_DEVICE_4 |
索引为 4 的 CUDA 设备 * |
ONNX_GPU_DEVICE_5 |
索引为 5 的 CUDA 设备 * |
ONNX_GPU_DEVICE_6 |
索引为 6 的 CUDA 设备 * |
ONNX_GPU_DEVICE_7 |
索引为 7 的 CUDA 设备 * |
ONNX_ENABLE_PROFILING |
启用 ONNX 模型分析 |
* ONNX_GPUD_N 形式的标志应在具有两个或多个 CUDA 功能 GPU 的系统上使用。如果指定了多个 GPU 选择标志,则将使用索引最低的设备。
如果指定了不存在的设备索引,则 GPU 将被自动选择。
例如:
const long ExtOutputShape[] = {1,1}; // 模型输出形状
|
另见