AcuiRT
AcuiRT(Advanced Conversion UtIlities for Run-Time)は、デバイス依存の深層学習コンパイラを用いてAIモデルを高速に推論するためのモデル自動変換ライブラリです。AcuiRTを使用することで、実機上でTensorRT等の深層学習コンパイラを使用して高速なモデルの推論を行うことができます。
特徴
AcuiRTは深層学習コンパイラと一体となった自動変換機能を提供し、効率的なモデルへ自動的に変換を行います。変換を行う際に、モデルに対してカーネル融合や量子化・カーネル選択などの最適化が行われます。変換されたモデルを利用することで、高速な推論を実現できます。
ユーザはモデル構成の検討に集中できます。コンパイルできないレイヤを含むモデルをコンパイルする際に、既存のツールでは人手でのモジュールの切り分けと試行錯誤が必要でしたが、AcuiRTではモジュールの切り分けとコンパイル可否の判定を自動的に行うため、ユーザの労力を削減することができます。
クイックスタートガイド
変換Tips
AcuiRTでは自動変換以外にも手動でのモジュールの変換をサポートしています。