AcuiRT
AcuiRT(Advanced Conversion UtIlities for Run-Time)は、特定ハードウェア向けの深層学習コンパイラを用いたモデル自動変換フレームワークです。
特徴
実行時間の改善
AcuiRTによるモデル変換によって、モデルに対してカーネル融合や量子化・カーネル選択などの最適化が行われます。 この最適化により、ターゲットデバイス上での高速な推論が実現できます。
開発期間の短縮
TensorRTのような深層学習コンパイラを直接使用する場合、モデル全体を一度に変換する必要があります。 しかし、ある程度の規模を備えた実用的なモデルにおいては、様々な制約によってモデルの変換を一度で成功させることが難しい状況にあります。 これは、ターゲットハードウェア依存の深層学習コンパイラが、対応するオペレータや量子化手法に強く依存するためであり、従来は設定やモデルの改良などの人力による介入が欠かせませんでした。
AcuiRTには、一部のモジュールが変換不可能な場合にその原因を特定し、変換可能な部分だけを変換し残ったモジュールをPyTorch上で実行するという、柔軟な変換戦略が実装されています。 この結果、人手でのモジュールの切り分けと試行錯誤を不要とし、ユーザーはモデルの設計に集中することができます。
加えて、変換出来なかっ たモジュールやその原因をわかりやすく表示するための観測機能を搭載しています。 これらの機能を使用することで、モデル全体をターゲットデバイス向けに変換するのに必要となるエンジニアリング工数を削減し、開発の加速が可能になります。
クイックスタートガイド
変換Tips
AcuiRTでは自動変換以外にも手動でのモジュールの変換をサポートしています。