複雑なモデルでの変換結果の分析とリファクタリング
概要
ResNet50を用いたチュートリアル では、PyTorchモデルをTensorRTエンジンに変換することで高速化する方法を学びました。しかしながら、複雑なモデルではモデル全体を推論エンジンで変換できないケースも存在します。このような場合、AcuiRTは変換失敗の原因を特定するための分析情報を出力します。この情報に基づいてTensorRTエンジンへの変換率を増やしていくことで推論処理をより高速化させることが可能となります。
このチュートリアルでは、TransformerとCNNを併用した二次元物体検出モデルである DETRを対象に、AcuiRTの機能を用いて変換失敗原因の特定・修正・再変換を行う方法を学びます。
実行環境
本ドキュメントは下記の環境で実行し、正常に動作することを確認しています
- Python: 3.12
- PyTorch: 2.5.0
- TensorRT: 10.14.1.48.post1
- 使用GPU: NVIDIA RTX 4060Ti