メインコンテンツまでスキップ
バージョン: v2510

AIBoosterとは？

AIBoosterは、AIワークロードの性能を継続的に観測し改善するためのパフォーマンスエンジニアリングプラットフォームです。

  • PO: Performance Observability
    • 🔍 可視化: 各種ハードウェアの使用率、効率などを一覧
    • 📊 分析: ソフトウェアボトルネックを特定し、改善点を発見
  • PI: Performance Intelligence
    • ⚡ 性能向上: 自動チューニングで性能継続的に向上
    • 💰 コスト削減: 非効率なリソース利用を削減しROIを改善

ユーザーは、可視化ダッシュボードを通じてCPU、GPU、インターコネクト、ストレージといった各種ハードウェアリソースの利用効率やソフトウェアのボトルネックを可視化し、AIワークロードの性能特性を分析することができます。 さらに、AIワークロード用にデザインされた最適化フレームワークを適用することで、効率的な性能改善が可能になります。

AIBoosterを活用して、高速かつ低コストなAIの学習や推論を始めましょう！

機能ハイライト​

自律的チューニング​

ZenithTuneの自律的チューニングは、Kubernetes環境において特定の条件を満たすジョブを自動的に発見し、このジョブのハイパーパラメータを自律的に最適化する機能です。 この機能を有効にすることで、チューニング用のジョブを手動で実行することなく、性能最適なパラメータを継続的に探し続けることができるようになります。

この機能の使い方はこちらを参照してください。

自動プルーニング​

ZenithTuneの自動プルーナーは、最適化の実行中に特定の条件をモニタリングし、設定した閾値を超えた（もしくは下回った）場合に試行を自動的に中断します。 メモリ不足や過剰に時間の要する実行を回避してリソースを効率利用し、有望でない試行を早期に中断してチューニング時間を短縮することができます。

この機能の使い方はこちらを参照してください。

エッジ推論向けの自動モデル変換​

AcuiRTは特定ハードウェア向けの深層学習コンパイラを用いたモデル自動変換フレームワークです。 変換の過程で様々なモデルレベルの最適化を適用し、ターゲットデバイス上での高速な推論が可能になります。

AcuiRT Overview

TensorRTのような深層学習コンパイラを直接使用する場合、モデル全体を一度に変換する必要があります。 しかし、ある程度の規模を備えた実用的なモデルにおいては、様々な制約によってモデルの変換を一度で成功させることが難しい状況にあります。 これは、ターゲットハードウェア依存の深層学習コンパイラが、対応するオペレータや量子化手法に強く依存するためであり、設定やモデルの改良などの人力による介入が欠かせませんでした。

AcuiRTには、一部のモジュールが変換不可能な場合にその原因を特定して、変換可能な部分だけを変換し、残ったモジュールをPyTorch上で実行するという、柔軟な変換戦略が実装されています。 これによって、変換による性能改善に加えて、モデルデプロイ面との過程そのものの工数を削減し、開発の加速が可能になりました。

この機能の使い方はこちらを参照してください。

✨ 各種ガイド​

クイックスタートガイド

AIBoosterの概要、セットアップ方法と簡単な使い方について学びましょう。


性能観測ガイド

AIワークロードの性能を観測するための可視化ダッシュボードの使い方について学びましょう。


性能改善ガイド

AIワークロードの性能を改善するためのフレームワークの使い方について学びましょう。