メトリクス詳細
AIBoosterが収集する全メトリクスの詳細な一覧と説明です。パネルライブラリには132個のパネルが用意されており、以下のカテゴリに分類されています。
単位の「-」は無次元数を表します。
GPU関連メトリクス（DCGM）
DCGMメトリクスには下記のパネル名そのままのパネルと、by Nodeが末尾ついているパネルの2種類が存在します。 by Nodeが付いてない方のパネルは、Node毎、GPU毎に取得したメトリクスを一覧表示します。 by Nodeがついている方のパネルは、各ノード内における全GPUの平均値を、ノード毎に表示します。
基本GPU情報（11パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| DCGM_FI_DEV_GPU_UTIL | GPU Utilization | GPU使用率 | % |
| DCGM_FI_DEV_GPU_TEMP | GPU Temperature | GPU温度 | ℃ |
| DCGM_FI_DEV_POWER_USAGE | GPU Power Usage | GPU電力消費量 | Watt |
| DCGM_FI_DEV_TOTAL_ENERGY_CONSUMPTION | GPU Total Energy Consumption | 起動後の総エネルギー消費量 | Joule |
| DCGM_FI_DEV_FB_USED | GPU Memory Used | フレームバッファメモリ使用量 | Bytes |
| DCGM_FI_DEV_MEM_CLOCK | GPU Memory Clock | メモリクロック周波数 | MHz |
| DCGM_FI_DEV_SM_CLOCK | GPU SM Clock | ストリーミングマルチプロセッサクロック周波数 | MHz |
| DCGM_FI_DEV_MEMORY_TEMP | GPU Memory Temperature | GPUメモリ温度 | ℃ |
| DCGM_FI_DEV_MEM_COPY_UTIL | GPU Memory Utilization | GPUメモリのコピー使用率 | % |
| DCGM_FI_DEV_PCIE_REPLAY_COUNTER | GPU PCIe Replay Counter | PCIe再送回数 | - |
| DCGM_FI_DEV_NVLINK_BANDWIDTH_TOTAL | GPU NVLink Bandwidth Total | NVLink帯域幅合計 | Bytes/sec |
プロファイリング情報（12パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| DCGM_FI_PROF_DRAM_ACTIVE | GPU DRAM Activity | DRAM使用率 | % |
| DCGM_FI_PROF_PCIE_RX_BYTES | GPU PCIe RX | PCIe受信バイト数 | Bytes/sec |
| DCGM_FI_PROF_PCIE_TX_BYTES | GPU PCIe TX | PCIe送信バイト数 | Bytes/sec |
| DCGM_FI_PROF_SM_ACTIVE | GPU SM Activity | ストリーミングマルチプロセッサ使用率 | % |
| DCGM_FI_PROF_SM_OCCUPANCY | GPU SM Occupancy | ストリーミングマルチ プロセッサ占有率 | % |
| DCGM_FI_PROF_PIPE_TENSOR_ACTIVE | GPU Tensor Core Activity | テンソルコア使用率 | % |
| DCGM_FI_PROF_PIPE_FP32_ACTIVE | GPU FP16 Pipeline Activity | FP16パイプライン使用率 | % |
| DCGM_FI_PROF_PIPE_FP16_ACTIVE | GPU FP32 Pipeline Activity | FP32パイプライン使用率 | % |
| DCGM_FI_PROF_PIPE_FP64_ACTIVE | GPU FP64 Pipeline Activity | FP64パイプライン使用率 | % |
| DCGM_FI_PROF_PIPE_TENSOR_IMMA_ACTIVE | GPU Tensor IMMA Pipeline Activity | IMMAパイプライン使用率 | % |
| DCGM_FI_PROF_PIPE_TENSOR_HMMA_ACTIVE | GPU Tensor HMMA Pipeline Activity | HMMAパイプライン使用率 | % |
| DCGM_FI_PROF_PIPE_TENSOR_DFMA_ACTIVE | GPU Tensor DFMA Pipeline Activity | DFMAパイプライン使用率 | % |
システムメトリクス（Node Exporter）
CPU・負荷（7パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| node_load1 | Node Load 1min | 1分間のシステム負荷平均 | - |
| node_load5 | Node Load 5min | 5分間のシステム負荷平均 | - |
| node_load15 | Node Load 15min | 15分間のシステム負荷平均 | - |
| node_cpu_frequency_max_hertz | Node CPU Frequency Max Hertz | CPU最大周波数 | Hz |
| node_cpu_frequency_min_hertz | Node CPU Frequency Min Hertz | CPU最小周波数 | Hz |
| node_cpu_scaling_frequency_hertz | Node CPU Scaling Frequency Hertz | 現在のCPU動作周波数 | Hz |
| node_cpu_scaling_governor | Node CPU Scaling Governor | CPUガバナー設定状態 | - |
メモリ（9パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| node_memory_MemTotal_bytes | Node Memory Total | 総メモリ容量 | Bytes |
| node_memory_MemAvailable_bytes | Node Memory Available | 使用可能メモリ容量 | Bytes |
| node_memory_MemFree_bytes | Node Memory Free | 空きメモリ容量 | Bytes |
| node_memory_Active_bytes | Node Memory Active | アクティブメモリ使用量 | Bytes |
| node_memory_Inactive_bytes | Node Memory Inactive | 非アクティブメモリ使用量 | Bytes |
| node_memory_Cached_bytes | Node Memory Cached | キャッシュメモリ使用量 | Bytes |
| node_memory_Buffers_bytes | Node Memory Buffers | バッファメモリ使用量 | Bytes |
| node_memory_SwapTotal_bytes | Node Swap Total | 総スワップ容量 | Bytes |
| node_memory_SwapFree_bytes | Node Swap Free | 空きスワップ容量 | Bytes |
ファイルシステム（5パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| node_filesystem_size_bytes | Node Filesystem Size Bytes | ファイルシステム総容量 | Bytes |
| node_filesystem_avail_bytes | Node Filesystem Avail Bytes | ファイルシステム使用可能容量 | Bytes |
| node_filesystem_free_bytes | Node Filesystem Free Bytes | ファイルシステム空き容量 | Bytes |
| node_filesystem_files | Node Filesystem Files | 総inode数 | - |
| node_filesystem_files_free | Node Filesystem Files Free | 空きinode数 | - |
ネットワーク（4パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| node_network_info | Node Network Interface Info | ネットワークインターフェース情報 | - |
| node_network_up | Node Network Up | ネットワークインターフェース状態 | - |
| node_network_speed_bytes | Node Network Speed Bytes | ネットワーク速度 | Bytes/sec |
| node_network_mtu_bytes | Node Network Mtu Bytes | Maximum Transmission Unit | Bytes |
プロセス（2パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| node_procs_running | Node Procs Running | 実行中プロセス数 | - |
| node_procs_blocked | Node Procs Blocked | ブロック中プロセス数 | - |
ファイルディスクリプタ（3パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| node_filefd_allocated | Node Filefd Allocated | 割り当て済みファイルディスクリプタ数 | - |
| node_filefd_maximum | Node Filefd Maximum | 最大ファイルディスクリプタ数 | - |
| node_arp_entries | Node Arp Entries | ARPテーブルエントリ数 | - |
システム起動時間（1パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| node_boot_time_seconds | Node Boot Time | システム起動時刻 | DateTime |
ZFS関連（16パネル）
ARCキャッシュ（10パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| node_zfs_arc_size | Node ZFS ARC Size | ARCキャッシュ現在サイズ | Bytes |
| node_zfs_arc_c | Node ZFS ARC C | ARC目標サイズ | Bytes |
| node_zfs_arc_c_max | Node ZFS ARC C Max | ARC最大サイズ | Bytes |
| node_zfs_arc_c_min | Node ZFS ARC C Min | ARC最小サイズ | Bytes |
| node_zfs_arc_hits | Node ZFS ARC Hits | ARCキャッシュヒット数 | - |
| node_zfs_arc_misses | Node ZFS ARC Misses | ARCキャッシュミス数 | - |
| node_zfs_arc_mfu_hits | Node ZFS ARC MFU Hits | Most Frequently Used ヒット数 | - |
| node_zfs_arc_mru_hits | Node ZFS ARC MRU Hits | Most Recently Used ヒット数 | - |
| node_zfs_arc_demand_data_hits | Node ZFS ARC Demand Data Hits | デマンドデータヒット数 | - |
| node_zfs_arc_demand_data_misses | Node ZFS ARC Demand Data Misses | デマンドデータミス数 | - |
ZFSプール（6パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| node_zfs_zpool_state | Node ZFS Zpool State | ZFSプール状態 | - |
| node_zfs_zpool_dataset_nread | Node ZFS Zpool Dataset Nread | データセット読み取り回数 | - |
| node_zfs_zpool_dataset_nwritten | Node ZFS Zpool Dataset Nwritten | データセット書き込み回数 | - |
| node_zfs_zpool_dataset_reads | Node ZFS Zpool Dataset Reads | データセット読み取りバイト数 | Bytes |
| node_zfs_zpool_dataset_writes | Node ZFS Zpool Dataset Writes | データセット書き込みバイト数 | Bytes |
| node_zfs_zpool_dataset_nunlinks | Node ZFS Dataset Unlinks | データセット削除回数 | - |
プロセス・アプリケーションメトリクス
Goアプリケーション（18パネル）
基本情報（4パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| go_info | Go Version Info | Go言語バージョン情報 | - |
| go_goroutines | Go Goroutines | 実行中ゴルーチン数 | - |
| go_threads | Go Threads | スレッド数 | - |
| go_sched_gomaxprocs_threads | Go MAX Processors | GO MAXPROCS設定値 | - |
ガベージコレクション（2パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| go_gc_gogc_percent | Go GC Target | GOGC設定値 | % |
| go_gc_gomemlimit_bytes | Go Memory Limit | GOMEMLIMIT設定値 | Bytes |
メモリ統計（12パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| go_memstats_alloc_bytes | Go Alloc Memory | 割り当て済みメモリ | Bytes |
| go_memstats_sys_bytes | Go System Memory | システムから取得したメモリ | Bytes |
| go_memstats_heap_alloc_bytes | Go Heap Alloc | ヒープ割り当て済みメモリ | Bytes |
| go_memstats_heap_sys_bytes | Go Heap System | ヒープシステムメモリ | Bytes |
| go_memstats_heap_idle_bytes | Go Heap Idle | ヒープアイドルメモリ | Bytes |
| go_memstats_heap_inuse_bytes | Go Heap In Use | ヒープ使用中メモリ | Bytes |
| go_memstats_heap_released_bytes | Go Heap Released | ヒープ解放済みメモリ | Bytes |
| go_memstats_heap_objects | Go Heap Objects | ヒープオブジェクト数 | - |
| go_memstats_stack_inuse_bytes | Go Stack In Use | スタック使用中メモリ | Bytes |
| go_memstats_stack_sys_bytes | Go Stack System | スタックシステムメモリ | Bytes |
| go_memstats_mspan_inuse_bytes | Go MSpan In Use | MSpan使用中メモリ | Bytes |
| go_memstats_mspan_sys_bytes | Go MSpan System | MSpanシステムメモリ | Bytes |
プロセス情報（6パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| process_resident_memory_bytes | Process Resident Memory | プロセス物理メモリ使用量 | Bytes |
| process_virtual_memory_bytes | Process Virtual Memory | プロセス仮想メモリ使用量 | Bytes |
| process_virtual_memory_max_bytes | Process Virtual Memory Max | プロセス最大仮想メモリ | Bytes |
| process_open_fds | Process Open FDs | プロセス使用中ファイルディスクリプタ数 | - |
| process_max_fds | Process Max FDs | プロセス最大ファイルディスクリプタ数 | - |
| process_start_time_seconds | Process Start Time | プロセス開始時刻 | Seconds |
スクレイピング統計（5パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| scrape_duration_seconds | Scrape Duration | メトリクス収集時間 | Seconds |
| scrape_samples_scraped | Scrape Samples Scraped | 収集サンプル数 | - |
| scrape_samples_post_metric_relabeling | Scrape Samples Post Relabeling | ラベル処理後サンプル数 | - |
| scrape_series_added | Scrape Series Added | 追加された時系列数 | - |
| up | Target Up Status | スクレイプ成功状態 | - |
その他システムメトリクス
メモリキャッシュ（6パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| go_memstats_mcache_inuse_bytes | Go MCache In Use | MCache使用中メモリ | Bytes |
| go_memstats_mcache_sys_bytes | Go MCache System | MCacheシステムメモリ | Bytes |
| go_memstats_gc_sys_bytes | Go GC System Memory | GCシステムメモリ | Bytes |
| go_memstats_other_sys_bytes | Go Other System Memory | その他システムメモリ | Bytes |
| go_memstats_buck_hash_sys_bytes | Go Bucket Hash System Memory | バケットハッシュシステムメモリ | Bytes |
| go_memstats_next_gc_bytes | Go Next GC | 次回GC実行閾値 | Bytes |
GC統計（1パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| go_memstats_last_gc_time_seconds | Go Last GC Time | 前回GC実行時刻 | Seconds |
HTTP統計（1パネル）
| メトリクス名 | パネル名 | 説明 | 単位 |
|---|---|---|---|
| promhttp_metric_handler_requests_in_flight | HTTP Requests In Flight | 実行中HTTPリクエスト数 | - |