プロファイリングと性能分析

これは何か

プロファイリングは、プログラムの実行時間、CPU/GPU使用率、メモリ使用量、通信時間、I/O待ち時間を計測する作業です。 最適化の前に必ず行い、「どこが遅いのか」を事実で確認します。

コンテストで上位を狙うには、最初からコードや設定を勘で変えるのではなく、まず性能探偵として遅い場所を特定することが重要です。

なぜ重要か

HPCやAI推論では、遅く見える原因が一つとは限りません。

• CPU計算が重い。
• GPUが十分に使えていない。
• GPU間通信が詰まっている。
• MPI通信待ちが長い。
• KV cacheやメモリアクセスが帯域不足になっている。
• I/Oやモデルロードで待っている。
• CPU側の前処理がGPUを待たせている。

ボトルネックを特定しないまま最適化すると、スコアに効かない場所へ時間を使う危険があります。

キャッチアップすべき技術一覧

HPCコンテストでの優先順位

去年の課題との対応

2025年AI部門では、単純なCUDA最適化よりも、次の順番で状況を切り分ける力が重要だった可能性があります。

1. GPUは本当に忙しいのか。
2. GPU間通信で詰まっていないか。
3. KV cache参照で帯域不足になっていないか。
4. CPUがGPUを待たせていないか。

これは要確認の推測ですが、SGLangや大規模LLM推論では、GPU kernel単体の高速化だけでなく、batching、KV cache、GPU間通信、CPU側スケジューリングが全体性能に影響します。

最初に見るべき指標

代表ツール

実験の進め方

1. 何も変更しないbaselineを測る。
2. CPU、GPU、通信、I/Oのどこで時間を使っているかを大まかに分ける。
3. 最も時間割合が大きい箇所を1つ選ぶ。
4. その箇所に対して1つだけ変更する。
5. 同じ条件で再測定する。
6. 速くなった理由、遅くなった理由、変わらなかった理由を記録する。

実験ログテンプレート

experiment_id:
date:
target:
baseline_command:
changed_setting:
nodes:
cpus:
gpus:
input_size:
profiling_tool:
wall_time:
cpu_summary:
gpu_summary:
memory_summary:
communication_summary:
io_summary:
bottleneck_hypothesis:
result:
next_action:

参考文献

• Linux perf tools documentation
• Intel VTune Profiler Documentation
• NVIDIA Nsight Systems User Guide
• NVIDIA nvidia-smi Documentation
• NVIDIA NCCL Documentation
• Open MPI Profiling Interface