モデルの最適化とデバッグ
プロファイリングと最適化は、力を合わせてモデルを単に動作するだけのものから高効率かつ高パフォーマンスなものへと変革する重要なタスクです。開始するには、パフォーマンス最適化ガイドのチェック項目に従ってください。
モデルの最適化は、3 つの主要なカテゴリーに分類されます。
- 初期モデルの移植は、GPU 移行を実行することで、モデルがインテル® Gaudi® プロセッサーで機能することを保証します。トレーニングまたは推論ページの始め方のインストラクションをご覧ください。
- モデルの最適化には、パフォーマンスの一般的な強化が含まれ、ほとんどのモデルに適用されます。これには、動的形状を管理し、トレーニングまたは推論に HPU_graphs を使用することが含まれます。
- プロファイリングでは、ホスト CPU またはインテル® Gaudi® プロセッサーのボトルネックを特定できます。表 1 に概説する手順に従って、まずインテル® Gaudi® プラットフォームで TensorBoard* ツールキットを使用し、問題となっている項目を特定します。
表 1.モデルを最適化するためのタスク、アクティビティー、結果
| すべきこと | 何が起こるか |
詳しく知るには |
|---|---|---|
| 1.TensorBoard を使用して PyTorch* プロファイリングを実行 | インテル® Gaudi® アクセラレーターに固有の TensorBoard を使用してパフォーマンスに関する推奨設定を取得 | PyTorch によるプロファイル |
| 2.PT_HPU_METRICS_FILE をレビュー | ランタイム中に過剰な再コンパイルを検出 | HPU 指標レビューを設定 |
| 3.インテル® Gaudi® アクセラレーターのためのトレースビューアーを使用したプロファイル | アクセラレーター固有の Perfetto トレースビューアーを使用した、CPU とアクセラレーターのアクティビティーに関する詳細な分析 | インテル® Gaudi® ソフトウェアでプロファイリングを開始する |
| 4.モデルロギングを実行 | デバッグと分析のためのロギングを設定する ENABLE_CONSOLE を設定 | ランタイム環境変数 |
モデルのパフォーマンスを最大限に高める
トレーニングのドキュメント内では、Habana® Labs および Habana® Gaudi® という名称とブランドは、より正確な言及を行うため改訂後の製品名であるインテル® Gaudi® AI アクセラレーターに置き換えられます。このトレーニングを通じて、Habana に対するいかなる言及も、インテル® Gaudi® AI アクセラレーターという製品に言及するものであるとご理解ください。