モデルの GPU への読み込み時間が CPU よりも長いのはなぜですか?
コンテンツタイプ: メンテナンス & パフォーマンス | 記事 ID: 000057525 | 最終改訂日: 2023/01/31
入力モデルの中間表現 (IR) を GPU に読み込むには、CPU に同じモデルを読み込むよりも長い時間がかかります。
アプリケーションの作業ディレクトリーに、cl_cache・ディレクトリーを手動で作成します。
ドライバーは、コンパイルされたカーネルのバイナリ表現を格納するために、このディレクトリを使用します。これは、サポートされているすべての OS で動作します。
cl_cacheの管理に関する詳細については、この 記事を参照してください。
GPU スタックは OpenCL* をベースにしているため、GPU に対する中間表現 (IR) 形式の入力モデルの読み込みは、同じモデルを CPU に読み込むよりも長くなります。読み込み時間は、OpenCL* カーネルのコンパイル時間によって異なります。
cl_cacheを有効にすると、OpenCL* カーネルがコンパイルされるため、初めてモデルを読み込むには時間がかかります。ただし、同じモデルの後続の読み込みはそれぞれはるかに速くなります。