概要
GPU のモデル読み込み時間を改善するクイックステップ
詳細
入力モデルの中間表現 (IR) を GPU に読み込むには、CPU に同じモデルを読み込むよりも長い時間がかかります。
解決方法
アプリケーションの作業ディレクトリーに、cl_cache・ディレクトリーを手動で作成します。
ドライバーは、コンパイルされたカーネルのバイナリ表現を格納するために、このディレクトリを使用します。これは、サポートされているすべての OS で動作します。
追加情報
cl_cacheの管理に関する詳細については、この 記事を参照してください。
GPU スタックは OpenCL* をベースにしているため、GPU に対する中間表現 (IR) 形式の入力モデルの読み込みは、同じモデルを CPU に読み込むよりも長くなります。読み込み時間は、OpenCL* カーネルのコンパイル時間によって異なります。
cl_cacheを有効にすると、OpenCL* カーネルがコンパイルされるため、初めてモデルを読み込むには時間がかかります。ただし、同じモデルの後続の読み込みはそれぞれはるかに速くなります。