インテル® ニューラル・コンピュート・スティック 2によるヘテロジニアスプラグイン
ヘテロジニアス・プラグイン (ヘテロジニアス・プラグイン) は、複数のデバイスを使用して、1 つのネットワーク上でコンピューティング推論を可能にします。以下の目的で、ヘテロジニアス・モードでネットワークを実行できます。
- アクセラレーター上のネットワークの最も負荷の高い部分の計算など、アクセラレーターの力を活用し、CPU などのフォールバックデバイスでサポートされていないレイヤーを実行します。
- 1 回の推論で利用可能なすべてのハードウェアをより効率的に活用します。
ヘテロジニアスプラグインを使用し、OpenVINOのベンチマーク・アプリケーションを使用してインテル® ニューラル・コンピュート・スティック 2で推論を実行するには、以下の™手順に従ってください。
- inference_engine/samples・ディレクトリーにあるbuildsamples.sh (Linux 向け) または build_samples_msvc.bat (Windows 用) を実行して、C++ サンプルをビルドします。
- benchmark_appを使用して、使用したいデバイスでヘテロプラグインをテストおよび設定します。例えば、 -d HETERO:GPU,CPU を実行すると GPU が優先され、CPU はフォールバックデバイスになります。
ヘテロジニアス・プラグインとOpenVINO・ツールキット の詳細をご覧ください。