ビジョン・プロセシング・ユニット (VPU) でのモデルロード時間を短縮するクイック手順
- ビジョン・プロセシング・ユニット (VPU) にモデルをロードする時間は、CPU にモデルをロードする時間よりも長くなります。
- Python API を使用したコード: net = ie.read_network(model=path_to_xml, weights=path_to_bin) exec_net = ie.load_network(network=net, device_name="CPU") res = exec_net.infer(inputs=data)
読み込み時間を短縮するには、解析されたグラフである BLOB からモデルを 読み込み 、モデルの解析段階をバイパスします。
- 次のいずれかの方法を使用して、読み込む前に事前に BLOB ファイルを生成してください。
- コマンドラインで myriad_compile ツールを使用して BLOB を生成します。
- プリコンパイルされたツールは インテル® ディストリビューションの OpenVINO™ ツールキット で利用できます。オープンソースのOpenVINOツールキットリポジトリを複製してビルドすることもできます。
- 生成 Blob。
パス推論エンジン/bin/intel64/Release で、次のコマンドを実行します./myriad_compile -m <model_name>.xml -o <output filename>
- コマンドラインで myriad_compile ツールを使用して BLOB を生成します。
- 推論エンジン・コア API を使用して、コード内に BLOB をインポートします。 executable_network = ie.ImportNetwork(“model_name.blob”, device, config)
VPU にモデルを読み込む場合、次の 2 つの内部プロセスがあります。
- 解析グラフ
- グラフの割り当て
ロードプロセス中に、解析されたVPUグラフは、ホストからxlinkによって段階的にハードウェアに送信されます。
BLOB からモデルを読み込むと、一部のモデルでは時間を大幅に短縮できますが、すべてのモデルで機能するとは限りません。
モデルサイズに加えて、読み込み時間はレイヤータイプ、入力データサイズなどによって異なります。
HDDL プラグインは、BLOB からモデルを読み込む際に MYRIAD プラグインよりも効率的です。
インテル® ニューラル・コンピュート・スティック 2で MYRIAD プラグインの代わりに HDDL プラグインを有効にするには、次の手順に従います。
- autoboot_settings:abort_if_hw_reset_failed to false in $HDDL_INSTALL_DIR/config/hddl_autoboot.config.を設定
- autoboot_settings:total_device_num to 1.を設定
- hddldaemon.を開始