ビジョン・プロセシング・ユニット (VPU) へのモデルの読み込みは、CPU への読み込みよりも時間がかかる場合があります

• ビジョン・プロセシング・ユニット (VPU) にモデルをロードする時間は、CPU にモデルをロードする時間よりも長くなります。
• Python API を使用したコード: net = ie.read_network(model=path_to_xml, weights=path_to_bin) exec_net = ie.load_network(network=net, device_name="CPU") res = exec_net.infer(inputs=data)

読み込み時間を短縮するには、解析されたグラフである BLOB からモデルを 読み込み 、モデルの解析段階をバイパスします。

1. 次のいずれかの方法を使用して、読み込む前に事前に BLOB ファイルを生成してください。
   • コマンドラインで myriad_compile ツールを使用して BLOB を生成します。
     1. プリコンパイルされたツールは インテル® ディストリビューションの OpenVINO™ ツールキット で利用できます。オープンソースのOpenVINOツールキットリポジトリを複製してビルドすることもできます。
     2. 生成する ブロッブ。
        パス推論エンジン/bin/intel64/Release で、次のコマンドを実行します./myriad_compile -m <model_name>.xml -o <output filename>
2. 推論エンジン・コア API を使用してコード内にブロブをインポートします: executable_network = ie.ImportNetwork(“model_name.blob”, device, config)

VPU にモデルを読み込む場合、次の 2 つの内部プロセスがあります。

1. 解析グラフ
2. グラフの割り当て

ロードプロセス中に、解析されたVPUグラフは、ホストからxlinkによって段階的にハードウェアに送信されます。

BLOB からモデルを読み込むと、一部のモデルでは時間を大幅に短縮できますが、すべてのモデルで機能するとは限りません。

モデルサイズに加えて、読み込み時間はレイヤータイプ、入力データサイズなどによって異なります。

HDDL プラグインは、BLOB からモデルを読み込む際に MYRIAD プラグインよりも効率的です。

インテル® ニューラル・コンピュート・スティック 2で MYRIAD プラグインの代わりに HDDL プラグインを有効にするには、次の手順に従います。

1. autoboot_settings:abort_if_hw_reset_failed to false in $HDDL_INSTALL_DIR/config/hddl_autoboot.config.を設定
2. autoboot_settings:total_device_num to 1.を設定
3. hddldaemon.を開始