CPU と比較して、インテル® ニューラル・コンピュート・スティック 2 (インテル® NCS2) での推論パフォーマンスが遅い

• ランダム入力を生成して インテル® Core™ i7-m model.xml を指定して benchmark_app.py を実行するために使用されたプロセッサー
• NCS2 のパフォーマンスは CPU よりも遅いです。

  NCS2 の場合:
  [ INFO ] First inference took 33.88 ms
  [Step 11/11] Dumping statistics report
  Count: 2596 iterations
  Duration: 60141.63 ms
  Latency: 92.60 ms
  Throughput: 5525.09 FPS

  CPU の場合:
  [ INFO ] First inference took 17.07 ms
  [Step 11/11] Dumping statistics report
  Count: 148124 iterations
  Duration: 60001.79 ms
  Latency: 1.61 ms
  Throughput: 315988.43 FPS

CPUの計算能力が高いため、CPUのパフォーマンスはインテル® NCS2と比較して優れていると予想されます。

インテル® NCS2は、特に追加の計算能力が必要な場合に、特定の状況で役立つアクセラレータデバイスです。

さらに、CPUにはFP32モデルフォーマットが必要ですが、インテル® NCS2にはFP16モデルフォーマットが必要です。FP16は、完全精度モデルから絞り込んで小さくするため、量子化誤差が生じる可能性があります。これは、精度とパフォーマンスに影響します。

パフォーマンスとは、レイテンシーとスループットという 2 つの主要な指標でモデルの導入速度を意味します。

OpenVINO™ では、パフォーマンスを向上させるための 2 つのアプローチがあります。

開発中: ポストトレーニング最適化ツール (POT)、ニューラルネットワーク圧縮フレームワーク (NNCF)、モデルオプティマイザー。

導入時: 推論パラメーターのチューニングとモデル実行の最適化。

両方のアプローチを組み合わせることが可能です。

OpenVINO™パフォーマンスベンチマークの結果

ディープラーニング・モデルには FP16、FP32、または int8 を選択

パフォーマンス最適化ガイド