INT8 モデルの中間表現 (IR) への変換
コンテンツタイプ: トラブルシューティング | 記事 ID: 000058759 | 最終改訂日: 2022/09/06
Low Precision Optimization Guide の最後の段落では、量子化対応トレーニングについて説明します。これにより、ユーザーはIRに変換できる正確に最適化されたモデルを取得することができます。ただし、その他の詳細は提供しません。
量子化認識トレーニングは、OpenVINO™互換性のあるトレーニング・フレームワークを使用して、 TensorFlow QAT または PyTorch NNCF で記述されたモデルを最適化拡張機能でサポートします。
NNCF は、PyTorch ベースのフレームワークで、さまざまなユースケース向けの幅広いディープラーニング・モデルをサポートしています。また、さまざまな量子化モードと設定をサポートする量子化対応トレーニングを実装し、量子化、二次元化、スパーティー、フィルタープルーニングなど、さまざまな圧縮アルゴリズムをサポートします。
微調整が完了すると、正確に最適化されたモデルを ONNX 形式でエクスポートし、モデル・オプティマイザーが中間表現 (IR) ファイルを生成し、その後OpenVINO™推論エンジンで推論することができます。