このドキュメントでは、メモリーIPインターフェイスを備えた PCI Express* Avalon^® Memory-Mapped ( Avalon^® -MM) ダイレクト・メモリー・アクセス (DMA) について説明しています。このリファレンス・デザインでは、2種類のメモリー・ソリューションである外部 (DDR4) メモリーおよびHBM2メモリーを備えた高性能DMAコントローラー、 Avalon^® -MM インテル^® Stratix^® 10 Hard IP+ for PCI Express* のパフォーマンスを紹介します。

リファレンス・デザインには、DMAサポート用のハイスループット・データムーバーを使用して、DMA転送をセットアップするLinux* ソフトウェア・ドライバーが含まれています。読み出しデータムーバーは、システムメモリーから Avalon^® -MMスペース内の外部メモリーまたはHBM2メモリーに、データを移動させます。書き込みデータムーバーは、アプリケーションのロジック内の外部メモリーまたはHBM2メモリーから PCIe* スペース内のシステムメモリーに、データを移動させます。このリファレンス・デザインを使用すると、 Avalon^® -MM インテル^® Stratix^® 10 Hard IP+ for PCI Express* のパフォーマンスの評価が可能となり、それには高性能DMAで異なるメモリーIPを備えたAvalon-MMインターフェイスを使用します。

ハードウェアの要件

ソフトウェアの要件

関連情報

Avalon-MM Intel Stratix 10 Hard IP+ for PCI Express Solutions User Guideを参照してください。

ホストで実行中のソフトウェアにより、次に示すステップが完了すると、DMAの開始および結果の確認が行われます。

DMA手順については、AN 829: PCI Express* Avalon^® -MM DMA Reference Designを参照してください。

DMAテストドライバーをインストールしてLinux DMAアプリケーションを実行する手順については、User Guide for the Avalon-MM Intel Stratix 10 Hard IP+ for PCI Express (Avalon-MM Stratix 10 Hard IP+ for PCI Express Solutions User Guide) 内の項2.6および2.7を参照してください。

図 2. リンクテストのGUI

図 3. リンクテストパスの結果

図 4. DMA GUI

このアプリケーション・ノートを構成しているリファレンス・デザインでは、外部DDR4およびHBM2メモリーを備えた Avalon^® -MM インテル^® Stratix^® 10 MX Hard IP+ DMAを使用しています。

PCIe Hard IPおよびメモリーのクロック・ドメイン・クロッシング

Gen3 x16 IPユーザー・インターフェイスは、250 MHzで512ビットです。250 MHzは、PCIe Hard IPによって生成される coreclkout_hip の周波数です。デザイン内のHBMコントローラーAXIインターフェイスは、300 MHzで256ビットです。HBMコントローラーのコアクロックはIOPLLによって生成されます。2つの Avalon^® -MMクロッククロッシング・ブリッジを使用して、クロック・クロッシングを処理します。

このデザイン内のDDR4 Controllerインターフェイスは、266.67 MHzで512ビットを使用します。2つの Avalon^® -MMクロッククロッシング・ブリッジは、クロック・クロッシングを処理するために使用されます。

バースト長の適応

Gen3 x16 IP書き込みデータムーバー (WRDM) および読み出しデータムーバー (RDDM) Avalon^® -MMインターフェイスは、バーストモードで読み出し/書き込みトランザクションを発行するバーストマスターです (サポートされる最大バーストカウントは8です)。しかし、HBM Controller AXI4スレーブでサポートするのは、シングル・バースト・トランスファー (バースト長1) のみです。これを解決するには、 Avalon^® -MMクロッククロッシング・ブリッジ内の最大バーストサイズを1に設定します。

AXI Masterインターフェイスのエクスポート

このデザインでは、AXIブリッジを使用して、Platform DesignerシステムからAXI Masterインターフェイスをエクスポートします。エクスポートしたAXI Masterインターフェイスは、HBMC AXIスレーブ・インターフェイスに外部接続します。

AXIブリッジの読み出し/書き込みアドレスにより、両方のHBMC AXIスレーブが駆動します。

AXIブリッジの読み出し/書き込み512ビットデータバスは、256ビットデータバス2つに分割されます。

AXIブリッジのリファレンス・デザインへの組み込み方法の図は、図 5を参照してください。

Read/Write Response FIFO深度の制御

AXI Bridge Read/Write Acceptance Capabilityパラメーターの設定により、altera_merlin_axi_slave_ni モジュール内のPlatform Designerで生成されたInterconnect Read/Write Response FIFO深度が決定します。Response FIFO深度は、 Avalon^® -MMトランザクション・パフォーマンスに影響します。

Read/Write Response FIFO深度が十分ではなく、FIFOが一杯になると、バックプレッシャーが発生し、スループットに影響します。

デフォルトのRead/Write Acceptance Capabilityパラメーター値は16に設定されています。 インテル^® Quartus^® Prime 19.1では、32までの設定が可能です。 このデザインの場合、Platform Designerによって生成されたRead/Write Response FIFO深度は、altera_merlin_axi_slave_ni モジュール内で、手動で64に設定されており、Gen3 x16のスループットをサポートします。

19.3 インテル^® Quartus^® Primeのリリースでは、AXIブリッジによってサポートされる最大値はより高いものになります。

このリファレンス・デザインは、512バイトの最大ペイロードサイズをサポートしています。次の表は、すべてのパラメーターの値の一覧です。

次の画像は、このリファレンス・デザイン用のPlatform Designerシステム内のモジュールを示しています。

図 7. 外部およびHBM2メモリーを備えた Avalon^® -MM インテル^® Stratix^® 10 Hard IP+ for PCI Express* の Platform Designerシステム

DMAテストドライバーをインストールしてLinux DMAアプリケーションを実行する手順については、 Avalon^® -MM インテル^® Stratix^® 10 Hard IP+ for PCI Express* ユーザーガイド (Avalon-MM Stratix 10 Hard IP+ for PCI Express Solutions User Guide) 内の項2.6および2.7を参照してください。

図 8. リンクテストのGUI

図 9. リンクテストパスの結果

図 10. DMA GUI

理論上の最大スループットの計算では、次の式を使用します。

Throughput  = payload size / (payload size + overhead) * link data rate

Device Control レジスターのビット [7:5] では、現在のシステムの最大TLPペイロードサイズを指定します。Device Capabilities レジスターのビット [2:0] の Maximum Payload Size フィールドでは、ペイロードの最大許容値を指定します。Maximum Payload Size と呼ばれるこの読み出し専用パラメーターの指定には、パラメーター・エディターを使用します。現在のシステムの最大TLPペイロードを決定した後、ソフトウェアではその値を Device Control レジスターに記録します。この値は、Device Capabilities レジスターの Maximum Payload Size フィールドで指定された最大ペイロードよりも小さくする必要があります。

PCI Expressの読み出しに使用するのは、分割トランザクション・モデルです。読み出しトランザクションに含まれる手順は次の通りです。

1. リクエスターは、Memory Read Requestを送信します。
2. コンプリーターは、ACK DLLPを送信して、Memory Read Requestを確認します。　
3. コンプリーターは、Completion with Dataを返します。コンプリーターは、そのCompletionを複数のコンプリーション・パケットに分割できます。

読み出しスループットは通常、書き込みスループットよりも低くなります。これは、読み出しではトランザクションが2回必要なためです。これに対して書き込みでは、データ量が同じ場合、1回です。読み出しスループットは、Application LayerがMemory Read Requestを発行してから、要求されたデータが返されるまでの往復遅延にも依存します。スループットを最大化するには、アプリケーションによって十分な未処理の読み出しリクエストを発行し、この遅延をカバーする必要があります。

コンプリーション・データ・パケットの最大スループットを維持するには、リクエスターは次の設定を最適化する必要があります。

• RXバッファー内のコンプリーションの数
• Application Layerによる読み出しリクエストの発行および完了データの処理の割合

スループットの測定には、ソフトウェア・ドライバーは2つのタイムスタンプを取得します。./run コマンドを入力するとすぐに、ソフトウェアが最初のタイムスタンプを取得します。ソフトウェアは、DMAが完了すると、2番目のタイムスタンプを取得し、必要な完了ステータスである EPLAST を返します。読み出しDMA、書き込みDMA、および同時読み書きDMAがすべて有効な場合、ドライバーは6つのタイムスタンプを使用して測定を3回行います。