PCI Expressのマルチチャネル DMA インテル® FPGA IPユーザー ガイド

ダウンロード PDF
ID 683821
日付 4/20/2022
Public
ドキュメント目次
ドキュメント目次 x
1. 始める前に 2. はじめに 3. 機能の説明 4. ASインターフェイスの概要 5. パラメーター (H タイル) 6. パラメーター (P タイルと F タイル) 7. IP コアを使用したデザイン 8. ソフトウェア・プログラミング・モデル 9. レジスター 10. トラブルシューティング/デバッグ 11. Fタイル Avalon ストリーミング・インテル FPGA IP for PCI Expressユーザーガイドのアーカイブ 12. マルチチャネル DMA インテル FPGA IP for PCI Express ユーザーガイドの改訂履歴
1. 始める前に x
1.1. 用語と頭字語 1.2. 既知の問題
2. はじめに x
2.1. PCI Express 機能用のマルチチャネル DMA IP 2.2. デバイス・ファミリー・サポート 2.3. 推奨されるスピード・グレード 2.4. リソース使用率 2.5. リリース情報
2.1. PCI Express 機能用のマルチチャネル DMA IP x
2.1.1. Endpoint モード 2.1.2. Root Portモード
3. 機能の説明 x
3.1. マルチ・チャネルDMA 3.2. バーストAvalon Master (BAM) BAR 3.3. バースト Avalon-MM スレーブ (BAS) 3.4. コンフィギュレーション・スレーブ 3.5. ハード IPリコンフィグレーションのインターフェイス 3.6. コンフィグレーション TL インターフェイス 3.7. コンフィグレーション・インターセプト・インターフェイス (EP のみ) 3.8. Data Mover Only
3.1. マルチ・チャネルDMA x
3.1.1. 書き込みデータムーバー 3.1.2. D2Hデータムーバー 3.1.3. ディスクリプター 3.1.4. Avalon-MMトライステート・マスター 3.1.5. Avalon-MM 書き込み (H2D) および読み出し (D2H) マスター 3.1.6. Avalon-ST ソース (H2D) およびシンク (D2H) 3.1.7. MSI-Xの実装 3.1.8. ユーザーのFunctional Level Reset (FLR) 3.1.9. コントロール・レジスター
3.1.2. D2Hデータムーバー x
3.1.2.1. D2H ディスクリプター・フェッチ
3.1.3. ディスクリプター x
3.1.3.1. メタデータのサポート 3.1.3.2. MSI-Xの機能
3.1.6. Avalon-ST ソース (H2D) およびシンク (D2H) x
3.1.6.1. Avalon-ST 4 ポートモード 3.1.6.2. Avalon-ST 1 ポートモード 3.1.6.3. パケット（ファイル）境界 3.1.6.4. メタデータ
3.8. Data Mover Only x
3.8.1. 書き込みデータムーバー 3.8.2. 書き込みデータムーバー 3.8.3. アプリケーション固有のビット
3.8.1. 書き込みデータムーバー x
3.8.1.1. H2D ディスクリプター形式 (h2ddm_desc) 3.8.1.2. H2D ディスクリプター補完パケット形式 (h2ddm_desc_cmpl) 3.8.1.3. H2D ディスクリプター・ステータス (h2ddm_desc_status)
3.8.2. 書き込みデータムーバー x
3.8.2.1. D2H ディスクリプター形式 (d2hdm_desc) 3.8.2.2. D2H ディスクリプター・ステータス (d2hdm_desc_status)
4. ASインターフェイスの概要 x
4.1. ポートリスト 4.2. クロック 4.3. リセット 4.4. マルチ・チャネルDMA 4.5. バーストAvalon Master (BAM) インターフェイズ 4.6. バースト Avalon-MM スレーブ (BAS) インターフェイス 4.7. Config Slaveのインターフェイス (RP のみ) 4.8. ハードIPリコンフィグレーション・インターフェイス 4.9. Config TLのインターフェイス 4.10. Configuration Interceptのインターフェイス (EP のみ) 4.11. ユーザーのFunctional Level Reset (FLR) 4.12. ユーザー イベント MSI-X 要求インターフェイス 4.13. データ・ムーバー・インターフェイス 4.14. ハードIPステータス・インターフェイス
4.1. ポートリスト x
4.1.1. ポートリスト (H タイル) 4.1.2. ポートリスト (P タイルおよび F タイル)
4.4. マルチ・チャネルDMA x
4.4.1. Avalon-MM PIOマスター 4.4.2. Avalon-MMライト・マスター(H2D) 4.4.3. Avalon-MM リードマスター (D2H) 4.4.4. Avalon-STソース(H2D) 4.4.5. Avalon-STシンク(D2H) 4.4.6. ユーザーMSIインターフェイス 4.4.7. ユーザーFLRインターフェイス
4.13. データ・ムーバー・インターフェイス x
4.13.1. H2D データ・ムーバー・インターフェイス 4.13.2. D2H Data Moverのインターフェイス
5. パラメーター (H タイル) x
5.1. IPの設定 5.2. デザイン例
5.1. IPの設定 x
5.1.1. システムの設定 5.1.2. MCDMAの設定 5.1.3. デバイス識別レジスター 5.1.4. マルチファンクションとSR-IOVのシステム設定パラメーター【エンドポイントのモード】 5.1.5. Configuration, Debug and Extension Options 5.1.6. PHY特性 5.1.7. PCI Express/PCI* の機能パラメーター
5.1.7. PCI Express/PCI* の機能パラメーター x
5.1.7.1. デバイス 5.1.7.2. リンク 5.1.7.3. MSI-X 5.1.7.4. パワー・マネジメント 5.1.7.5. Vendor Specific Extended Capability (VSEC)
6. パラメーター (P タイルと F タイル) x
6.1. IP設定 6.2. PCIe0の設定 6.3. デザイン例
6.1. IP設定 x
6.1.1. デバッグ・レベルの設定
6.2. PCIe0の設定 x
6.2.1. ベース・アドレス・レジスター 6.2.2. PCIe0のコンフィグレーション、デバッグ、および拡張オプション 6.2.3. デバイス識別レジスター 6.2.4. PCIe0 PCI Express / PCI 機能パラメーター 6.2.5. MCDMA 設定
6.2.3. デバイス識別レジスター x
6.2.3.1. PCIe0/PF0、R24C 6.2.3.2. PCIe0 PF0 VF ID
6.2.4. PCIe0 PCI Express / PCI 機能パラメーター x
6.2.4.1. PCIe0デバイス 6.2.4.2. PCIe0 リンク 6.2.4.3. MSI-Xの実装 6.2.4.4. PCIe0 DEV SER 6.2.4.5. PCIe0 PRS 6.2.4.6. PCIe0 ACS 機能 6.2.4.7. PCIe0 ATS 6.2.4.8. PCIe0 TPH
6.2.4.6. PCIe0 ACS 機能 x
6.2.4.6.1. 物理機能用 PCIe0 ACS 6.2.4.6.2. 仮想機能用 PCIe0 ACS
6.2.4.7. PCIe0 ATS x
6.2.4.7.1. 物理機能用 PCIe0 ATS 6.2.4.7.2. 仮想機能用 PCIe0 ATS
6.2.4.8. PCIe0 TPH x
6.2.4.8.1. 物理機能用 PCIe0 TPH 6.2.4.8.2. 仮想機能用の PCIe0 TPH
7. IP コアを使用したデザイン x
7.1. IPコアから 7.2. IPテストベンチのシミュレーション 7.3. IPコアの生成された出力 (インテルQuartus Primeプロ・エディション) 7.4. システムの統合と実装
7.4. システムの統合と実装 x
7.4.1. 必要なサポート IP
8. ソフトウェア・プログラミング・モデル x
8.1. マルチチャネル DMA IP カスタムドライバー 8.2. マルチチャネル DMA IP DPDK ポーリング・モード・ベースのドライバー 8.3. マルチチャネル DMA IP カーネルモードのキャラクター・デバイス・ドライバー 8.4. マルチチャネル DMA IP カーネル・モード・ネットワークのデバイス ドライバー
8.1. マルチチャネル DMA IP カスタムドライバー x
8.1.1. アーキテクチャー vfio-pci ifc_uio libmqdma サンプル・アプリケーション 8.1.2. libmqdma ライブラリーの詳細 8.1.3. 適用 8.1.4. デザインのソフトウェア・フロー 8.1.5. API フロー 8.1.6. libmqdma ライブラリーAPI リスト 8.1.7. リクエスト構造
8.1.2. libmqdma ライブラリーの詳細 x
8.1.2.1. チャネルの初期化 8.1.2.2. ディスクリプター・メモリー管理 8.1.2.3. ディスクリプターの完了ステータスの更新
8.1.5. API フロー x
8.1.5.1. 単一ディスクリプターのロードと送信 8.1.5.2. 複数のディスクリプターのロードと送信
8.1.6. libmqdma ライブラリーAPI リスト x
8.1.6.1. ifc_api_start 8.1.6.2. ifc_mcdma_port_by_name 8.1.6.3. ifc_qdma_device_get 8.1.6.4. ifc_num_channels_get 8.1.6.5. ifc_qdma_channel_get 8.1.6.6. ifc_qdma_acquire_channels 8.1.6.7. ifc_qdma_release_all_channels 8.1.6.8. ifc_qdma_device_put 8.1.6.9. ifc_qdma_channel_put 8.1.6.10. ifc_qdma_completion_poll 8.1.6.11. ifc_qdma_request_start 8.1.6.12. ifc_qdma_request_prepare 8.1.6.13. ifc_qdma_descq_queue_batch_load 8.1.6.14. ifc_qdma_request_submit 8.1.6.15. ifc_qdma_pio_read32 8.1.6.16. ifc_qdma_pio_write32 8.1.6.17. ifc_qdma_pio_read64 8.1.6.18. ifc_qdma_pio_write64 8.1.6.19. ifc_qdma_pio_read128 8.1.6.20. ifc_qdma_pio_write128 8.1.6.21. ifc_qdma_pio_read256 8.1.6.22. ifc_qdma_pio_write256 8.1.6.23. ifc_request_malloc 8.1.6.24. ifc_request_free 8.1.6.25. ifc_app_stop 8.1.6.26. ifc_qdma_poll_init 8.1.6.27. ifc_qdma_poll_add 8.1.6.28. ifc_qdma_poll_wait 8.1.6.29. ifc_mcdma_port_by_name
8.2. マルチチャネル DMA IP DPDK ポーリング・モード・ベースのドライバー x
8.2.1. アーキテクチャー 8.2.2. MCDMA ポーリング・モード・ドライバー 8.2.3. DPDK ベースのアプリケーション 8.2.4. リクエスト構造 8.2.5. デザインのソフトウェア・フロー 8.2.6. APIフロー 8.2.7. API リスト
8.2.2. MCDMA ポーリング・モード・ドライバー x
8.2.2.1. 完了ステータスの更新 8.2.2.2. メタデータのサポート 8.2.2.3. User MSI-X
8.3. マルチチャネル DMA IP カーネルモードのキャラクター・デバイス・ドライバー x
8.3.1. アーキテクチャー 8.3.2. libmcmem ライブラリ情報 8.3.3. カーネルドライバー情報 8.3.4. Control Messageの構造 8.3.5. ソフトウェア・フロー 8.3.6. API フロー 8.3.7. API リスト
8.3.3. カーネルドライバー情報 x
8.3.3.1. デバイス管理 8.3.3.2. チャネル管理 8.3.3.3. 完了管理
8.3.3.3. 完了管理 x
8.3.3.3.1. Interrupt Mode 8.3.3.3.2. Poll Mode
8.4. マルチチャネル DMA IP カーネル・モード・ネットワークのデバイス ドライバー x
8.4.1. アーキテクチャー 8.4.2. ドライバー情報 8.4.3. デザインのソフトウェア・フロー
8.4.2. ドライバー情報 x
8.4.2.1. 端末管理 8.4.2.2. チャネル管理 8.4.2.3. ディスクリプター・メモリー管理 8.4.2.4. 完了管理 8.4.2.5. ethtool のサポート 8.4.2.6. debugfs のサポート 8.4.2.7. SRIOVのサポート
8.4.3. デザインのソフトウェア・フロー x
8.4.3.1. ホストからデバイスへのフロー 8.4.3.2. デバイスからホストへのフロー
9. レジスター x
9.1. キュー・コントロール (QCSR) 9.2. MSI-X メモリースペース 9.3. Control Register (GCSR)
10. トラブルシューティング/デバッグ x
10.1. デバッグ・ツールキット
10.1. デバッグ・ツールキット x
10.1.1. 概要 10.1.2. P タイルのデバッグ・ツールキットの有効化 10.1.3. P タイル デバッグ・ツールキットの起動 10.1.4. P タイル デバッグ・ツールキットの使用
10.1.4. P タイル デバッグ・ツールキットの使用 x
10.1.4.1. メインビュー 10.1.4.2. ツールキット・パラメーター 10.1.4.3. チャネル・パラメーター 10.1.4.4. Eye Viewer
1. 始める前に
2. はじめに
3. 機能の説明
4. ASインターフェイスの概要
5. パラメーター (H タイル)
6. パラメーター (P タイルと F タイル)
7. IP コアを使用したデザイン
8. ソフトウェア・プログラミング・モデル
9. レジスター
10. トラブルシューティング/デバッグ
11. Fタイル Avalon ストリーミング・インテル FPGA IP for PCI Expressユーザーガイドのアーカイブ
12. マルチチャネル DMA インテル FPGA IP for PCI Express ユーザーガイドの改訂履歴

8.1.1. アーキテクチャー

次の図は、MCDMA カスタムドライバーのソフトウェア・アーキテクチャー・ブロック図を示しています。

図 34. ブロック レベルのソフトウェア・アーキテクチャー

上記のブロック図で、点線はメモリーマップド I/O インターフェイスを表します。他の 2 行は、デバイスによってトリガーされる読み出し操作と書き込み操作を表します。

PCI Express 用のマルチチャネル DMA IP は、次のカーネルベースのモジュールをサポートして、デバイスをユーザー空間に公開します。
  • vfio-pci
  • UIO

これらのドライバーは、デバイス管理を実行せず、オペレーティング・システム (OS) に対して、デバイスがユーザー空間によって使用されていることを示し、OS がこれらのデバイスに対してアクション (デバイスのスキャンなど) を実行しないようにします。

vfio-pci

これは、カーネル配布によって提供されるセキュア カーネルモジュールです。このモジュールを使用すると、I/O メモリー管理ユニット (IOMMU) をプログラムできます。 IOMMU は、ユーザー空間ドライバーでメモリーの安全性を確保するのに役立つハードウェアです。場合によっては、Single Root I/O Virtualization (SR-IOV) を使用している場合は、vfio-pci をロードしてデバイスをバインドできます。

  • このモジュールは、IOMMU プログラミングと機能レベル リセット (FLR) を有効にします。
  • デバイスのベース・アドレス・レジスター (BAR) をユーザー空間に公開するために、vfio-pci は ioctl を有効にします。
  • MSI-X (Message Signal Interrupts extensions) 割り込みをサポートします。
  • カーネルバージョン >= 5.7 では、sysfs インターフェイスを使用した仮想機能の有効化がサポートされています。
5.7 より前のカーネルバージョンを使用している場合は、次の代替手段があります。
  • VF の有効化をサポートする ifc_uio を使用します。
  • カーネルにパッチを適用して、sysfs を使用して仮想機能を有効にします。カーネルの再構築が必要です。

ifc_uio

これは、IOMMU を使用しない vfio-pci の代替ドライバーです。

PCIe、sysfs、割り込みフレームワーク ユーティリティを使用することにより、このモジュールはユーザー空間がデバイスにアクセスできるように読み出します。

vfio-pci と同様に、このモジュールもゲスト VM からハイパーバイザー経由で使用できます。このドライバーにより、仮想機能の有効化/無効化が可能になります。仮想関数が作成されると、デフォルトで ifc_uio にバインドされます。要件に基づいて、バインドを解除して別のドライバーにバインドすることができます。

このモジュールを使用してサポートされる機能は次のとおりです。
  • sysfs インターフェイスを使用して、仮想機能の有効化/無効化を許可します。
  • チャネル BAR を調査して libmqdma にエクスポートします。
  • 割り込み通知/クリアをサポートします。

libmqdma

これは、アプリケーションが PCIe デバイスにアクセスするために使用するユーザー空間ライブラリです。
  • このライブラリーには、MCDMA IP デザインにアクセスするための API が含まれており、この API を使用してアプリケーションを開発できます。
  • チャネルの割り当て、解放、リセットの呼び出しを特徴としています。
  • libmqdma は、UIO または仮想機能 I/O (VFIO ) によってバインドされたデバイスへのアクセスをサポートしています。
libmqdma は、2 つのユーザー空間ドライバーをサポートします。
  • uio
  • vfio-pci

これらのオプションは、make ファイルから調整できます。

UIO の場合、ifc_uio ドライバーは、sysfs を使用して BAR レジスター情報を読み出し、eventfds を使用して MSI-X 情報をレジスターします。

VFIO の場合、ユーザー空間は IOCTL コマンドを使用して、BAR レジスター、MSIX 情報、および IOMMU テーブルのプログラミングを読み出します。

通常、アプリケーションが仮想化環境で実行されている場合、デバイスを vfio-pci モジュールにバインドすると、 libmqdma は ioctl を使用してデバイスにアクセスできます。現在、UIO と VFIO のサポートは、common.mk ファイルから切り替えることができます。UIO はデフォルトで有効になっています。

サンプル・アプリケーション

このアプリケーションは、libmqdma の API を使用し、次のコマンドライン引数を入力として受け取ります。
  • メッセージの合計サイズ/時間
  • ディスクリプターあたりのパケットサイズ
  • 読み出し/書き込み
  • 完了報告方法
  • チャネル数

DMA チャネルにアクセスするために複数のスレッドを実行します。また、パフォーマンス測定機能も備えています。使用しているスレッドの数と処理しているチャネルの数に基づいて、スレッドでキューがスケジュールされます。

レベル 2 の表題