PCI Express* 向けRタイル Avalon® StreamingインテルFPGA IPユーザーガイド

ダウンロード PDF
ID 683501
日付 10/07/2022
Public
ドキュメント目次
ドキュメント目次 x
1. PCI Express向けRタイル Avalon® Streamingインテル FPGA IPについて 2. IPアーキテクチャーおよび機能の説明 3. 高度な機能 4. インターフェイス 5. パラメーター 6. トラブルシューティング/デバッグ 7. PCI Express* 向けRタイル Avalon® StreamingインテルFPGA IPユーザーガイドのアーカイブ 8. PCI Express向けRタイル Avalon® Streaming インテルFPGA IPユーザーガイドの文書改訂履歴 A. コンフィグレーション・スペース・レジスター B. ルートポートの列挙 C. エンドポイント・モードでのアドレス変換サービス (ATS) の実装 D. TLPバイパスモードでのユーザー・アプリケーションへのパケット転送
1. PCI Express向けRタイル Avalon® Streamingインテル FPGA IPについて x
1.1. 概要 1.2. 機能 1.3. リリース情報 1.4. デバイスファミリーのサポート 1.5. パフォーマンスおよびリソース使用率 1.6. IPコアのサポートレベル
1.1. 概要 x
1.1.1. 規格および仕様の準拠
1.2. 機能 x
1.2.1. マルチ・ファンクションおよび仮想化機能
2. IPアーキテクチャーおよび機能の説明 x
2.1. 概要 2.2. Bias Temperature Instability (BTI) Protectionモード 2.3. PCIeハードIPモード 2.4. PIPE Directモード
2.3. PCIeハードIPモード x
2.3.1. クロック 2.3.2. リセット 2.3.3. PCI Expressプロトコルスタック
2.3.2. リセット x
2.3.2.1. 単一のPERST 2.3.2.2. 独立したPERST
2.3.2.2. 独立したPERST x
2.3.2.2.1. 独立したPERSTを使用する場合のREFCLKおよびPERSTのガイドライン
2.3.3. PCI Expressプロトコルスタック x
2.3.3.1. PMA/PCS 2.3.3.2. Data Link Layer Overview 2.3.3.3. トランザクション層の概要
2.3.3.3. トランザクション層の概要 x
2.3.3.3.1. Deferrable Memory Write (DMWr)
2.4. PIPE Directモード x
2.4.1. クロック 2.4.2. リセット 2.4.3. PIPE層
3. 高度な機能 x
3.1. PCIeポート分岐およびPHYチャネルマッピング 3.2. 仮想化サポート 3.3. TLPバイパスモード
3.2. 仮想化サポート x
3.2.1. SR-IOVのサポート 3.2.2. VirtIOのサポート
3.2.1. SR-IOVのサポート x
3.2.1.1. SR-IOVがサポートする機能のリスト 3.2.1.2. 実装 3.2.1.3. VFからPFへのマッピング 3.2.1.4. Function Level Reset (FLR)
3.2.1.2. 実装 x
3.2.1.2.1. VFエラー・フラグ・インターフェイス (x16/x8コアのみ)
3.2.2. VirtIOのサポート x
3.2.2.1. VirtIOでサポートされる機能の一覧 3.2.2.2. 概要 3.2.2.3. パラメーター 3.2.2.4. VirtIO PCIコンフィグレーション・アクセス・インターフェイス 3.2.2.5. レジスター
3.2.2.5. レジスター x
3.2.2.5.1. VirtIO Common Configuration Capability Register (アドレス: 0x012) 3.2.2.5.2. VirtIO Common Configuration BAR Indicator Register (アドレス: 0x013) 3.2.2.5.3. VirtIO Common Configuration BAR Offset Register (アドレス: 0x014) 3.2.2.5.4. VirtIO Common Configuration Structure Length Register (アドレス: 0x015) 3.2.2.5.5. VirtIO Notifications Capability Register (アドレス: 0x016) 3.2.2.5.6. VirtIO Notifications BAR Indicator Register (アドレス: 0x017) 3.2.2.5.7. VirtIO Notifications BAR Offset Register (アドレス: 0x018) 3.2.2.5.8. VirtIO Notifications Structure Length Register (アドレス: 0x019) 3.2.2.5.9. VirtIO Notifications Notify Off Multiplier Register (アドレス: 0x01A) 3.2.2.5.10. VirtIO ISR Status Capability Register Register (アドレス: 0x02F) 3.2.2.5.11. VirtIO ISR Status BAR Indicator Register (アドレス: 0x030) 3.2.2.5.12. VirtIO ISR Status BAR Offset Register (アドレス: 0x031) 3.2.2.5.13. VirtIO ISR Status Structure Length Register (アドレス: 0x032) 3.2.2.5.14. VirtIO Device Specific Capability Register (アドレス: 0x033) 3.2.2.5.15. VirtIO Device Specific BAR Indicator Register (アドレス: 0x034) 3.2.2.5.16. VirtIO Device Specific BAR Offset Register (アドレス0x035) 3.2.2.5.17. VirtIO Device Specific Structure Length Register (アドレス: 0x036) 3.2.2.5.18. VirtIO PCI Configuration Access Capability Register (アドレス: 0x037) 3.2.2.5.19. VirtIO PCI Configuration Access BAR Indicator Register (アドレス: 0x038) 3.2.2.5.20. VirtIO PCI Configuration Access BAR Offset Register (アドレス: 0x039) 3.2.2.5.21. VirtIO PCI Configuration Access Structure Length Register (アドレス: 0x03A) 3.2.2.5.22. VirtIO PCI Configuration Access Data Register (アドレス: 0x03B)
3.3. TLPバイパスモード x
3.3.1. 概要 3.3.2. TLPバイパスモードのレジスター設定 3.3.3. ハードIPリコンフィグレーション・インターフェイス 3.3.4. Avalon® Streamingインターフェイス
3.3.2. TLPバイパスモードのレジスター設定 x
3.3.2.1. TLPBYPASS_ERR_EN (アドレス0x1314) 3.3.2.2. TLPBYPASS_ERR_STATUS (アドレス0x1310)
3.3.4. Avalon® Streamingインターフェイス x
3.3.4.1. コンフィグレーションTLP 3.3.4.2. 送信インターフェイス 3.3.4.3. 受信インターフェイス 3.3.4.4. 不正な形式のTLP 3.3.4.5. ECRC
4. インターフェイス x
4.1. クロックおよびリセット 4.2. シリアル・データ・インターフェイス 4.3. PCI Expressモード 4.4. PIPE Directモード
4.1. クロックおよびリセット x
4.1.1. クロック 4.1.2. リセット
4.3. PCI Expressモード x
4.3.1. Avalon® Streamingインターフェイス 4.3.2. 精密時間測定インターフェイス (エンドポイントのみ) 4.3.3. 割り込みインターフェイス 4.3.4. ハードIPリコンフィグレーション・インターフェイス 4.3.5. エラー・インターフェイス 4.3.6. コンプリーション・タイムアウト・インターフェイス 4.3.7. コンフィグレーション・インターセプト・インターフェイス 4.3.8. パワー・マネジメント・インターフェイス 4.3.9. ハードIPステータス・インターフェイス 4.3.10. ページ・リクエスト・サービス (PRS) インターフェイス (エンドポイントのみ) 4.3.11. ファンクション・レベル・リセット (FLR) インターフェイス (エンドポイントのみ) 4.3.12. SR-IOV VFエラー・フラグ・インターフェイス (エンドポイントのみ) 4.3.13. 汎用VSECインターフェイス
4.3.1. Avalon® Streamingインターフェイス x
4.3.1.1. Avalon® Streaming RXおよびTXインターフェイスのTLPヘッダーとデータ・アライメント 4.3.1.2. クレジット・コントロール 4.3.1.3. Avalon® Streaming RXインターフェイス 4.3.1.4. Avalon® Streaming TXインターフェイス 4.3.1.5. タグの割り当て
4.3.1.2. クレジット・コントロール x
4.3.1.2.1. クレジット・インターフェイス: データとヘッダー 4.3.1.2.2. クレジットの初期化 4.3.1.2.3. クレジット更新/リリース 4.3.1.2.4. RXフロー・コントロール・インターフェイス 4.3.1.2.5. TXフロー・コントロール・インターフェイス
4.3.1.4. Avalon® Streaming TXインターフェイス x
4.3.1.4.1. Avalon® Streaming TXインターフェイスの pX_tx_st_ready_o のビヘイビア
4.3.1.5. タグの割り当て x
4.3.1.5.1. コンプリーション・バッファーのサイズ
4.3.3. 割り込みインターフェイス x
4.3.3.1. レガシー割り込み 4.3.3.2. MSI 4.3.3.3. MSI-X
4.3.3.3. MSI-X x
4.3.3.3.1. MSI-X割り込みの実装
4.3.8. パワー・マネジメント・インターフェイス x
4.3.8.1. D3Hotの開始 4.3.8.2. D3Hotの終了 4.3.8.3. D3Coldの開始 4.3.8.4. D3Coldの終了
4.3.8.2. D3Hotの終了 x
4.3.8.2.1. ホストによって開始されたD3Hotの終了 4.3.8.2.2. EPによって開始されたD3Hotの終了
4.4. PIPE Directモード x
4.4.1. データ信号 4.4.2. コマンドおよびステータス信号 4.4.3. メッセージバス信号 4.4.4. デスキュー信号 4.4.5. PIPE Directのリセットシーケンス 4.4.6. PIPE Directの速度変更 4.4.7. PIPEレーンのリセット・スタガリング 4.4.8. PIPE Directモードでの未使用レーン
4.4.1. データ信号 x
4.4.1.1. 送信信号 4.4.1.2. 受信信号
4.4.4. デスキュー信号 x
4.4.4.1. MAC to PHY (M2P) 信号 4.4.4.2. PHY to MAC (P2M) 信号
5. パラメーター x
5.1. トップレベルの設定 5.2. コア・パラメーター
5.2. コア・パラメーター x
5.2.1. Avalonのパラメーター 5.2.2. ベース・アドレス・レジスター 5.2.3. PCI Express / PCI Capabilitiesのパラメーター
5.2.3. PCI Express / PCI Capabilitiesのパラメーター x
5.2.3.1. Deviceの機能 5.2.3.2. VirtIOのパラメーター 5.2.3.3. Linkの機能 5.2.3.4. Legacy Interrupt Pin Register 5.2.3.5. MSI機能 5.2.3.6. MSI-Xの機能 5.2.3.7. Slotの機能 5.2.3.8. Latency Tolerance Reporting (LTR) 5.2.3.9. Process Address Space ID (PASID) 5.2.3.10. Device Serial Numberの機能 5.2.3.11. Page Request Service (PRS) 5.2.3.12. Access Control Service (ACS) 5.2.3.13. Power Management 5.2.3.14. Vendor Specific Extended Capability (VSEC) Register 5.2.3.15. TLP Processing Hints (TPH) 5.2.3.16. Address Translation Services (ATS) の機能 5.2.3.17. Precision Time Management (PTM)
6. トラブルシューティング/デバッグ x
6.1. ハードウェアのデバッグ 6.2. オペレーティング・システムのツールおよびユーティリティー 6.3. Signal Tap Logic Analyzer 6.4. ハードIPリコンフィグレーション・インターフェイスを使用したデバッグ 6.5. デバッグ・アクティビティーに使用できるその他のインターフェイス 6.6. デバッグ・ツールキット
6.1. ハードウェアのデバッグ x
6.1.1. リンク・トレーニングの問題のデバッグ 6.1.2. デバイス列挙の問題のデバッグ 6.1.3. データ転送とパフォーマンスの問題のデバッグ
6.1.3. データ転送とパフォーマンスの問題のデバッグ x
6.1.3.1. Advanced Error Reporting (AER)
6.2. オペレーティング・システムのツールおよびユーティリティー x
6.2.1. lspci ユーティリティーを使用したネゴシエーション済みのリンク速度の読み出し
6.4. ハードIPリコンフィグレーション・インターフェイスを使用したデバッグ x
6.4.1. ハードIPリコンフィグレーション・インターフェイスを使用したECRCおよびLCRCエラーカウントのイネーブルおよび読み出し
6.6. デバッグ・ツールキット x
6.6.1. 概要 6.6.2. RタイルDebug Toolkitのイネーブル 6.6.3. RタイルDebug Toolkitの起動 6.6.4. RタイルDebug Toolkitの使用
6.6.4. RタイルDebug Toolkitの使用 x
6.6.4.1. Rタイルの情報 6.6.4.2. イベントカウンター 6.6.4.3. コンフィグレーション・スペース
C. エンドポイント・モードでのアドレス変換サービス (ATS) の実装 x
C.1. 変換済み/未変換リクエストの送信 C.2. エンドポイント (EP) からルート・コンプレックス (RC) へのページ・リクエスト・メッセージの送信 C.3. リクエスト/コンプリーションの無効化
D. TLPバイパスモードでのユーザー・アプリケーションへのパケット転送 x
D.1. EP TLPバイパスモード (アップストリーム) D.2. RC TLPバイパスモード (ダウンストリーム)
1. PCI Express向けRタイル Avalon® Streamingインテル FPGA IPについて
2. IPアーキテクチャーおよび機能の説明
3. 高度な機能
4. インターフェイス
5. パラメーター
6. トラブルシューティング/デバッグ
7. PCI Express* 向けRタイル Avalon® StreamingインテルFPGA IPユーザーガイドのアーカイブ
8. PCI Express向けRタイル Avalon® Streaming インテルFPGA IPユーザーガイドの文書改訂履歴
A. コンフィグレーション・スペース・レジスター
B. ルートポートの列挙
C. エンドポイント・モードでのアドレス変換サービス (ATS) の実装
D. TLPバイパスモードでのユーザー・アプリケーションへのパケット転送

6.2.1. lspci ユーティリティーを使用したネゴシエーション済みのリンク速度の読み出し

PCIe向けRタイルAvalon-ST IPのネゴシエーション済みのリンク速度をホストシステムから読み出すには、次のコマンドを実行します。

sudo lspci -s $bdf -vvv

-s は「スロット」を指します。これは、バス、デバイス、ファンクション (bdf) 番号と共に使用します。

図 56. バス、デバイス、およびファンクション番号を使用した lspci 出力 
sudo lspci -s 98:00.0 -vvv
98:00.0 Unassigned class [ff00]: Altera Corporation Device 0000 (rev 01)
        Physical Slot: 28
        Control: I/O- Mem- BusMaster- SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR+ FastB2B- DisINTx-
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        NUMA node: 1
        Region 0: Memory at c9400000 (32-bit, non-prefetchable) [disabled] [size=64K]
        Capabilities: [40] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold-)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [70] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 512 bytes, PhantFunc 0, Latency L0s <64ns, L1 <1us
                        ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset- SlotPowerLimit 75.000W
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop+
                        MaxPayload 512 bytes, MaxReadReq 4096 bytes
                DevSta: CorrErr+ NonFatalErr- FatalErr- UnsupReq+ AuxPwr+ TransPend-
                LnkCap: Port #1, Speed 32GT/s, Width x16, ASPM not supported
                        ClockPM- Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- CommClk-
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 32GT/s (ok), Width x16 (ok)
                        TrErr- Train- SlotClk- DLActive- BWMgmt- ABWMgmt-
                DevCap2: Completion Timeout: Range ABCD, TimeoutDis+, NROPrPrP-, LTR+
                         10BitTagComp+, 10BitTagReq+, OBFF Not Supported, ExtFmt+, EETLPPrefix+, MaxEETLPPrefixes 1
                         EmergencyPowerReduction Not Supported, EmergencyPowerReductionInit-
                         FRS-, TPHComp+, ExtTPHComp-
                         AtomicOpsCap: 32bit+ 64bit+ 128bitCAS+
                DevCtl2: Completion Timeout: 260ms to 900ms, TimeoutDis-, LTR-, OBFF Disabled
                         AtomicOpsCtl: ReqEn+
                LnkCtl2: Target Link Speed: 32GT/s, EnterCompliance- SpeedDis-
                         Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance De-emphasis: -6dB
                LnkSta2: Current De-emphasis Level: -6dB, EqualizationComplete-, EqualizationPhase1-
                         EqualizationPhase2-, EqualizationPhase3-, LinkEqualizationRequest-
        Capabilities: [100 v2] Advanced Error Reporting
                UESta:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UEMsk:  DLP- SDES- TLP- FCP- CmpltTO- CmpltAbrt- UnxCmplt- RxOF- MalfTLP- ECRC- UnsupReq- ACSViol-
                UESvrt: DLP+ SDES+ TLP- FCP+ CmpltTO- CmpltAbrt- UnxCmplt- RxOF+ MalfTLP+ ECRC- UnsupReq- ACSViol-
                CESta:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr-
                CEMsk:  RxErr- BadTLP- BadDLLP- Rollover- Timeout- AdvNonFatalErr+
                AERCap: First Error Pointer: 00, ECRCGenCap+ ECRCGenEn- ECRCChkCap+ ECRCChkEn-
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
図 57. バス、デバイス、およびファンクション番号を使用した lspci 出力 (続き) 
        Capabilities: [148 v1] Virtual Channel
                Caps:   LPEVC=0 RefClk=100ns PATEntryBits=1
                Arb:    Fixed- WRR32- WRR64- WRR128-
                Ctrl:   ArbSelect=Fixed
                Status: InProgress-
                VC0:    Caps:   PATOffset=00 MaxTimeSlots=1 RejSnoopTrans-
                        Arb:    Fixed- WRR32- WRR64- WRR128- TWRR128- WRR256-
                        Ctrl:   Enable+ ID=0 ArbSelect=Fixed TC/VC=ff
                        Status: NegoPending- InProgress-
        Capabilities: [174 v1] Alternative Routing-ID Interpretation (ARI)
                ARICap: MFVC- ACS-, Next Function: 0
                ARICtl: MFVC- ACS-, Function Group: 0
        Capabilities: [184 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn-, PerformEqu-
                LaneErrStat: 0
        Capabilities: [1b4 v1] Physical Layer 16.0 GT/s <?>
        Capabilities: [1e4 v1] Lane Margining at the Receiver <?>
        Capabilities: [22c v1] Extended Capability ID 0x2a
        Capabilities: [4ac v1] Data Link Feature <?>
        Capabilities: [d00 v1] Vendor Specific Information: ID=1172 Rev=0 Len=05c <?>
        Kernel modules: altera_cvp

Capabilitiesの下のLnkCapは、デバイスのアドバタイズされたリンク速度と幅の機能を示します。Capabilitiesの下のLnkStaは、ネゴシエーション済みのリンク速度とデバイスの幅を示します。

システムトポロジーでデバイスに割り当てられたbdfがわからない場合は、次のコマンドを使用します。

sudo lspci -d $vid:$did -vvv

図 58. ベンダーIDを使用した lspci 出力 
$ sudo lspci -d 1172: -v
98:00.0 Unassigned class [ff00]: Altera Corporation Device 0000 (rev 01)
        Physical Slot: 28
        Flags: fast devsel, NUMA node 1
        Memory at c9400000 (32-bit, non-prefetchable) [disabled] [size=64K]
        Capabilities: [40] Power Management version 3
        Capabilities: [70] Express Endpoint, MSI 00
        Capabilities: [100] Advanced Error Reporting
        Capabilities: [148] Virtual Channel
        Capabilities: [174] Alternative Routing-ID Interpretation (ARI)
        Capabilities: [184] Secondary PCI Express
        Capabilities: [1b4] Physical Layer 16.0 GT/s <?>
        Capabilities: [1e4] Lane Margining at the Receiver <?>
        Capabilities: [22c] Extended Capability ID 0x2a
        Capabilities: [4ac] Data Link Feature <?>
        Capabilities: [d00] Vendor Specific Information: ID=1172 Rev=0 Len=05c <?>
        Kernel modules: altera_cvp

-d は「デバイス」を指します。これは、PCIe向けRタイルAvalon-ST IPのパラメーター化中のコンパイル前にコンフィグレーションされたデバイスIDとともに使用します。

次のコマンドを使用して、PCIeバスを再スキャンできます。このコマンドを実行するには、root権限が必要です。

ツリーからデバイスを切り離す場合:

echo 1 > /sys/bus/pci/devices/0000\:98\:00.0/remove

バスを再スキャンする場合:

echo 1 > /sys/bus/pci/rescan

レベル 2 の表題