帯域幅とレイテンシーのバランスを回復する

これまで、帯域幅が拡大するペースはレイテンシーが低減するペースをはるかに上回っていました。しかし、それはもう終わりです。

データセットの規模が増大し続けているため、データセンターのワークロードでは、メモリーとストレージの両方でパフォーマンスと容量のレベルを引き上げることが求められています。それに伴い、単位時間当たりデータ処理量の拡大は必須となり、コンピューティング・システムを構成するコンポーネントのパフォーマンスは向上しています。パフォーマンスは、帯域幅などの一部の指標がレイテンシーなどのほかの指標と比べて速いペースで向上している多面的なトピックです。

コンピューター・アーキテクトは、この増大するデータセットにおける共通部分と、利用可能なテクノロジー群の相対的な性能向上を正確に見極め、ジョブを短時間で完了できるコンピューティング・システムを構築しなければなりません。この概要では、関連するテクノロジーがたどってきた進歩の過程と、ここに新たに加わったインテル® Optane™ テクノロジーについて説明します。インテル® Optane™ テクノロジーは、コンピューティング・システム内における、レイテンシーの低減と帯域幅の拡大に必要な従来のスイートスポットを埋めるための新しいリソースを提供して、アプリケーションを高速化します。

メモリーとストレージにおける大まかな歴史

DRAM は広帯域幅、低レイテンシーのデータストアですが、ビット当たりのコストが割高です。システムの DRAM 容量を拡張すればデータセットの規模の増大に対処できますが、桁違いのコストがかかります。多くのシステムにとって低速のハードディスク・ドライブ (HDD) だけが利用可能なデータストアであった 10 年前は、ほかの選択肢はないも同然でした。レイテンシーの高い HDD へのアクセスでは、データの待機のためにプロセッサー・サイクルの浪費が大きくなっていました。

NAND 型ソリッドステート・ドライブ (SSD) が登場したことで、データを格納する新たな場所が提供され、より多くのデータセットへ高速でアクセスできるようになりました。その結果、NAND ベースの SSD が普及することになりました。しかし、リアルタイムやそれに近い短さでデータにアクセスして処理する必要がある今日のデータ駆動型アプリケーションにとって、NAND 型 SSD の速度でも十分とは言えなくなっています。その理由は、10 年前の HDD と同様に、NAND 型 SSD ではプロセッサーのデータ待機時間が非常に長く、レイテンシーが高くなり、最新の CPU が実現できるパフォーマンス・レベルでシステムが駆動するのを抑制してしまっているためです。CPU のパフォーマンスは経年的に向上していますが、ストレージのレイテンシーは後れをとっており、システムの全体的なパフォーマンス向上の妨げになっています。

図 1. メモリー、プロセッサー、HDD、SSD の経年進化に見る帯域幅 / レイテンシーの相対的改善の比較。

テクノロジーの進歩に伴うレイテンシーと帯域幅のバランスの維持

テクノロジーの進歩の過程を示すには、さまざまなストレージメディアについて帯域幅の相対的なパフォーマンスとレイテンシーの改善を比較すると理解しやすいようです。図 1 では、David Patterson による主要な研究に基づいて、Patterson の「Latency Lags Bandwidth (帯域幅に後れをとるレイテンシー)」のグラフに SSD のデータポイントを追加しています。「Latency Lags Bandwidth 1 Patterson は、これまでの進化過程から、帯域幅がレイテンシーよりもはるかに速いペースで向上してきたことを示しています。トランジスターの数は「ムーアの法則」に従って着実に増え続けています 2 それに伴いマルチコア・アーキテクチャーも進化し続けてきています。

こういった進化により、プロセッサーはより多くの命令を処理できるようになったため、前世代のプロセッサーと同等またはより短い時間でさらに多くのデータを処理できるようになりました。ただし、CPU の処理時間は短縮されましたが、それに応じて HDD からデータを取得するドライブのレイテンシーによる時間が短縮されたわけではありません。そのため、ストレージ・テクノロジーが全体的なパフォーマンスのボトルネックになりました。メモリー / ストレージ・テクノロジーの場合、並列処理によって帯域幅を拡大できますが、このテクノロジーへのアクセス時間は比較的一定です。レイテンシーを低減するには、新しいテクノロジーの導入が必要でした。

レイテンシーの低減と帯域幅の拡大が行われるとどうなるかを考えると、これが重要である理由を理解できます。メモリーやストレージをリソースとする場合、通常単一ユニットのデータアクセスでは、メモリーからプロセッサーへのパスをつなぐには不十分です。言い換えると、帯域幅にレイテンシーを掛け合わせると (帯域幅遅延積)、アクセスサイズよりも大きくなります。可能であれば、リソースの全帯域幅を使用するために、できる限り大規模または大量のデータ群を並行して要求するようにソフトウェアで明示的に記述されます。帯域幅遅延積が大きくなるほど、そのレイテンシーを補うために十分なデータを並行して要求できるアルゴリズムは減少していきます。並列データ処理を十分に要求できない状況では、システムの帯域幅とパフォーマンスに負荷がかかるようになります。端的に言えば、帯域幅とレイテンシーの比率のバランスを取ることが重要なのはこのためです。

図 1 に戻ると、NAND ベースの SSD の導入により、しばらくの間、帯域幅とレイテンシーのバランスの取れたソリューションが提供され、HDD と比べるとはるかに低いレイテンシーが実現されました。基本アクセス時間が、HDD の数ミリ秒 (ms) から NAND SSD の 100 マイクロ秒 (μs) 未満と短縮されたことで、データの待機に費やされる CPU サイクルが減り、また多くのアプリケーションが NAND SSD の全帯域幅に頻繁にアクセスできるようになったことが、ユーザーも認識できるレベルでの処理の高速化につながったのです。経時的に帯域幅は拡大し続けましたが、これに比べるとレイテンシーは一定のままであったため、帯域幅が孤立した状態になり、再びシステムのバランスが失われることになりました。

次の例では、インテル® Optane™ テクノロジーが実現した、低レイテンシーのインテル® Optane™ DC SSD による、VMware vSAN* などのハイパーコンバージド・インフラストラクチャー・ソリューション向けのパフォーマンス強化と容量拡大について説明します。

VMware vSAN* のパフォーマンスと容量を新たなレベルに押し上げるインテル® Optane™ テクノロジー

企業やクラウド・サービス・プロバイダーは、インテル® Optane™ テクノロジーを使用することで、仮想サーバーで運用するアプリケーションのパフォーマンスを低コストで向上させることができます。Evaluator Group が行った分析から、インテル® Optane™ テクノロジーおよび NVM Express* (NVMe*) 対応インテル® 3D NAND SSD とインテル® Xeon® スケーラブル・プロセッサーを組み合わせることによって、VMware vSAN* を実装するハイパーコンバージド・システムで稼動する一般的な各種ワークロードでパフォーマンスが向上することが分かりました。3

図 2 に示すように、インテル® Xeon® スケーラブル・プロセッサーとインテル® Optane™ DC SSD をベースに構築され、VMware vSAN* 6.7 を実行するシステムでは、NAND 型 SSD ストレージメディアで実行されるシステムと比較して、パフォーマンスが大幅に向上しています。インテル® Optane™ テクノロジーとインテル® 3D NAND SSD で構築されたシステムは、各 VM で同じサービスレベル・アグリーメントを維持しながら、最大 1.6 倍の仮想マシン (VM) 数に対応できています。

これは、システム当たりの対応ユーザー数 60% 増に相当し、ビジネスの収益と成長にとって重要となります。インテル® Xeon® スケーラブル・プロセッサー、VMware vSAN* 6.7、およびインテル® 3D NAND SSD とインテル® Optane™ DC SSD の組み合わせによって実現される VM 密度の増加とインフラストラクチャー・コストの削減により、明確な費用対効果が得られました。

この調査では、古いシステムでパフォーマンスが低下するのは、古いストレージ・テクノロジーが VM の入出力 (I/O) 要求に対応できないためと結論付けています。基本的に、複数のアクティブな VM によって引き起こされるワークロードへの I/O の集中により、NAND 型 SSD が未処理の作業を負担することになり、VM に求められるサービスレベル・アグリーメントが維持できるようになるまでは、データのレイテンシーが高くなります。

この VMware vSAN* の例では、インテル® Optane™ DC SSD を導入することで、データセンターのメモリー / ストレージ階層構造におけるギャップを解消する 1 つの方法を示しています。インテル® Optane™ テクノロジーのウェブサイトをチェックし、最新のデータセンターの厳しいニーズに適切に対応するために企業がどのようにインテル® テクノロジーを活用しているか、最新の事例を確認してください。

図 2. インテル® Xeon® スケーラブル・プロセッサー、インテル® 3D NAND SSD、インテル® Optane™ DC SSD で構築された新しい VMware vSAN* システムでは、インテル® 3D NAND SSD のみで構築されたシステムに比べ、パフォーマンスが最大 1.6 倍に向上。

メモリーとストレージの新しいアーキテクチャー

インテル® Optane™ テクノロジーは、システム内のさまざまな役割に展開できます。前の例に示すように、インテル® Optane™ DC SSD は、データセンターの重要なアプリケーションを高速化するために、帯域幅とレイテンシーのバランスを取り、標準の PCIe* NVMe* インターフェイスを使用してシステムに接続できます。アイドル時の平均レイテンシーは、NAND 型 SSD では 80 マイクロ秒以上であるのに対し、この構成では約 10 マイクロ秒です。4 図 3 は、システムのハードウェアとソフトウェアの両方のレイテンシーを示しています。インテル® Optane™ DC SSD は、システムスタックのソフトウェア・レイテンシーとほぼ同等のハードウェア・レイテンシーを特長とし、システムに別種のバランスをもたらします。高耐久性に加え、高負荷時でも一貫して低レイテンシーを実現するため、このタイプの SSD はホットデータの高速キャッシュや階層化に最適とされています。

インテル® Optane™ テクノロジーは、DIMM スロットに直接装着するインテル® Optane™ DC パーシステント・メモリー・モジュールとしても利用できるようになりました。DRAM DIMM と異なるのは、インテル® Optane™ DC パーシステント・メモリーは永続性と大容量メモリー (モジュール当たり最大 512GB) を提供できる点です。図 3 に示すように、インテル® Optane™ DC パーシステント・メモリーを使用した場合のデータアクセスのレイテンシーは、インテル® Optane™ DC SSD よりもはるかに低くなっています。

インテル® Optane™ DC パーシステント・メモリーには、オペレーティング・システムのストレージスタックを介さずアプリケーションから直接アクセスできるので、ソフトウェアのオーバーヘッドが排除されます。パーシステント・メモリーを使用した場合、アイドル時の平均読み出しレイテンシーが 100 ~ 340 ナノ秒 (ns) に低減されます。5 前述の帯域幅遅延積の観点から、この低レイテンシーについて考慮してください。レイテンシーが低いため、このメモリーには小さなユニットサイズ、単一のキャッシュラインでアクセスでき、帯域幅をフルで利用することが可能です。このことから、インテル® Optane™ DC パーシステント・メモリーは、キャッシュライン・アクセスが可能な優れたパフォーマンスの永続的な格納ストアであり、これまでにない新しいリソースと言えます。

インテル® Optane™ DC パーシステント・メモリーの優れたパフォーマンスと永続性が、さまざまな方法で使用できる新たなデータストレージ層を形成して、システムの容量とパフォーマンスのギャップを解消します。この柔軟性により、企業は最新のワークロードの処理とメモリーの要件に適切に対応できるデータセンターを構築できるようになります。例えば、インテル® Optane™ DC パーシステント・メモリーを使用すると、インメモリー・データベースの容量を大幅に増やすことも可能です。また、パーシステント・メモリーは不揮発性であるため、データベースの再起動後にデータをメモリーに再読み込みする必要がなく、保守性、システム稼動時間、ビジネス継続性の向上につながります。

図 3. NAND SSD、インテル® Optane™ DC SSD、インテル® Optane™ DC パーシステント・メモリーのレイテンシーの比較。

まとめ

コンピューティング・システムでは、メモリーとストレージの階層構造により、アクセス頻度の高いデータがプロセッサーの近くに配置され、大容量データはプロセッサーから離れた (レイテンシーが高い) 低コストのメモリーに移動されます。メモリー / ストレージ・テクノロジーに固有のレイテンシーは、経時的な低減はゆっくりとしたペースで進む傾向がありますが、プロセッサーのパフォーマンスははるかに速いペースで向上しています。これにより、どちらのメモリーも実質的にプロセッサーから離れて配置され、プロセッサーはデータ待機のためにさらに多くの命令サイクルを浪費することになりました。システムのバランスを取り戻すには、低レイテンシーを実現する新しいメモリー・テクノロジーと、より強固に結びついた別のシステム統合ポイントを導入するしかありません。

インテルは、インテル® Optane™ テクノロジーの導入により、DRAM と NAND 型 SSD の間に生じたギャップを埋める新しいメモリーをシステムに提供しています。SSD としてもパーシステント・メモリーとしても利用できるこの新しいインテル® Optane™ テクノロジーにより、コンピューター・アーキテクトは大規模な永続データ構造をプロセッサーの近くに配置し、データの待機時間を最小限に抑え、アプリケーションの実行を高速化できるようになりました。帯域幅の要件と低レイテンシーのバランスを取ることができれば、CPU の能力を最大限に引き出すことが可能になります。インテル® Optane™ テクノロジーによって帯域幅とレイテンシーのバランスを取り戻すことで、CPU はデータを迅速に使用して処理できるようになり、最適なシステム・パフォーマンスを実現できます。

著者紹介: Frank Hady

Frank Hady はインテルフェローであり、インテルの不揮発性メモリー・ソリューション・グループ (NSG) の Optane システム・チーフ・アーキテクトです。インテル® Optane™ テクノロジー製品の研究と定義、コンピューティング・システムへの統合を牽引しています。

Frank の実績は次のとおりです:

  • インテルのプラットフォーム I/O アーキテクト・リーダーに就任
  • インテル® QuickAssist テクノロジー (インテル® QAT) の基礎となる研究を実施
  • ネットワーキング、ストレージ、I/O イノベーションに関する 30 本の公表論文を執筆または共同執筆
  • 30 件を超える米国特許を保有
  • バージニア大学で電気工学の学位を取得し、メリーランド大学で博士号を取得

詳細情報6

一貫した低レイテンシーは、インテル® Optane™ テクノロジーによって実現される機能の一部にすぎません。インテル® Optane™ DC パーシステント・メモリーとインテル® Optane™ DC SSD によるデータセンターのメモリー / ストレージ階層構造の変革についての詳細は、メモリー / ストレージに関するテクニカルシリーズのその他のドキュメントを参照してください。

インテル® Optane™ テクノロジーの詳細については、http://www.intel.co.jp/optane/ を参照してください。また、テクノロジー概要「What is Intel® Optane™ technology」

http://www.intel.co.jp/content/www/jp/ja/products/docs/memory-storage/optane-technology/what-is-optane-technology-brief.htmlも参照してください。

インテル® Optane™ DC SSD の詳細については、

http://www.intel.co.jp/content/www/jp/ja/products/memory-storage/solid-state-drives/data-center-ssds/optane-dc-ssd-series/optane-dc-p4800x-series.html を参照してください。

インテル® Optane™ DC パーシステント・メモリーの詳細については、

http://www.intel.co.jp/content/www/jp/ja/architecture-and-technology/optane-dc-persistent-memory.html を参照してください。

免責事項

1(帯域幅に後れをとるレイテンシー)」 Communications of the ACM、Vol. 47 No.10、2004年10月 (https://dl.acm.org/citation.cfm?id=1022596)。インテル® SSD X-25M、インテル® SSD DC S3700、インテル® SSD DC P3700、インテル® SSD DC P4600、インテル® Optane™ SSD DC P4800X の製品概要に記載された仕様に基づき、インテル® 3D NAND とインテル® Optane™ DC SSD のデータポイントをインテルが追加。詳細については、「インテル® SSD データセンター・ファミリー」(https://intel.co.jp/content/www/jp/ja/products/memory-storage/solid-state-drives/data-center-ssds.html) を参照してください。
2出典 - intel.co.jp ムーアの法則。1965 年、ゴードン・E・ムーアが現代のデジタル革命の進展を示す予測を行いました。当時確認できた新たな傾向を注意深く観察した結果、ゴードン・E・ムーアは、コンピューター性能の劇的な向上や、関連コストの減少が急速に進むと予想したのです。この洞察は、ムーアの法則として知られ、電子産業の黄金律となり、イノベーションの促進にはずみをつける要因となりました。共同設立者であるゴードンは、インテルが最新のツールや玩具を動かすより高速で小型化された低価格のトランジスターを作成するための道を開きました。
3Evaluator Group。「Lab Insight: Latest Intel® Technologies Power New Performance Levels on VMware vSAN* – 2018 Update」。2018年10月 (https://www.evaluatorgroup.com/document/lab-insight-latest-intel-technologies-power-new-performance-levels-vmware-vsan-2018-update/)。
4出典: インテルによるテスト: 4K ランダム書き込みワークロード時にキューの深さ 1 で測定された平均読み出しレイテンシー。FIO 3.1 を使用して測定。インテル® Optane™ DC SSD P4800X 375GB とインテル® SSD DC P4600 1.6TB を搭載したインテル・リファレンス・プラットフォームと、2018年7月1日時点で市販されている SSD を搭載したプラットフォームを比較。性能の測定結果は 2018年7月24日時点のテストに基づいています。また、現在公開中のすべてのセキュリティー・アップデートが適用されているとは限りません。詳細については、公開されている構成情報を参照してください。絶対的なセキュリティーを提供できる製品はありません。
5インテル® Optane™ DC パーシステント・メモリー: 結果は、2019年2月20日にインテルが実施したテストに基づきます。構成: インテル® C620 シリーズ・チップセット、28 コアのインテル® Xeon® スケーラブル・プロセッサー (QDF QQYZ)、2,666 メガトランスファー毎秒 (MT/s)、256GB、18W、32GB DDR4 DRAM (ソケット当たり)、128GB インテル® Optane™ DC パーシステント・メモリー (ソケット当たり)、ファームウェア: 5336、BIOS: 573.D10、WW08 BKC、Linux* OS4.20.4-200.fc29* を実行。パフォーマンス・チューニングのサービス品質 (QoS) 無効、IODC=5(AD)。
6性能の測定結果はシステム構成の詳細に記載された日付時点のテストに基づいています。また、現在公開中のすべてのセキュリティー・アップデートが適用されているとは限りません。詳細については、公開されている構成情報を参照してください。// 絶対的なセキュリティーを提供できる製品またはコンポーネントはありません。// 性能に関するテストに使用されるソフトウェアとワークロードは、性能がインテル® マイクロプロセッサー用に最適化されていることがあります。SYSmark* や MobileMark* などの性能テストは、特定のコンピューター・システム、コンポーネント、ソフトウェア、操作、機能に基づいて行ったものです。結果はこれらの要因によって異なります。製品の購入を検討される場合は、ほかの製品と組み合わせた場合の本製品の性能など、ほかの情報や性能テストも参考にして、パフォーマンスを総合的に評価することをお勧めします。詳細については、http://www.intel.co.jp/benchmarks/(英語)を参照してください。// インテル® テクノロジーの機能と利点はシステム構成によって異なり、対応するハードウェアやソフトウェア、またはサービスの有効化が必要となる場合があります。実際の性能はシステム構成によって異なります。// 絶対的なセキュリティーを提供できる製品またはコンポーネントはありません。詳細については、各システムメーカーまたは販売店にお問い合わせいただくか、http://www.intel.co.jp/を参照してください。// 記載されているコスト削減シナリオは、指定の状況と構成で、特定のインテル® プロセッサー搭載製品が今後のコストに及ぼす影響と、その製品によって実現される可能性のあるコスト削減の例を示すことを目的としています。状況はさまざまであると考えられます。インテルは、いかなるコストもコスト削減も保証いたしません。// インテルは、本資料で参照しているサードパーティーのベンチマーク・データまたはウェブサイトについて管理や監査を行っていません。本資料で参照しているウェブサイトにアクセスし、本資料で参照しているデータが正確かどうかを確認してください。// Intel、インテル、Intel ロゴ、Intel Optane、Xeon は、アメリカ合衆国および / またはその他の国における Intel Corporation またはその子会社の商標です。