HPC ストレージとメモリー

データアクセスの遅延が、重要なパフォーマンス上のボトルネックになるのを防ぎます。今日のデータ負荷の高い HPC ワークロードの帯域幅とスループットに対する要求を満たすために最適化された、先進的なパーシステント・メモリーと HPC 向けストレージのソリューションについて説明します。

HPC 向けストレージとメモリーの概要:

  • HDD やブロック I/O 向けに設計された従来のストレージスタックは、AI やシミュレーションといった、今日の重いデータ負荷をかける HPC のワークロードには適していません。

  • HPC 向けストレージ要件の進化により、不揮発性メモリー (NVM) テクノロジー、HPC ソフトウェアのエコシステム、およびすべての HPC アーキテクチャー・コンポーネント向けに完全最適化されたレイテンシーの削減および、HPC 向けストレージ・ソリューションへの必要性が高まっています。

  • インテル® Optane™ パーシステント・メモリー、インテル® Optane™ ソリッドステート・ドライブ (SSD)、インテル® QLC 3D NAND SSD などのインテル® HPC 向けストレージ・ソリューションとメモリー・ソリューションが連携して、データ、コンピューティング間の障壁を取り除きます。

author-image

By

今日の最も要求の厳しいパフォーマンス・ベンチマークの基準を満たし、さらにそれを上回るためには、HPC システムにバランスの取れたポートフォリオのビルディング・ブロックを組み込む必要があります。近年、データセットのサイズと HPC アプリケーションが実行しなければならない読み取り / 書き込み操作の数が急激に増加しているため、多くの場合、システムの全体的なパフォーマンスを制限するのは、プロセッサー速度ではなく、ストレージとメモリーのパフォーマンスです。

今日最先端の HPC 向けストレージとメモリーのテクノロジーは、ホットアクセス層の DRAM からクールアクセス層の安価な長期ストレージメディアに至るまで一通り用意されています。システム・アーキテクトは、個々の HPC ワークロードのパフォーマンス要件に最適な製品と機能を選別する必要があります。ますます、従来の NVM やストレージのソリューションでは対応できなくなります。

HPC 向けストレージとメモリーの課題

現実世界の計算問題において、大規模かつ増え続けるデータ量の収集、保存、アクセス、処理を要求されてるのに伴い、HPC が実現できる事柄も増え続けています。これらのデータセットのサイズが非常に大きいことが、メモリーとストレージの問題を引き起こします。簡単に言うと、DRAM の容量が小さすぎ、ハードディスク・ドライブが遅すぎるのです。

従来のメモリーとストレージのソリューションに依存していた HPC システムのアーキテクトにとって、ストレージ容量、パフォーマンス、およびコストのトレードオフを調整することが難題でした。CPU の近くに配置したホットデータと、さまざまな HPC ワークロードに対応するための、より大容量な不揮発性ストレージとの間のギャップを埋めることが課題でした。特に、以下 2 つの大きなギャップが依然として存在します。

  • 小容量で高価な DRAM と、安価に大容量が確保できるもののレイテンシーの問題をもたらす NAND 型 SSD 間のギャップ。
  • NAND SSD と、低コストで大容量ストレージを提供できるものの、電力、冷却、物理空間に対する要件が大きく、信頼性の点で劣り、さらに大きなレイテンシーが生じる HDD 間のギャップ。

必要なのは、レイテンシーの削減とストレージ容量の向上

多くの HPC ワークロードでは、データをプロセッサーに転送できる速度が、実際のパフォーマンスの主要なボトルネックとなります。HPC ソリューション・アーキテクトは、ローカル・キャッシュの使用や、DRAM プールを拡張して、データを CPU に近づけることでこの制約を克服しようとしてきました。DRAM はコンテンツに高速アクセスできますが、高価で容量に制約があるため、大規模なインメモリ・データベースでは使用できない上に、揮発性です。

揮発性のメモリー・ソリューションは、今日の HPC システムが直面している厳しいパフォーマンス要件には適合していません。システムクラッシュが発生すれば、データが失われ致命的な事態となる可能性があります。また、再起動時間が長くなると、生産性を著しく低下させます。

かといって、NAND SSD や HDD などの不揮発性メディアに大量のデータを保存すれば、パフォーマンス面での問題を引き起こします。従来の HDD メディアと POSIX 入出力 (I/O) 機能向けに設計されたストレージシステムでは、分析やシミュレーションのワークロードが生成する複雑でランダムな読み書きパターンに対応できません。また、AI のワークロードで発生する読み取り時の高い負荷にも十分に対応できません。

事実、コンピュート・ノードあたりの I/O 要求は、エクサスケールだけでなく、小規模なシステムにおいても総体的に増大しており、あらゆるワークロードが複雑化する中、HPC ストレージ・ソリューションへの要求も高まっています。

ワークロードに最適な HPC ストレージとメモリー・ソリューションの選択

従来の HPC クラスター
流体力学の予測、気候モデリング、金融予測などの高パフォーマンスなシミュレーションやモデリング・アプリケーションは通常、単一の HPC クラスターとして機能するように構成された複数のマシンに分散されます。より詳細なモデリング、結果の高速生成、生産性の向上を実現するには、HPC 向けストレージとメモリーの高速化が必要でます。

人工知能 (AI)
HPC アプリケーションの中でも AI ワークロードは、ますます広く使用されつつあります。これらのワークロードは、従来の HPC ワークロードと比べてはるかに多くの読み取り操作を要求します。また、インストルメント・クラスターやその他リアルタイム・ストリーミング・データ・サービスとやり取りするワークロードでは、致命的なデータ損失を回避するために、より高いサービス品質 (QoS) が継続的に求められます。AI の取り込みフェーズが増えると書き込み負荷も上がります。これらのシステムでは、機械学習や推論のアルゴリズムで求められる速度と精度で機能するために、低レイテンシー、高メッセージレートでの通信が要求されます。 OS を完全にバイパスするのが理想的です。

ハイパフォーマンス・データ分析 (HPDA)
データ量が飛躍的に増加している中で、分析をスピーディーに行うことが求められています。HPDA ワークロードは、一般的な「ビッグデータ」のワークロードよりもはるかに高い I/O だけでなく、より大きな計算クラスターとより効率的なネットワークを必要とします。それに伴い、HPDA ワークロードでの HPC メモリーとストレージへの要求も高くなります。

スーパーコンピューターとエクサスケール・システム
スーパーコンピューティング・クラスターやエクサスケール・システムでは特に重要なのは、最新の HPC ストレージとメモリーによるソリューションの拡張性とコスト面での優位性です。これらの HPC ソリューションが企業や学術機関で広く利用されるようになるにつれて、ますますコストが重要になってきます。とはいえ、これらのソリューションが既知のコンピューティング能力の限界を押し上げ続けることが依然として不可欠です。そしてこれを実現する唯一の方法は、プロセッサー、ファブリック、その他 HPC コンポーネントとパフォーマンスの進歩が一致している HPC 向けメモリーとストレージのソリューションを採用することです。

HPC ストレージとメモリー製品

インテルは、HPC 向けストレージとメモリーのソリューションによる包括的なポートフォリオと、インテルのエクサスケール・ソフトウェア・スタックの基盤である分散型非同期オブジェクト・ストレージ (DAOS) を組み合わせることで、HPC のストレージ・アーキテクチャーに革命をもたらしています。これらのテクノロジーは、インメモリーデータと大規模なデータセットを格納するためのストレージ容量間のギャップを埋め、世界トップクラスのコンピューティング性能を必要とする変革プロジェクトをサポートします。

インテル® Optane パーシステント・メモリー
インテル® Optaneパーシステント・メモリーは、今日の最大規模のデータセットでもほぼリアルタイムで分析することのできる、新しいクラスの HPC 向けメモリー・ソリューションです。インテル ® Optane は、 DRAM と同じバス / チャネルを使用し、揮発性データの保存では DRAM として機能する、大容量で高パフォーマンスな永続メモリーを提供します。また、インテル® Optane は、電力供給なしでもパーシステント・モードで動作することができ、GB 単位でコストを抑えつつ大容量のストレージ容量を提供します。これにより、HPC のソリューション・アーキテクトは、DRAM と SSD の中間に位置付けられる、高速かつ低価格な大容量のパーシステント・メモリー層を利用することができます。

インテル® Optane ソリッドステート・ドライブ (SSD)
インテル® Optane ソリッドステート・ドライブ (SSD) により、メモリーと 3D NAND SSD の間にまったく新しいタイプのデータストレージ群がもたらされます。インテル® Optane DC SSD は、優れたランダムな読み込み / 書き込み性能と安定した低レイテンシーを実現しており、キャッシングの高速化に最適です。また、インテル® Optane テクノロジーは、HPC ワークロードが飛躍的なパフォーマンスを発揮するために必要なサービス品質と耐久性を提供します。

インテル® QLC 3D NAND SSD
インテル® QLC 3D NAND SSD テクノロジーは、パフォーマンス、容量、価値の信頼度の高い組み合わせを実現し、コスト効率の高い高密度ストレージを供給することで、今日のストレージの経済性を変革しています。実績のある垂直型フローティング・ゲート・テクノロジーをベースに、より高い面密度と独自のサポート回路アーキテクチャーを採用したインテル® QLC 3D NAND SSD は、特にインテル® Optane テクノロジーとの組み合わせることで、大量の書き込みや、広範にキャッシングを行う HPC ワークロードに最適なパフォーマンスを提供するよう設計されています。

分散型非同期オブジェクト・ストレージ (DAOS)
HPC ワークロードでのレイテンシー削減を目的として設計された、分散型非同期オブジェクト・ストレージ (DAOS) は、インテル® Optane パーシステント・メモリー、インテル® Optane DC SSD および、インテルの HPC ソリューションに完全最適化された、オープンソース・ソフトウェア・エコシステムです。DAOS は、NVM テクノロジーの利点を最大限に活用できるように設計されており、HPC アプリケーション向けに、高帯域幅、低レイテンシー、高 IOPS (1 秒当たりの入出力処理) なストレージコンテナを提供します。

HPC 向けインテル® Select ソリューション
すべての HPC クラスター・コンポーネントの相互運用性を検証し、固有のワークロードのパフォーマンス要件を満たすことは困難です。HPC 向けインテル® Select ソリューションは、バランスの取れたシステムにコンピューティング、ファブリック、メモリー、ストレージ、ソフトウェアを適切に組み合わせることで、簡単かつ迅速に導入可能な HPC インフラストラクチャーを提供し、分析クラスターや特定の HPC アプリケーションのインサイトを獲得し、ブレークスルーを達成するまでの時間を短縮します。