京都大学の HPC 性能を向上

エグゼクティブ・サマリー

日本や世界の各地で共同研究拠点を擁する京都大学は、情報基盤および情報メディアの高度利用に関する研究開発を行う学術情報メディアセンター (ACCMS) を運営しており、全国の学術研究者に対して、スーパーコンピューター・システムを提供しています。

ACCMS が運用している既存のスーパーコンピューターは 2016年に設置されたもので、現在の研究で使用されるシミュレーション・コードや計算手法を実行する際に、メモリー帯域幅が制限されるなどスーパーコンピューター側のリソース不足が顕在化してきました。

そのため、2 年間の技術研究、設計、入札を経て、ACCMS は 2023年に 3 台の新しいスーパーコンピューターを導入する計画です。新しい HPC システムは、最新のインテル® Xeon® プロセッサー・ファミリーを搭載し、高いメモリー帯域幅、大容量メモリー、高効率な並列処理を求めるユーザーのニーズに合わせた、バランスの取れた HPC インフラストラクチャーを提供します。

課題

「ACCMS のスーパーコンピューターを利用している多くのユーザーは、シミュレーションに非常に長い実行時間を要する独自コードを開発しています」と、ACCMS の深沢圭一郎准教授は説明しています。「ほとんどの ACCMS の研究者は、プラズマ物理学、分子動力学、流体力学に関するコードを実行しており、その他のユーザーは、Gaussian、LS-DYNA、ANSYS、Mathematica などのような ISV アプリケーションを使用しています」

第 4 世代インテル® Xeon® スケーラブル・プロセッサー搭載の京都大学の Laurel 3 スーパーコンピューター

ACCMS が 2016年に導入した既存のスーパーコンピューター・システムを使用している研究者たちは、プロジェクトのためにより高い処理能力を必要とするコードを開発しており、より短時間で結果を出せる強力なリソースを必要としていました。さらに、既存のシステムでは必要とするサポートも受けられなくなってきていました。

「最も重要なことは、科学的な結果を迅速に提供することだと考えています」と深沢 准教授は述べています。「そのためには、少なくともハードウェアやシステムの設計からアプリケーションの実行効率を上げる必要があります。さらに、ソフトウェアを最適化することで、パフォーマンスを向上させ、実行時間を短縮することができるのです」

実行時間の短縮は、より速い結果をもたらすだけでなく、消費電力やプロジェクトごとの計算コストの削減につながります。ACCMS がシステムを更新することで、研究者たちはテクノロジーの進化による恩恵を受けることができます。

ソリューション

深沢准教授とそのチームは、既存のスーパーコンピューターにおける重要な課題となっている、より高いメモリー帯域幅性能を実現する新システムを設計し、既存のスーパーコンピューターと置き換える形で NEC が Dell Technologies と協力して新システムの導入を行いました。

深沢准教授によると、「ACCMS では、ユーザー独自のコードを実行するもの、ソフトウェア・ベンダーによる一般的な商用アプリケーションを実行するもの、大きなメモリーを必要とするアプリケーションを実行するものという 3 つのシステム構成を提供していますが、既存のシステムでは多くのアプリケーションで、リソース不足によりパフォーマンスが制限されるために、今回の新システムでは高帯域幅メモリーに対応した構成を含めています」

現行の Camphor 2、Laurel 2、Cinnamon 2 を置き換えることになる新システムは以下の通りです:

• Camphor 3: 56 コアのインテル® Xeon® CPU マックス 9480 プロセッサー および 128GB のメモリーを搭載した Dell PowerEdge C6620 サーバー 1,120 ノードで構成される 7.63 ペタ FLOPS システム。2023年度後半には、多くのコードでソリューション時間を高速化するために、高帯域幅メモリーを搭載したインテル® Xeon® マックス・シリーズの追加を計画しており、これにより Camphor 3 は、毎秒 3.2 テラバイトのメモリー帯域幅を提供予定です。
• Laurel 3: 56 コアのインテル® Xeon® Platinum 8480+ プロセッサーと 512GB のメモリーを搭載した Dell PowerEdge C6620 サーバー 370 ノードで構成される 2.65 ペタ FLOPS システム。これは、汎用システムとして提供され、商用ソフトウェアやその他のユーザーコードの実行に使用されます。
• Cinnamon 3: 56 コアのインテル® Xeon® Platinum 8480+ プロセッサーと 2TB のメモリーを搭載した Dell PowerEdge C6620 サーバー 16 ノードで構成された 114.6 テラ FLOPS システム。これは、非常に大きなメモリーを必要とするアプリケーションを実行するために提供されます。

第 4 のシステム (Gardenia) は、GPU を使用するコードをサポートする別のテクノロジーで構築されています。また、インテル® Xeon® Gold 6354 プロセッサーを搭載した既存のクラウドシステムが、利用ユーザー間の相互接続をサポートしています。ACCMS のすべてのスーパーコンピューターは、40.32PB の Lustre ファイル・システムと 4.06PB のフラッシュ・ストレージ・システムでサポートされ、ノードとシステムは 400Gbps の InfiniBand ファブリックで接続されています。

新システムの設計にあたり、深沢准教授とそのチームは、最新のテクノロジーを研究し、最新のインテル® Xeon® スケーラブル・プロセッサーによるベンチマークを実施しました。

図 1.Laurel 2 と比較した Laurel 3 のコード性能のベンチマーク。¹

深沢准教授は「ユーザー・アプリケーションでは、CPU のスループット性能に対するメモリー帯域幅の比率が最も重要と考えています。そのためには、高帯域幅メモリーを搭載した高性能な CPU が必要でした。2023年の後半に追加予定のインテル® Xeon® CPU マックス・シリーズに搭載されたエンベデッド・マルチダイ・インターコネクト・ブリッジ (EMIB) テクノロジーにより、高い実行効率が実現できると期待しています」と述べています。

多くの研究者が独自のコードを書いているベクトル処理については、既存の Laurel 2 システムに搭載されたプロセッサーでは、インテル® アドバンスト・ベクトル・エクステンション 2 (インテル® AVX2) がサポートされているのに対して、Laurel 3 に搭載された第 4 世代インテル® Xeon® スケーラブル・プロセッサーでは、ベクトルレジスタの幅が 2 倍となったインテル® アドバンスト・ベクトル・エクステンション 512 (インテル® AVX-512) をサポートしており、深沢准教授によると、インテル® マス・カーネル・ライブラリー (インテル® MKL) を使用することで、旧システムと比較してベクトルコードが少なくとも 1.5 倍高速化される見通しだとのことです。¹

システム構成の詳細は、ACCMS のウェブサイトに掲載されています。

成果

新システムは、京都大学の新型スーパーコンピューターとして、2023年半ばに本稼働を開始する予定です。深沢准教授とそのチームは、受け入れに向けたテストを開始しており、早期ユーザーにコードを実行してもらうための公開準備を進めています。深沢准教授によると、新しい Laurel 3 システムでベクター化されたコードは、既存の Laurel 2 システムと比較して 平均 3.8 倍ものノード・パフォーマンスの向上を達成しています。(図 1)²

まとめ

京都大学が運営する ACCMS では、多くのシステムにまたがる HPC リソースを提供し、大学や研究機関のスーパーコンピューティングにおけるニーズをサポートしています。既存のシステムではカバーできない、より高いメモリー帯域幅を必要とするコードを実行したいという研究者のために、ACCMS は、第 4 世代インテル® Xeon® スケーラブル・プロセッサーを基盤として構築した 3 種の新しいシステムを設計・導入する予定です。インテル® Xeon® Platinum 8480+ プロセッサーを搭載し、一般および大規模メモリー・コンピューティングのニーズに対応する、Laurel 3 および Cinnamon3 システムは現在稼働しており、インテル® Xeon® CPU マックス 9480 プロセッサーを搭載し、高帯域幅メモリーのニーズに対応した Camphor 3 は2023年10月に本格稼働を予定しています。

ソリューションの構成

• 京都大学の運営する学術情報メディアセンター (ACCMS) をスーパーコンピューター (HPC) システムがサポート
• 大容量メモリーを搭載した 16 ノードを含む 386 ノードのインテル® Xeon® Platinum 8480+ プロセッサー搭載システム

PDF をダウンロード ›