エグゼクティブ・サマリー
ロチェスター大学の Laboratory for Laser Energetics (LLE) は、米国の独自のリソースです。科学者が、星がエネルギーを生成するのと同じプロセスである核融合によってエネルギーを得る、慣性核融合 (ICF) を研究および実験している、世界でも数少ない施設の一つです。核融合は、将来の電力として、ほぼ無尽蔵のエネルギー源からクリーンなエネルギーを提供することが期待されますが、その実現には、核「燃料」を安全に発火し、制限するための数十年にわたる研究、コンピューティング、実験が必要でした。
LLE は、エネルギー省 (DOE) 国家核安全保障局 (NNSA) との協力協定を結んでおり、高密度エネルギー物理学と ICF の研究のための大学研究室であることに加えて、国の資源でもあります。
慣性核融合は、強力なレーザーを含む高度な機器で行われます。しかし、ICF への道のりは、素材、レーザー、実験自体をモデリングするスーパーコンピューターから始まります。LLE は、創立以来、数十年にわたって多くのスーパーコンピューターをホストしてきました。約 5～7 年ごとに、LLEは、計算要求が既存のリソースの容量を上回る閾値に達します。それが最近起こり、新しいスーパーコンピューターの必要性が生まれました。
LEE は、Dell Technologies が第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーを使用して構築したシステムを取得しました。これにより、実験をより高精度でシミュレートできるだけでなく、機械学習と人工知能 (AI) を使用して、核エネルギーから電力を得る方法についての洞察を得ることができます。
Conesus は、インテル® アクセラレーター・エンジンを内蔵した第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーで構築されています。ロチェスター大学写真 / J.Adam Fenster。
課題
LLE とその姉妹ラボ、Lawrence Livermore National Laboratory (LLNL) の National Ignition Facility は、どちらも ICF ラボです。NIF の科学者は、2022 年 12 月 5 日に初めて、制御された核融合を実現し、実験から正味のポジティブなリターンを生み出しました。実験で使用されたレーザーエネルギーよりも多くのエネルギーを発生させたのです。これは重要なステップです。
LLE と NIF は、融合反応を引き起こす圧力に核標的を圧縮するために、さまざまな方法を使用します。NIF はインダイレクト・ドライブを使用し、LLE はダイレクト・ドライブを使用します。どちらも強力なレーザーを使用しています。ダイレクト・ドライブは、レーザーエネルギーで核標的に直接照射して必要な反応を起こし、インダイレクト・ドライブは、レーザーを使用して標的の周りの中間媒体を照射します。中間媒体内の反応は、標的を圧縮して点火する X 線を発生させます。
LLE には、ラボの科学者がスーパーコンピューターを使って設計した OMEGAと OMEGA EP という 2 つの非常に強力なレーザーがあります。
「 1 日あたり約 10 回、私たちのレーザーは、瓶の中に星を作るために使用されます」と LLE のコンピューティング・ファシリティで HPC Lead を務める William Scullin 氏は述べています。
レーザーを設計し、実験をシミュレートするには、大量の計算を要します。
「多くの計算サイクルは実験のシミュレーションに費やされます」と Scullin 氏は語りました。「私たちは慣性核融合をモデリングするための 1D、2D、3D モデリング機能を備えています。極限の温度と圧力で、資源とプラズマのシミュレーションを行います。高出力レーザーは、市販されているコンポーネントではありません。そこで、私たちは多くの独自のオプティクスとレーザーシステムを設計しました。これには、液晶コーティング剤のような製品の開発向けの材料モデリングが含まれます。さらに、ますます多くの統計作業をしなくてはいけません。」
例えば、Scullin 氏によると、必要な統計分析の増加にともない、コンピューター・サイエンティストは、機械学習を使用して古いデータや利用可能なデータから何が発見できるかを検討しています。このような発見を可能にするために、新しいコンピューティング・リソースが求められました。加えて、LLE は大きくなっています。
「ラボは拡大しています」と Scullin 氏は付け加えました。「私たちは物理的に拡大しています。学内の教員との新しいパートナーシップや、より広いコミュニティーとの新しいパートナーシップを結びました。また、NNSA との協力契約も更新する予定です。私たちは、リソースを利用して研究を行うためには長い列に並んで待たなければならないような状況に達しました。これらのことすべてが、新しい大きなクラスターの購入につながりました。」
2022 年に、計算リソースのひっ迫を伴いながら、新しい HPC システムの取得プロセスが始まりました。
ソリューション
「NNSA との協力契約を結ぶことで、Sandia National Laboratory、Los Alamos National Laboratory、Lawrence Livermore National Laboratory といった Tri-Lab の CTS2 スーパーコンピューター設計業務の恩恵を受けることができます。」と Scullin 氏は述べています。「CTS2 は、Tri-Lab が解決する核問題のために、効率的でコスト効率の高いコンピューティング・システムの構成を定義しています。」
CTS2 プログラムの下、LLE は、ニューヨーク州ロチェスター周辺にあるフィンガー・レイクの一つにちなんで名付けられた Conesus supercomputer を入手しました。Conesus は、インテル® アクセラレーター・エンジンを内蔵した第 4 世代インテル® Xeon® プロセッサー・ファミリーで構築されています。
Commodity Technology Systems 2 (CTS-2) プログラムは、Tri-Lab (Sandia National Laboratory、Los Alamos National Laboratory、Lawrence-Livermore National Laboratory) のための国家核安全保障局のスーパーコンピューター調達プログラムです。2007 年以降、コモディティー・システム調達プログラムにより、Tri-Lab は、堅牢な容量コンピューティングのためのコモディティー・コンポーネントを使用して共通プラットフォーム上に構築された、コスト効率の高い HPC リソースを得ることができました。
以前のプログラムには、Tri-Lab Capacity Clusters 1 (TLCC1、2007-2010)、TLCC2 (2011-2015)、CTS-1 (2016-2021) が使われていました。CTS-2 調達は、2022 年から2025 年まで使用されます。
CTS-2 マシンは、第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーで構築されています。CTS-2 マシンは、Tri-Labs ソフトウェア・スタック (TOSS) および Tri-Labs Common Environment (TCE) と使用する際には、共通のコンピューティング環境を提供します。Dell EMC で構築された CTS-2 マシンは、次のテクノロジーで構成されています。
- Dell C6620 コンピューティング・ノード
- Dell 760 ログイン / 管理 / ゲートウェイ・サーバー
- 第 4 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリー
- Cornelis Networks Omni-Path または Mellanox InfiniBand ファブリック
- CoolIT ダイレクトチップ 液体冷却
- GPU オプション
いくつかの CTS-2 マシンは、2022 年に導入され、LLE の Conesus を含む他のマシンは、2023 年に随時到着しました。
「私たちは常に CPU ショップでした」と、Scullin 氏は述べています。「私たちの統合型モデリングコードの大部分は、有限体積法を使用しています。そのため、メモリー帯域幅といった事柄は、私たちにとって非常に重要になります。同様に、多くのプロダクション・コードは Fortran で書かれています。インテルのコンパイラーは Fortran に対して、常に優れたパフォーマンスを提供してきました。
Dell Technologies で構築された Conesus は、2 つのソケットにそれぞれ 56 コアを含むインテル® Xeon® Platinum 8480+ プロセッサー搭載の 384 PowerEdge C6220 ノードで構成されています。インテル® Xeon® Platinum 8480+ プロセッサー搭載の新しい Dell PowerEdge サーバーは、CPU 当たり最大 8 つの DIMM と、最大 4800 MTS をサポートできます。CPU のアーキテクチャーは、前世代のプロセッサーと比較して、最大 50% 高いメモリー帯域幅 (4800MTS (1DPC) / 4400MTS (2DPC)) を誇ります。43,008 コアマシンは、2023 年 6 月の Top500 リストに、2.59 petaFLOPS で 311位にランクインしました。新しいスーパーコンピューターもまた、2023 年 6 月の Green500 リストで 77 位にランクインしました。
内蔵されたインテル® アクセラレーター・エンジンは、HPC における多くの重要なワークロードの高速化を実現します。Scullin 氏は、科学者が浮動小数点演算の大幅な加速を可能にしたインテル® アドバンスト・ベクトル・エクステンション 512 (インテル® AVX-512) を駆使することに期待を寄せています。セキュリティーも、LLE の重要な要求です。
「ここでは機密扱いの業務は行いません」と、Scullin 氏は付け加えました。「しかし、私たちの業務に関するセキュリティーのニーズに配慮しています。そのため、アーキテクチャーのもうひとつの重要な側面は、エクスポートのコントロールを可能にする環境を構築することでした。すべては 保存時の暗号化、ブート時の暗号化、飛行時の暗号化などのセキュリティー制御を含む NIST SP 800-171 に続きます。」
LLNL の National Ignition Facility のターゲットチャンバーでは、2022 年 12 月 5 日に 192個のレーザービームが、200万ジュール以上の紫外線エネルギーを小さな燃料ペレットに供給し、核融合点火を行いました。
インテル® クリプト・アクセラレーション など、多くのハードウェア対応インテル® セキュリティー・テクノロジーは、これらのタイプの NIST 要件をサポートするのに役立てられます。LLE の作業は、例えば、大規模なデータセットを分析するのにインテル® データ・ストリーミング・アクセラレーターを使用するなど、他のアクセラレーター・エンジンの恩恵を受けることもできます。
LLE は、国内最大の NNSA 大学ベースの研究プログラムであり、「新しいシステムのための完璧な場」と、LLE のディレクターである Chris Deeney は述べています。「Conesus は、ロチェスター地域と全国にいる学生と教員向けに、独自の教育および研究の機会を提供します。」
システムは、DOE および NNSA の複数のグループと、New York State Energy Research and Development Authority (NYSERDA) および Empire State Development からの国家資金援助によってサポートされています。
「NNSA のサポートと、国立研究所との提携を喜んで行う姿勢がなければ、この飛躍はありえませんでした」と Deeney は述べています。「NY 州の資金援助が、LLE は戦略的投資を可能にしました。また新しいコンピューターの力を活かす新しいストレージ・システムは、もうひとつの素晴らしい例です。」
結論
「Conesus のすべては融合と LLE のニーズに帰結します」と、Scullin 氏は語りました。「私たちはリソースの制約を受け、ユーザーは作業を完了するために列をなして待っていました。余分な容量があれば、より多くの作業をより早く完了できます。DDR5 による帯域幅の大幅な向上と、効率とスループット面での大きなペイオフを期待しています。ユーザーは拡大することもできます。」
Scullin 氏は、科学者は、より大きなデータセットでの機械学習の使用を含め、より多くの実行、より多くのデータ収集、より高い解像度の研究を行うためのコンピューティング・リソースを持つようになると言います。ある研究者は、以前のLLE HPCシステムで実行するのに30 日から 1 週間かかるプロジェクトの一つが、Conesus ではほんの数日で完了できるだろうと予想しました。
LLE の科学コードの多くは Fortran で書かれていますが、インテル® テクノロジーとインテル® ソフトウェアを搭載した Conesus は、その他のフレームワークのパフォーマンス最適化を提供します。
「多くの若い科学者が、Jupyter のノートブック PC を分析に使用し始めています」と、Scullin 氏はコメントしています。「つまり、ワークフロー向けの Python のようなものを検討しています。インテル® ディストリビューションの Python で実施した最適化作業は、機械学習の問題に対する優れた能力を直接的に変換する必要があります。」
Conesus 向けにいくつかの初期科学プロジェクトが計画されています。研究者は、Conesus ができること、規模拡大でできることを確かめるために、他のマシンで行ったプロジェクトから OMEGA レーザーシステムの低温爆破による統計モデリングのテスト、アルファ粒子の停止と燃焼プラズマのシミュレーション、非常に高い熱安定性で大きな応答を生む液晶の研究などの作業をすすめています。
Conesus は、この夏から稼働を開始します。
ソリューションのまとめ
LLE は、核融合から電力を回収するための慣性核融合を研究するためのリソースです。LLE のハイパフォーマンス・コンピューティングにより、科学者は資源をシミュレートし、レーザーを構築およびテストし、ICF 向けの高密度エネルギー物理実験をシミュレートできます。研究者が既存のリソースの計算時間を長い列をなして待つ現状に伴い、ラボは、NNSA CTS-2 プログラムの下で、Conesus と呼ばれる新しいシステムを取得しました。Conesus は、インテル® アクセラレーター・エンジンを内蔵した第 4 世代インテル® Xeon® プロセッサー・ファミリーで構築されています。新しい 2.59 petaFLOPS システムは今年後半に生産を開始しますが、すでに Top500 および Green500 にランクインしています。Conesus は、研究者が、より多くの容量で ICF の作業を継続し、機械学習で大規模なデータセットを研究し、ICF へのインサイトを拡大することを可能にします。