Transformer 学習モデルの成長が、より高度な処理能力の基準を引き上げる
種石氏は、胸部 X 線、分子標的に影響を与える小分子の仮想スクリーニング、タンパク質の構造的および機能的な変化など、医療画像を用いたディープラーニング (DL) ベースの疾患解析に関する研究を行ってきました。これらの分野における AI ベースの研究には、大規模な計算プラットフォームが必要であり、AI アクセラレーターを不可欠としています。
「Transformer が 2017年に初めて発表され、Attention 機構がディープラーニングに不可欠な要素であると認識されて以来、畳み込み型および反復型のニューラル・ネットワーク・アーキテクチャーに基づく以前のモデルは、自然言語処理以外の分野でも書き換えられてきました」と、種石氏は述べます。「これにより、計算フレームワークが大幅に拡張され、高度な DL コンピューティング・パフォーマンスに対するさらなる需要に繋がります。」
国立研究開発法人 理化学研究所 光量子工学研究センター データ・サイエンティスト 種石慶氏
理研は、その大規模な共有コンピューティング・プラットフォームの 1 つとして、Hokusai Sailing Ship (HSS) をホストしており、HSS は、主に AI アクセラレーターなしのデータサイエンス向けに最適化されています。代わりに、研究所は、オンプレミスとクラウド・インフラストラクチャーを組み合わせたヘテロジニアス・コンピューティング環境を確立しています。ここでは、4 つの主要なベンダーによるクラウド・テクノロジーが、汎用アプリケーション向けの計算科学センターのスーパーコンピューターである富岳と、AI 開発向けの理研の革新知能統合研究センターのコンピューター・システムである RAIDEN とともに動作しています。
優れたコスト・パフォーマンスとより簡単なモデル・ポーティング
理研のクラウドベースのコンピューティング・リソースのうち、種石氏が特に関心を持っているのは、Habana® Gaudi® AI プロセッサーを搭載した Amazon EC2 DL1 インスタンスです。これらのインスタンスは、8 台の Habana® Gaudi® AI プロセッサー、96 vCPU 搭載の第 3 世代インテル® Xeon® スケーラブル・プロセッサー、768 GB のメモリー、400Gbps の帯域幅ネットワーク、および 4 TB のローカルストレージを備えています。Habana® Gaudi® AI プロセッサー には、8 つのテンソル・プロセシング・コア (TPC)、32 GB の高帯域幅メモリー、および 10 の統合された 100 GbE RDMA over Converged Ethernet (RoCE) ポートを搭載しています。DL1 インスタンス上の 8 台の Gaudi® デバイスは、これらの RoCE ポートを介して網羅的に接続されており、優れたスケーリング効率を提供しています。AWS EC2 DL1 インスタンスは、現世代の GPU ベースの EC2 インスタンスと比較して、ディープラーニング・モデルのトレーニングにおいて、コスト・パフォーマンスを最大 40% 向上します。1
「Habana® Gaudi® AI プロセッサーは、ハードウェア上でのテンソル操作と行列乗算の両方を可能にし、ディープラーニングの計算グラフを最適にコンパイルすることで、強力なパフォーマンスを実現します。」と種石氏は説明します。
これらのプロセッサーは、Transformer が標準として採用された 2019年に発表され、素晴らしい効率性で Transformer モデルをトレーニングするのに役立ちます。また、AI アクセラレーター間の専用設計の DL アーキテクチャーの利点により、Gaudi® ベースのソリューションは、同等のコストの V100 GPU と比較して、コンピューター・ビジョンや NLP モデル向けに卓越したコスト・パフォーマンスと、2 倍超のトレーニング・スループットを実現します。」
Habana® Gaudi® AI プロセッサーと TensorFlow および PyTorch モデルは、少々のスクリプトの書き換えだけで簡単に併用できます。Habana® SynapseAI® SDK によるコードの変更は最小限であるため、開発者は AI セレクターを切り換えてコンピューティング・リソースに合わせることができ、既存のスクリプトを活用して移行の手間とコストを最小限に抑えることができます。
「TensorFlow と PyTorch の構文を使用することにより、変更する必要なく AI アクセラレーターと連携でき、Habana® SynapseAI® SDK 対応モデルとその派生製品を簡単に移植できます。」と種石氏は説明します。「数行のコードを追加して、AI アクセラレーターを制御する必要がありますが、データ定義、モデリング、トレーニング、または推論のプロセスにおける互換性には問題はありません。研究者にとっての最大の利点は、コスト効率の高いコンピューターを使用して、学術論文を通じて発表された新しいモデルをすぐに試すことができることです。」
大幅な高速化: タンパク質二次構造の予測を 22% 高速化、医療画像からの疾患パターンの分類を 18% 高速化2
種石氏は、Habana® Gaudi® AI プロセッサーを使用して、ディープラーニング・トレーニングを 2 つの分野で検証しました。1 つは、言語モデルである BERT-Large によるタンパク質の二次構造予測、もう 1 つが、コンピューター・ビジョン・モデルである CheXNet を使用した胸部 X 線疾患分類です。
タンパク質の二次構造を予測するために、3D 構造予測の第 1 段階において、DL モデルを事前定義されたタンパク質構造のデータベースに入力するタンパク質のファミリーを構成する 20 のアミノ酸残留物とトレーニングし、二次構造配列の推論を行いました。このテストにより、Habana® Gaudi® AI プロセッサーは、モデルのトレーニングにイテレーション当たりわずか 4.6 秒しかかかりませんでした。これは V100 GPU の 5.9 秒よりも 22% 高速です (図 1 を参照)。
図 1.タンパク質二次構造の予測。
CheXNet を使用した疾患分類では、30,805 人の患者の 112,120 枚の胸部 X 線画像のデータセットを入力し、種類と肺炎などの症状が発生する場所を推測しました。Habana® Gaudi® AI プロセッサーでは、イテレーション当たり 859.1 秒を要し、V100 GPU の 1,047.7 秒と比較して、トレーニングが 18% 高速化することを示しました。また、分散データと並列動作する Habana® Gaudi® AI プロセッサーは、単一のノード内での低いオーバーヘッドとより高いスケーラビリティーを保証します。
図 2。胸部 X 線画像における疾患の分類。
Habana® Gaudi®2 AI プロセッサーに対するより高い期待、先行モデルと比較して最大 3 倍のパフォーマンスを実現3
種石氏は、AI 創薬の未来を発展させるために、現在、タンパク質におけるリガンド結合の存在に起因する 3D 構造および機能の変化をより深く理解することに取り組んでおり、アミノ酸残留物の間隔を特定する分子ダイナミクス (MD) 軌道から AI モデルをトレーニングすることでこれらの変換を検出しています。医療用 AI の分野では、医療画像に加えて、マルチモーダル・データによるモデリングにおける研究を進める予定であり、現在、数万人の患者の電子医療記録、医療画像、ゲノム、ライフスタイルなどの膨大な量の複雑なデータが利用可能になっています。
インテルは、2022年5月に第 2 世代 Habana® Gaudi®2 AI プロセッサーを発表しました。このファミリーの最新モデルは、コンピューティング効率を向上し、プロセスノードを 16nm から 7nm に縮小し、前世代の 3 倍の 24 TPC を提供しています。また、第 2 世代プロセッサーは、第 1 世代の 3 倍となる 96 GB のメモリーと、大幅なネットワーク強化を特徴とし、GbE ポートの数を 10 から 24 に増加しています。これらの改善は、大幅なパフォーマンスの向上を実現し、A100 GPU と比較して ResNet-50 トレーニング・スループットにおいて約 2 倍優れたパフォーマンス4 および第 1 世代 Gaudi® と比較して 3 倍から 4.7 倍優れたパフォーマンスを提供します。3
「より多くの開発者が Habana® Gaudi® および Gaudi®2 AI プロセッサーを選択するほど、より多くのモデルとフレームワークがサポートを提供できるようになり、Habana® Gaudi® AI プロセッサーの導入における障壁を排除します。」と種石氏は述べています。「クラウド環境向けのより強力で使いやすいサービスが出現してきており、私はぜひそれらを試したいと考えています。」