インテル® Gaudi® 2 AI アクセラレーター
GenAI と LLM 向けのハイパフォーマンス・アクセラレーション。
インテル® Gaudi® 2 AI アクセラレーター
インテル® Gaudi® 2 AI アクセラレーターでディープラーニングの価格性能が向上
さらには、最大級の言語モデルとマルチモーダル・モデルから、より基本的なコンピューター・ビジョンや NLP モデルに至るまで、最新モデルのトレーニングおよび実行の運用効率も向上します。インテル® Gaudi® 2 アクセラレーターは、クラウドでもデータセンターでも、効率的なスケーラビリティーのために設計されており、AI 業界が必要とする選択肢をこれまで以上に提供しています。
インテル® Gaudi® 2 アーキテクチャーの機能:
実証済みの第 1 世代インテル® Gaudi® アーキテクチャーの設計基盤上に構築。
- 7nm プロセス・テクノロジー
- ヘテロジニアス・コンピューティング
- 24 の Tensor プロセッサー・コア
- デュアル行列乗算エンジン
- 24 の 100 ギガビット・イーサネットをチップ上に統合
- 96GB HBM2E メモリー
- 48MB SRAM
- インテグレーテッド・メディア・コントロール
インテル® Gaudi® 2 AI アクセラレーターは、唯一ベンチマークされた、第 1 世代の AI パフォーマンスにおける Nvidia H100 の代替品です
それぞれ 2023年12月と 2024年3月に公開された最新の MLPerf Training 3.1 と推論 4.0 のベンチマークに基づいています。インテル® Gaudi® 2 アクセラレーターは、唯一ベンチマークが実施された NVIDIA H100 の代替となります。
MLPerf 業界のベンチマークに加えて、インテル® Gaudi® 2 AI アクセラレーターは、その他のサードパーティーにおける評価で、スコアを出しています1。
インテル® Gaudi® 2 AI アクセラレーターは、大規模で柔軟なスケールアウトをサポート
すべてのインテル® Gaudi® 2 AI アクセラレーターに 24 の 100 ギガビット・イーサネット (RoCEv2) ポートが統合されているため、お客様はインテル® Gaudi® 2 AI アクセラレーターのパフォーマンスを 1 つのアクセラレーターから数千のアクセラレーターまで拡張でき、柔軟でコスト効率の高いスケーラビリティーのメリットを得ることができます。
8 個のインテル® Gaudi® 2 アクセラレーターを搭載したサーバーのリファレンス設計については、以下の画像を参照してください。
インテル® Gaudi® 2 AI アクセラレーターによるシステム規模構築に関する詳細については、ネットワーキングページをご確認ください ›
注目のパートナー
Cisco Nexus 9364D-GX2A スイッチは、インテル® Gaudi® 2 アクセラレーターを接続し、大規模言語モデル (LLM) トレーニング、推論、または同様の生成 AI ワークロードを実行するためのスケールアウト・ネットワークを構築することができます。
インテル Gaudi 2 AI アクセラレーターで、容易に新規モデルの構築そして既存モデルを移行
インテル® Gaudi® ソフトウェアは、インテル® Gaudi® プラットフォームのパフォーマンスと容易性に最適化されており、デベロッパーがインテル® Gaudi® ソフトウェアを迅速かつ容易に開始できるようドキュメント、ツール、ハウツーコンテンツ、リファレンス・モデルを提供します。
Hugging Face ハブ上の Habana Optimum Library にある 50 万を超えるモデルにアクセスでき、簡単に実装できます。
詳細については、インテルのデベロッパー・サイトをご覧ください ›
製品と性能に関する情報
ワークロードと構成については、https://habana.ai/habana-claims-validation を参照してください。結果は状況により異なります。https://huggingface.co/blog/habana-gaudi-2-benchmark https://huggingface.co/blog/habana-gaudi-2-bloom