インテル® FPGA で実現するデータ解析

インテルは、オープン・スタンダードのビルディング・ブロックを使用して、ソフトウェア・デファインド・インフラストラクチャーを基盤とするビッグデータ分析フレームワークとライブラリーを開発してきました。エンタープライズ対応のオープン・ソフトウェア・プラットフォームから分析用ビルディング・ブロック、さらにはランタイムの最適化、ツール、ベンチマーク、ユースケースまで、ビッグデータと分析はインテルのソフトウェアによって高速かつ容易になり、優れた洞察をもたらします。例えば、Apache Hadoop* と Spark* に最適化したフレームワーク、インテル® データ・アナリティクス・アクセラレーション・ライブラリー (インテル® DAAL)、ディープ・ニューラル・ネットワーク向けインテル® マス・カーネル・ライブラリー (インテル® MKL-DNN) 上で動作する BigDL (Apache Spark* 上の分散型ディープラーニング) などがあります。

これらのインテルのフレームワークとライブラリーは、インテル® FPGA のアクセラレーション・オプションに統合されています。アプリケーションに変更を加えることなくインテル® Xeon® プロセッサー、インテル® FPGA、またはその他のインテル® プラットフォーム上で実行することが可能です。インテルでは、エンドツーエンドのオーケストレーション、仮想化、セキュリティーといった FPGA アクセラレーション・フレームワークも提供しています。また、パートナー・エコシステムと共同で、多機能の単一インテル® FPGA を活用した NoSQL の非構造化リレーショナル・データ・ストアのアクセラレーションを提供することで、データストリーム、ネットワーク、データアクセス、アルゴリズムの高速化を実現しています。

概要

リレーショナル・データベース

従来型のリレーショナル・データベースは、ネットワーキング、データ・ストリーミング、データアクセスのインライン・アクセラレーションとプロトコルオフロードによって大幅に高速化することができます。   インライン・アクセラレーターには、圧縮、フィルタリング、暗号化があります。FPGA は、キャッシュ管理、メモリーマッピングなどのメモリーアクセスに使用することもできます。FPGA の柔軟なデータパスがハッシュ法やパターンマッチングにおいて高い効果を発揮するため、インデックス作成、検索、フィルタリングが非常に高速に動作します。

既存の SQL アプリケーションとデータベース・スキーマを変更せずに実行できるかどうかが重要なポイントですが、  インテルのパートナーである Swarm64 AS では、PostgreSQL*、MariaDB*、MySQL* データベース上ですぐに使えるアクセラレーション・ソリューション Swarm64 SDA を提供しています。Swarm64 SDA は、PCIe* FPGA カードと Linux* 用ドライバー・ソフトウェアに、上記のデータベース用の標準インターフェイスへのソフトウェア・プラグインを組み合わせたソリューションです。 

Swarm64 AS は、256 GB のメモリーを搭載したインテル® Xeon® プロセッサー E5-2695 v4 とインテル® Arria® 10 FPGA ベースの PCIe* カードを使用して、PostgreSQL* 9.6 上で高速データとリアルタイム分析のアクセラレーションを実証しました。通常の PostgreSQL* 9.6 データベースに対して、Swarm64 SDA のアクセラレーションで強化した PostgreSQL* 9.6 データベースのデータ挿入とクエリーが 5 倍以上高速に動作しました1。 同社は、従来のデータ・ウェアハウス・アプリケーション全般で約 2 倍の高速化と 3 倍以上のストレージ圧縮を実現可能と予測しています1

Hadoop*/Spark*

インテルは、Hadoop*/Spark* の reduce フェーズまたは「shuffle」フェーズ向けにより優れた圧縮技術を開発しています。インテル® フレームワークに統合することで、FPGA をユーザーに意識させない手法をとっています。 

Spark* については、さらに 3 つのアクセラレーションがあります。

  • Ingest/Kafka*: 抽出、変換、ロード (ETL) およびフィルタリング (パートナー)
  • BigDL: ディープラーニング・アクセラレーション (調査中)
  • マシンラーニング MLlib: ALS など (MCP POC)

NoSQL

NoSQL データストアでは大幅なオフロードも可能です。例えば、インテルのパートナーである Algo-Logic は FPGA を使用したネットワーク・プロトコルのオフロード、ローカルキャッシュ管理、高速検索によってキー・バリュー・ストア (KVS) のアクセラレーションを行っています。Algo-Logic は、1/10 未満のレイテンシーで 1 秒当たり 3 倍のメッセージを実現しました。また、FPGA アクセラレーションにより、ソフトウェアのみの KVS に比べてレイテンシーが予測可能になることも実証しました。予測可能なレイテンシーは、「レイテンシーの 99% を○○未満に維持する」といった規定をサービスレベル・アグリーメントに明記する場合に重要です。 

パートナー・ソリューション

Swarm64

高可用性の提供から、ほぼリアルタイムの分析を行うためのストレージの管理に至るまで、IT におけるデータの需要は増え続けています。リレーショナル・データベースと SQL は、エンタープライズ・クラスのデータ分析にとって重要な要素です。Swarm64 は、一般的なデータベースやストレージのアプリケーションと連携する、PostgreSQL* 用の革新的なアドオンを提供します。大量かつ高頻度のデータ処理を可能にし、新しい IT システムの導入の際に発生する特有のリスクとコストを削減できます。最も重要なのは、Swarm64SDA* が、要求の厳しいワークロードのデータ処理および分析を大幅に高速化するよう設計されていることです。Swarm64SDA* は、最新世代のインテル® FPGA を使用して、分析ユースケースに適した業界トップクラスのパフォーマンスを提供します。

数十億もの行や 1 秒当たり数百万もの挿入まで対応できる Swarm64SDA* によって、大量の構造化 / 非構造化データを実用的な知見に変えることが可能になります。Swarm64SDA* では、ネットワーク接続の監視、多数のインテリジェント・デバイスからのセンサー出力の収集、顧客の行動データまたはデータセンターやマシンパークからのテレメトリー・データの取り込みなど、幅広い IoT 機能をサポートします。ほぼリアルタイムの大規模なデータセットに対する Swarm64 の高速分析によって、脅威の検出、顧客との対話、予測メンテナンスなどのユースケースにおける迅速な対応が可能になります。

このソリューションは、コスト効率が高く使いやすいソリューションで、PostgreSQL*、MariaDB*、MySQL* などの一般的なデータベースのシームレスなアドオンとして利用できます。

Swarm64 の革新的な方法は、クエリー中のデータ確認を少なくし、処理を必要とするデータをシステム内で高速に移動するように再設計された、データベースのデータ構造と処理中のデータフローを基盤としています。インテル® FPGA は、I/O スループットを向上し、CPU が処理する必要のあるデータ量と演算数を削減します。インテル® FPGA の処理と独自のデータ構造がソフトウェア・レイヤーによってラッピングされたアドオンになっており、このアドオンが標準インターフェイス経由でサポート対象のデータベースとリンクします。

Swarm64 ソリューションでは、CPU とインテル® FPGA の間のシームレスな連携を実現し、ネットワークからアクセスするストレージや一般的なクラウド・インフラストラクチャーのストレージにおけるレイテンシーの増加と帯域幅の制限の問題を解消しています。これによって、ストレージをコンピューティングから切り離すことができ、柔軟なリソース運用と優れたコストパフォーマンスを実現できます。

インテル® Arria® 10 FPGA を活用したシームレスな Swarm64 プラグイン・ソリューション、Swarm64SDA* の利点をご確認ください。

 

ビデオ


得られる利点とソリューションの詳細をビデオで解説しています。

ソリューション概要


Swarm64 ではインテル® FPGA をどのように活用して、ほぼリアルタイムの大規模なワークロードのデータ処理および分析を高速化しているかを紹介します。

コンピューターおよびストレージの参照リンク

関連情報

アプリケーション別ソリューションを活用し、デザインの課題を解決する方法を紹介します。

すべてのアプリケーションを見る

重要なワークロードの高速化を可能にし、規格の進化または要件の変更への適応を支援するカスタマイズ可能なデバイスです。

すべてのデバイスを見る

免責事項

1

テストは、特定システムでの特定テストにおけるコンポーネントのパフォーマンスを測定しています。ハードウェア、ソフトウェア、システム構成などの違いにより、実際の性能は掲載された性能テストや評価とは異なる場合があります。購入を検討される場合は、ほかの情報も参考にして、パフォーマンスを総合的に評価することをお勧めします。性能やベンチマーク結果について、さらに詳しい情報をお知りになりたい場合は、https://www.intel.co.jp/benchmarks (英語) を参照してください。