インスタンスサイズが異なる場合、M6i インスタンスは、第 2 世代インテル Xeonスケーラブル・プロセッサーを搭載した M5n インスタンスよりも 1 秒当たりの推論演算を多く実行しました。
企業は、顧客やその他のユーザーが入力したテキストを分析するチャットボットなど、さまざまなビジネス・アプリケーション向けに自然言語マシンラーニング推論ワークロードを使用しています。このタイプの作業は、コンピューティング・リソースに大きな要求を置き、高性能なクラウド・インスタンスを選択することが非常に重要になります。
BERT は、2 つの Amazon Web Services (AWS) EC2 クラウド・インスタンス・タイプのパフォーマンスを測定するために選択した汎用自然言語処理 (NLP) モデルです。第 3 世代インテル Xeonスケーラブル・プロセッサーと第 2 世代インテル Xeon・スケーラブル・プロセッサーを搭載した M5n インスタンスで、2 つのサイズの M6i インスタンスをテストしました。その結果、第 3 世代インテル® インテル Xeon・スケーラブル・プロセッサーを搭載した 32 基の vCPU インスタンスと 64 基の vCPU M6i インスタンスが、いずれも M5n プロセッサーを上回っていることがわかりました。これらの調査結果に基づき、企業は M6i インスタンスを選択することで、ユーザーにより迅速な体験を提供できます。
64 vCPU を搭載した M6i インスタンス
2 つの AWS インスタンスシリーズの BERT-Large 推論パフォーマンスを比較するために、TensorFlow フレームワークを使用しました。図 1 に示すように、第 3 世代インテル Xeon スケーラブル・プロセッサー・ファミリーによって有効化された 64 vCPU m6i.16xlarge インスタンスは、第 2 世代インテル Xeonスケーラブル・プロセッサーを搭載した m5n.16xlarge インスタンスよりも 64% 高いスループットを実現しました。
32 vCPU を搭載した M6i インスタンス
図 2 に示すように、第 3 世代インテル® Xeon® スケーラブル・プロセッサー・ファミリーによって有効化された 32 vCPU m6i.8xlarge インスタンスは、第 2 世代インテル Xeonスケーラブル・プロセッサーを搭載した m5n.8xlarge インスタンスよりも 40% 高いスループットを実現しました。
結論
2 つの AWS インスタンスシリーズ (第 3 世代インテル Xeon スケーラブル・プロセッサーを搭載した M6i インスタンスと、第 2 世代インテル Xeonスケーラブル・プロセッサーを搭載した M5n インスタンス) の BERT-Large 自然言語処理推論パフォーマンスをテストしました。M6i インスタンスは、2 つの異なるサイズで、M5n インスタンスを 64% も上回っています。顧客や他のユーザーに、より迅速な体験を提供するには、第 3 世代インテル Xeonスケーラブル・プロセッサーを使用して、Amazon M6i インスタンスで NLP 推論ワークロードを実行します。
詳細情報
第 3 世代インテル Xeon スケーラブル・プロセッサーを搭載した Amazon M6i インスタンスで NLP 推論ワークロードの実行を開始するには、 https://aws.amazon.com/ec2/instance-types/m6i/ にアクセスしてください。
2021年11月30日にインテルが実施したシングル VM テスト。Ubuntu 20.04 LTS で構成されたすべての VM 5.11.0-1022-aws、EBS ストレージ、GCC=8.4.0、Python=3.6.9、tensorflow=2.5.0、Docker=20.10.7、containerd=1.5.5、BERT モデル、バッチサイズ 1、シーケンス長 384、INT8 精度。インスタンスの詳細: m6i.8xlarge、32vcpus、インテル® Xeon® Platinum 8375C CPU @ 2.90GHz、128GB DDR4 メモリー合計。m5n.8xlarge、32vcpus、インテル® Xeon® Platinum 8259CL CPU @ 2.50GHz、DDR4 メモリー合計 128GB。m6i.16xlarge、64vcpus、インテル® Xeon® Platinum 8375C CPU @ 2.90GHz、DDR4 メモリー合計256GB。m5n.16xlarge、64vcpus、インテル® Xeon® Platinum 8259CL CPU @ 2.50GHz、DDR4 メモリー合計 256GB。