Intel® Select Solutions for AI Inferencing v2

Intel® Select Solutions for AI Inferencing are turnkey platforms that provide pre-bundled, verified, and optimized solutions for low-latency, high throughput inference performed on a CPU, not on a separate accelerator card.

View the solution brief ›

Base and Plus Configurations for the Intel Select Solutions for AI Inferencing v2

Ingredient

Intel Select Solutions for AI Inferencing v2 Base Configuration

Intel Select Solutions for AI Inferencing v2 Plus Configuration

Number of Nodes

Single-node configuration

Single-node configuration

Processor

2 x Intel® Xeon® Gold 6248 processor (2.50 GHz, 20 cores, 40 threads), or a higher number Intel® Xeon® Scalable processor

2 x Intel® Xeon® Platinum 8268 processor (2.90 GHz, 24 cores, 48 threads), or a higher number Intel Xeon Scalable processor

Memory

192 GB or higher (12 x 16 GB 2,666 MHz DDR4 ECC RDIMM)

384 GB (12 x 32 GB 2,934 MHz DDR4 ECC RDIMM)

Boot Drive

1 x 256 GB Intel® SSD DC P4101 Series (M.2 80 mm PCIe* 3.0 x4, 3D2, TLC) or higher

1 x 256 GB Intel SSD DC P4101 Series (M.2 80 mm PCIe* 3.0 x4, 3D2, TLC) or higher

Storage

Data drive: 1.6 TB NVM Express* (NVMe*) Intel® SSD DC P4510 Series

Cache drive: 375 GB Intel® Optane™ SSD DC P4800X U.2 NVMe* SSD

Data drive: 1.6 TB NVMe* Intel SSD DC P4510 Series

Cache drive: 375 GB Intel Optane SSD DC P4800X U.2 NVMe* SSD

Data Network

1 x Intel® Ethernet Converged Network Adapter (Intel® Ethernet CNA) XXV710-DA2 SFP28 DA Copper PCIe* x 8 dual-port 25/10/1 GbE

1 x Intel Ethernet Converged Network Adapter (Intel Ethernet CNA) XXV710-DA2 SFP28 DA Copper PCIe* x 8 dual-port 25/10/1 GbE

Management Network

Integrated 1 GbE port 0/RMM port

Integrated 1 GbE port 0/RMM port

Software

Linux OS

CentOS Linux release 7.6.1810/Red Hat Enterprise Linux* (RHEL) 7

CentOS Linux release 7.6.1810/Red Hat Enterprise Linux* (RHEL) 7

Intel® Math Kernel Library (Intel® MKL)

Intel Math Kernel Library (Intel MKL) version 2019 Update 4

Intel Math Kernel Library (Intel MKL) version 2019 Update 4

Intel® Distribution of OpenVINO™ Toolkit

2019 R1.0.1

2019 R1.0.1

OpenVINO™ Model Server

0.4

0.4

TensorFlow

1.14

1.14

PyTorch

1.2.0

1.2.0

MXNet

1.3.1

1.3.1

Intel® Distribution for Python*

2019 Update 1

2019 Update 1

Intel® Math Kernel Library for Deep Neural Networks (Intel® MKL-DNN)

0.19 (implied by the OpenVINO™ toolkit)

0.19 (implied by the OpenVINO toolkit)

Deep Learning Reference Stack (DLRS)

v4.0

v4.0

Source-to-Image

1.1.14

1.1.14

Docker

18.09

18.09

Kubernetes

v1.15.3

v1.15.3

Kubeflow

v0.6.1

v0.6.1

Helm

2.14.3

2.14.3

Seldon Core

0.3.2

0.3.2

Ceph

v14.2.1

v14.2.1

Min.io (Rook v1.0)

RELEASE.2019-04-23T23-50-36Z

RELEASE.2019-04-23T23-50-36Z

Rook

1.0.5

1.0.5

Other

Trusted Platform Module (TPM)

TPM 2.0

TPM 2.0

Minimum Performance Standards

Verified to meet or exceed the following minimum performance capabilities:

Classification Using ResNet-50 on OpenVINO Toolkit

1,900 images per second (91 percent top-5 accuracy)

2,650 images per second (91 percent top-5 accuracy)

Scaling in Emulated Real-World Scenario from 1 Node to 2 Nodes Up to 1.91x1 Up to 1.91x2

Business Value of Choosing a Plus Configuration Over a Base Configuration

The Plus configuration provides up to 39 percent faster inferencing performance.1

**Recommended, not required

免責事項

1

2019年10月9日にインテルが実施したテスト。テスト構成:2ノード、インテル® Xeon® Gold 6248プロセッサー (2.50 GHz、20 コア、40 スレッド)x2、16 GB 2,666 MHz DDR4 ECC RDIMM (合計メモリー192 GB)x12、ブートドライブ:1 x 256 GB インテル® SSD DC P4101シリーズ(M.2 80 mm PCIe* 3.0 x4、3D2、TLC)x1、データドライブ:1.6 TB NVM Express* (NVMe*) インテル® SSD P4510シリーズ、キャッシュドライブ:375 GB インテル® Optane™ SSD DC P4800X U.2 NVMe* SSD、データ・ネットワーク:10Gb インテル®イーサネット・コンバージド・ネットワーク・アダプターX722 (インテル® イーサネットCNA X722)x1、管理ネットワーク:統合1ギガビット・イーサネット(GbE) ポート0/RMMポート。ソフトウェア:CentOS* Linux リリース 7.6.1810/Red Hat Enterprise Linux* (RHEL) 7、インテル® マス・カーネル・ライブラリー (インテル® MKL) バージョン2019 アップデート4、インテル® Distribution of OpenVINO™ ツールキット2019 R1.0.1、OpenVINO™ モデルサーバー0.4、インテル® Distribution for Python* 2019 アップデート1、インテル® ディープ・ニュートラル・ネットワーク向けマス・カーネル・ライブラリー(インテル® MKL-DNN) 0.19、ディープラーニング・リファレンス・スタック (DLRS) v4.0、Docker v18.09、Helm v2.14.3、Kubernetes v1.15.3、Kubeflow v0.6.1、Seldon Core v0.3.2, Rook v1.0.5、Ceph v14.2.1、Min.io (Rook v1.0) RELEASE.2019-04-23T23-50-36Z。テスト全体を通してエミュレートされた実在のシナリオでスケーリングー正常化されたパフォーマンス 1(インテル®ハイパースレッディング・テクノロジー(インテル® HTテクノロジー):オフ)。

2

2019年10月9日にインテルが実施したテスト。テスト構成:2ノード、インテル® Xeon® Platinum 8268 プロセッサー(2.90 GHz、24コア、48スレッド)x2、16 GB 2,666 MHz DDR4 ECC RDIMM (合計メモリー192 GB)x12、ブートドライブ:256 GB インテル® SSD DC P4101シリーズ(M.2 80 mm PCIe* 3.0 x4、3D2、TLC)x1、データドライブ:1.6 TB NVM Express* (NVMe*) インテル® SSD P4510シリーズ、キャッシュドライブ:375 GB インテル® Optane™ SSD DC P4800X U.2 NVMe* SSD、データ・ネットワーク:10Gb インテル® イーサネット・コンバージド・ネットワーク・アダプターX722 (インテル® イーサネット CNA X722)x1、管理ネットワーク:統合1 ギガビット・イーサネット(GbE) ポート 0/RMM ポート。ソフトウェア:CentOS* Linux リリース 7.6.1810/Red Hat Enterprise Linux* (RHEL) 7、インテル® マス・カーネル・ライブラリー (インテル® MKL) バージョン2019 アップデート4、インテル® Distribution of OpenVINO™ ツールキット2019 R1.0.1、OpenVINO™ モデルサーバー0.4、インテル® Distribution for Python* 2019 アップデート1、インテル® ディープ・ニュートラル・ネットワーク向けマス・カーネル・ライブラリー(インテル® MKL-DNN) 0.19、ディープラーニング・リファレンス・スタック (DLRS) v4.0、Docker v18.09、Helm v2.14.3、Kubernetes v1.15.3、Kubeflow v0.6.1、Seldon Core v0.3.2, Rook v1.0.5、Ceph v14.2.1、Min.io (Rook v1.0) RELEASE.2019-04-23T23-50-36Z。テスト全体を通してエミュレートされた実在のシナリオでスケーリングー正常化されたパフォーマンス 1(インテル®ハイパースレッディング・テクノロジー(インテル® HTテクノロジー):オフ)。