PCCC24（第24回PCクラスタシンポジウム）：エヌビディア合同会社 テーマ２「データセンター効率化のためのデータプロセッシングユニット NVIDIA BlueFieldネットワーキングプラットフォーム」

PCクラスタコンソーシアムの開催する PCCC24（第24回PCクラスタシンポジウム）「サステイナブルなHPCに向けて」会員展示として公開中のスライドです。
詳細は下記のWebサイトへお越しください。

▽PCCC24 「サステイナブルなHPCに向けて」（2024年12月5日～6日）
https://www.pccluster.org/ja/event/pccc24/

1. | 2022 年 11 月
DPU

2. | ii

NVIDIA BlueField DPU ..................................................................... 5
..................................................................................................................................................................... 5
............................................................................................................................. 6
......................................................................................................................... 7
..................................................................................................... 10
DPU .............. 11
5G User Plane Function CPU ........ 11
BlueField-2 DPU OVS .............................................................................................. 14
IPsec BlueField DPU 247W ............ 16
VMware vSphere Redis ................................ 19
.......................................................................... 21
DPU ................................................................ 22
DPU .................................................................................. 25
DPU TCO ............................................................................................................................ 28
DPU ................................................................................................ 30

3. | iii

1: 2030 3% ( )
13% ( ) (: 2015 Anders S.G.Andrae
Huawei ) ................................................................................................................................... 6
2: PUE 2007 (: Uptime
Institute 2021 ) ......................................................................................................................... 9
3: CPU CPU ( UPF
50% 100% ) ............................................................................................. 12
4: BlueField DPU OVS OVS CPU
127 (29%) ................................................................................................................... 14
5 6: IPsec BlueField-2 IPsec
IPsec
IPsec ........................................................................................... 17
7: 25Gb/s Redis VMware vSphere Distributed
Services Engine DPU Redis
12 ......................................................... 19
8: 2022
2 () (: Rystad Energy Axios
) .................................................................................................................................................................................. 24
9: 2007 50% IT PUE 2.0 (
: EPA Energy Star 2007
8 2 ) ............................................................................................................................................................... 25
10: 2014 57% IT 43 %
PUE
1.75 (: United States Data Center Energy Usage Report (
)Sehabi Lawrence Berkeley National
Laboratory 2016 12 ) ........................................................................................................... 26

4. | iv

1 UPF CPU ( )
CPU (Ericsson ) ........................................... 13
2 OVS BlueField DPU
................................................................................................................................................................. 15
3 IPsec CPU BlueField DPU .......... 18
4 10,000 Redis 1,400
Redis VMware ESX BlueField DPU
TCO ................................................................................................................................. 21
5 DPU 2020 2021
1 200W
10,000 3 DPU
.................................................................................................................................................... 23
6 PUE PUE
100W ..................................................................................... 27

5. | 2022 年 11 月
NVIDIA BlueField DPU

(DPU)
SmartNIC

30%
10,000
3 500

IT
6 BlueField
DPU
TCO

6. | 6

1%
1.8%
1
2.7%
2
2030
8% 13% 2015 Huawei
3

1: 2030 3% (
) 13% ( )
(: 2015 Anders S.G.Andrae Huawei
)



1
「United States Data Center Energy Usage Report (米国データセンターのエネルギー使用量レポート )」、Arman Shehabi、
Sarah Josephine Smith他共著、Berkeley Lab、2016 6 月公開

2
「Energy-efficient Cloud Computing Technologies and Policies for an Eco-Friendly Cloud Market (エネルギー効率に優れた
クラウド コンピューティング テクノロジーとエコフレンドリなクラウド市場のポリシー )」European Commission Report (欧
州委員会レポート )、Environment Agency Austria and Borderstep Institute 作成、2020 年 11 月 9 日公開

3
「On Global Electricity Usage of Communication Technology: Trends to 2030 (通信テクノロジーのグローバルな電力使用量
について: 2030 年までのトレンド )」、Anders S.G.Andrae and Tomas Edler (Huawei Technologies Sweden AB 所属) 共著、
2015年 4 月 30 日公開

7. | 7


SoftwarePlatformsInfrastructure-as-a-
Service (SaaSPaaSIaaS)





1.

2. (PUE)

3. 30%

8. | 8
PUE
4.

5.
6. IT


13
PUE
PUE
PUE 2
PUE 1.121.25
PUE

PUE PUE

9. | 9
2: PUE 2007
(: Uptime Institute 2021 )

4
5
(4 )
(5 )

SmartNIC DPU

10. | 10


CPU VM
30% CPU
CPU

CPU
GPU
AI
CPU 1

DPU CPU
DPU /

DPU CPU CPU

DPU DPU
SDN
CPU

11. | 11
DPU


NVIDIA BlueField DPU
DPU
x86 CPU Arm CPU


NVIDIA SmartNIC DPU

5G User Plane Function
CPU
Ericsson NVIDIA
ConnectX-6 Dx SmartNIC 5G UPF (User
Plane Function)
4
CPU (CPU
) (CPU
)
CPU
ConnectX-6



4
電力使用効率に関する Ericsson のレポートは、 この Web ページで閲覧可能

12. | 12
3: CPU CPU
( UPF 50% 100% )



100%
23% (CPU 45W) 100% CPU
ConnectX SmartNIC

13. | 13
1 UPF CPU (
) CPU
(Ericsson )

100% UPF

CPU (
)
10,000 3

($0.15/kWh )
CPU

190W
749
CPU

170W (20W 10.5% ) 670 (79 )
CPU

145W (25W 14.7% ) 572 (98 )
CPU

145W (45W 23.7% ) 572 (177 )


NVIDIA BlueField-2 DPU ConnectX-6 Dx SmartNIC ConnectX-6 Dx


CPU

14. | 14
BlueField-2 DPU OVS

2 NVIDIA Open
vSwitch (OVS) OVS
(SDN)
OVS x86 CPU OS
BlueField DPU
0% 100% OVS
(CPU ) DPU
4: BlueField DPU OVS OVS CPU
127 (29%)

DPU 100% 29% (127W)
BlueField DPU OVS SDN
x86 CPU

15. | 15
2 OVS BlueField DPU
5


100% OVS
BlueField-2
10,000 3

($0.15/kWh )
CPU OVS 432 1,690
OVS BlueField DPU 305 1,190
127 (29%) 500 ()

DPU 2
(19.8Gbps 49.3Gbps) OVS
18 CPU 30%
OVS DPU CPU
5 1 (31.5s 5.5s)
DPU
OVS CPU
DPU



5
Dell PowerEdge R740 サーバー、 2 Intel Xeon Gold 6248 “Cascade Lake” CPU @2.50GHz (40 物理コア、 80 HT コア)、
Red Hat 8.3 KVMBlueField-2 DPU カード (2x25GbE ポート)

16. | 16
IPsec BlueField DPU

247W
3 IPsec
IPsec
7 OSI 3 IP
( )

IPSec Web
CPU
SmartNIC DPU CPU IPsec

IPsec CPU ( IPsec ) DPU
(IPsec DPU ) 21% (
140W) 34% ( 247W)

17. | 17
5 6: IPsec BlueField-2
IPsec
IPsec IPsec






0% ( = =
) 100% ( )
DPU
100%

18. | 18
3 IPsec CPU BlueField DPU
6

100% IPsec
BlueField-2

()
10,000 3

($0.15/kWh )
IPsec

665W
2,620
IPsec DPU

525W (140W 21% ) 2,070 (550 )
IPsec

728W
2,870
IPsec DPU

481W (247W 34% ) 1,900 (870 )

IPsec CPU
DPU
CPU

IPsec TLS
NVIDIA BlueField
DPU CPU



6
IPsec サーバーと IPsec クライアントのマシン : 2 Intel Xeon Platinum 8380 “Ice Lake” CPU @2.30GHz (80 物理コア/160
HT コア)、RHEL 8.3。DPU : BlueField-2 VPI カード、2x100GbE/EDR ポート搭載、暗号化有効、 16GB DRAM で Ubuntu
20.04 が稼働

19. | 19
VMware vSphere Redis

VMware NVIDIA Redis
VMware ESXi CPU ESXi
BlueField DPU 36 Redis
DPU
( 3.5% )Redis
12 CPU 36 Redis DPU
64 CPU 18%
7: 25Gb/s Redis VMware vSphere
Distributed Services Engine DPU
Redis 12
7




7
サーバー : 2 Intel “Ice Lake” Xeon Platinum 8380 CPU @2.30GHz、80 物理コア (1 ソケット当たり 40 コア)、1TB
DRAM。BlueField-2 DPU カード : 2x25GbE ポート、16GB DRAM

20. | 20
CPU

(
) 10,000
Redis-on-VMware TCO BlueField
15% 3 5,650

DPU 1 65W
3 500
BlueField DPU
TCO

21. | 21
4 10,000 Redis
1,400 Redis
VMware ESX BlueField DPU
TCO
8

VMware vSphere DSE
Redis
DPU BlueField DPU

10,000 8,500

(HW+SW)
51,071 (DPU ) 53,911 (2,840 )
5 1,070 4 5,820 (5,250 )
3 5,500 6,000 (500 )
3 5,500 5,100 (400 )
3 TCO 5 6,570 5 920 (5,650 / 10% )


BlueField DPU
34% 247

PUE DPU

24 365 1 247W 15
/kWh ( 823 /kWh 1238


8
DPU 搭載サーバー 1 台のコストは、 BlueField-2 DPU E シリーズのイーサネット カード (2x25GbE ネットワーク ポート、
16GB DRAM) の平均的な市販価格から、 2x25GbE ポート搭載 SmartNIC の平均的な市販価格を引いて計算した。いずれも
VMware vSphere DSE をバンドルし、それに合わせたサーバー構成と必要なソフトウェア ライセンスを含む。

22. | 22
/kWh )10,000
325 [0.247 kW * (24 / * 365 /) * $0.15/kWh
* 10,000 ]


DPU
DPU
0.15 /kWh
2021 12

23. | 23
5 DPU
2020 2021
1 200W 10,000 3
DPU

/kWh (2021
12 )
9

200W
10,0003
(
)
0.15 789
0.076 399
0.084 440
0.085 447
0.088 463
0.100 526
0.101 531
0.157 825
0.162 851
0.177 930
0.180 946
0.185 972
0.205 1,077
0.214 1,125
0.298 1,566
0.306 1,608
0.320 1,682


9
2021 年 12 月時点の電気料金 : 海外の国ついては GlobalPetrolPrices.com のデータを参照し、米国の州については米国エネ
ルギー情報局 (EIA) の 2020 年の統計データ (2021 年 11 月公開) を利用した。ウクライナ紛争による 2022 年のエネルギー価格
高騰は織り込んでいない。

24. | 24

2
DPU TCO 2

8:
2022 2 () (: Rystad
Energy Axios )

25. | 25
DPU

(
)
40%

9: 2007 50% IT
PUE 2.0 (: EPA
Energy Star 2007 8 2 )

26. | 26
10: 2014 57% IT
43 %
PUE 1.75
(: United States Data Center Energy Usage Report (
)Sehabi
Lawrence Berkeley National Laboratory 2016 12 )

9 10
2007 2.0 PUE 2014
1.75 2020
PUE () 1.57 29%
5% 2% 64% IT (
) PUE 2.0
1W 2W
PUE 1.5 1W
1.5W

27. | 27
6 PUE
PUE 100W

PUE
PUE 2.0 (2007 ) 100W 200W
PUE 1.75 (2014 ) 100W 175W
PUE 1.5 (2020 ) 100W 150W
PUE 1.2 (2021 ) 100W 120W

PUE PUE
2.0 2W 1W
100W 200W
( )
PUE
DPU
DPU
DPU
PUE

PUE

PUE
( 1.5)

CPU
DPU
(

28. | 28
)

( )
DPU TCO
DPU (TCO)

DPU


DPU ( )
DPU
IPsec
1,000 10,000 3 TCO DPU
CPU
DPU
0.15 /kWh
PUE 1.5

29. | 29
7. 10,000 IPsec
/ BlueField DPU TCO

TCO
DPU DPU

10,000
8,200 (18% )
10,500 (DPU ) 12,000 (DPU )
10

105,000,000 98,400,000
(660 / 6.3% )

728W (0.728 kW)
481W (247W / 34% )
3
191,318,400 kWh
103,653,576 kWh (45.8% )

(0.15 /kWh)
28,697,760 15,548,036 ($131 )
(PUE=1.5) 43,046,640 23,322,054
(197 )
3 TCO
( + )
148,046,640 121,722,054
(263 / 17.8% )
BlueField DPU
CPU
10,000
3 2,600
DPU 6.3%
46% DPU
3 660 1,970
0.15 /kWhPUE 1.5 (
PUE TCO )


10
DPU 搭載サーバー 1 台のコストは、 BlueField-2 DPU VPI カード (2x100GbE/EDR ネットワーク ポート、暗号化オフロード
有効、16GB DRAM) の平均的な市販価格から、 2x100GbE ポート搭載 SmartNIC の平均的な市販価格を引いて計算した。

30. | 30
DPU

DPU
IT
TCO
DPU
NVIDIA BlueField DPU https://www.nvidia.com/ja-
jp/networking/products/data-processing-unit/
NVIDIA BlueField DPU VMware vSphere
https://www.nvidia.com/en-gb/launchpad/infra-optimization/experience-vmware-project-
monterey-early-access-on-bluefield-2-dpu/

31. NVIDIA Corporation | 2788 San Tomas Expressway, Santa Clara, CA 95051
http://www.nvidia.com

NVIDIA Corporation ( NVIDIA
)
NVIDIA
( )

NVIDIA

NVIDIA NVIDIA
NVIDIA ( )NVIDIA NVIDIA

NVIDIA NVIDIA
NVIDIA NVIDIA

NVIDIA
NVIDIA

NVIDIA
NVIDIA (i) NVIDIA
(ii)
NVIDIA
NVIDIA NVIDIA
NVIDIA
NVIDIA
NVIDIA

NVIDIA ( )
NVIDIA
NVIDIA
( )
NVIDIA


NVIDIA NVIDIA NVIDIA Corporation / /

Copyright
© 2022 NVIDIA Corporation & Affiliates.All rights reserved.