IoT を活用した ICT 機器情報取得とデータセンタの総合的なエネルギー効率化の検討

（第 1報）高温対応サーバによる温度変化・高温時の特性把握

Acquisition of ICT equipment information using IoT and Study on comprehensive energy

efficiency of data center

Part1 Grasping the characteristic of high temperature servers under different temperature conditions

正会員 ○堀口 茂美(NTT データ) 正会員 黒瀧 晃平(NTT データ) 正会員 高橋 翼(NTT データ)

正会員 髙橋 慎一(日比谷総合設備) 正会員 吉牟田 圭一(日比谷総合設備)

非会員 久保 淳 (日本電気) 非会員 高橋 誠 (NTT ファシリティーズ)

Shigeyoshi HORIGUCHI*1 Kouhei KUROTAKI*1 Tsubasa TAKAHASHI*1

Shinichi TAKAHASHI*2 Keiichi YOSHIMUTA*2 Atsushi KUBO*3 Makoto TAKAHASHI*4

*1 NTT DATA Corporation *2 Hibiya Engineering,Ltd. *3 NEC Corporation *4 NTT FACILITIES, INC.

Digital demand is rising, and data center power usage is on the rise. For DC business operators, the efficiency of cooling

energy is an eternal issue from the aspect of environmental consideration and cost competitiveness. In this report, we focused

on the recent expansion of temperature and humidity performance of ICT equipment, acquired information from ICT

equipment and analyzed it, and verified about the possibility of energy efficiency improvement mainly for outdoor air

cooling in the data center.

はじめに

近年、デジタル需要の増加により、データセンタ（以降

DCとする）の電力使用量が急拡大しており、環境配慮と

コスト競争力の両面からエネルギーの効率化は DC 事業

者の喫緊の課題となっている。DC消費エネルギーの多く

を占める ICT 機器とそれらを冷却するファシリティは、

温度を上げると消費電力が増加する ICT 機器と、減少す

るファシリティの相反する関係がある。そのため、消費エ

ネルギーの最適化を図るためには双方の連携とトータル

でのエネルギー管理が必要である。

本報では、これまで検討はなされてきたものの実現で

きなかった、ICT機器に内蔵されている多数のセンサから

得られる情報を、IoTを活用して収集し、ファシリティ情

報と統合して空調制御に活用する手法を検討した。

また、サーバの耐温度湿度許容範囲が拡大傾向にある

ことを受け、外気冷房を主体とした自然エネルギーを最

大限活用し、エネルギー効率をより一層向上させるため

の取り組みをまとめ、異分野の技術者が互いに協力して

この課題に取り組んだ結果を報告する。

1．検証概要

1.1 検証目的

サーバから得られる様々な情報から、空調制御に応用

できる可能性を探るとともに、高温対応サーバの吸気温

度と消費電力との関係等を検証し、空調設定温度の緩和

や外気利用による省エネルギー性について把握する。

1.2 検証環境

(1) 検証室概要

検証環境の平面概略図を図-1、検証室風景を写真-1に示

す。本検証は、都内某所のDC内に構築された検証室にて

行われ、空調システムとしては壁吹出し方式、室内はコー

ルドアイルとホットアイルが分離されており、ホットア

イルコンテインメントが採用されている。

図-1 検証環境平面概略図

(a)コールドアイル (b) ホットアイル

写真-1 検証室風景

コールドアイル（CA）

ホットドアイル（HA）

ホットドアイル（HA）

コールドアイル（CA）

コールドアイル（CA）

チャンバールーム

空調機

空調機

空調機

空調機

分電盤

：実サーバ搭載ラック（1Uサーバ：7台） ：模擬発熱体搭載ラック（6kW/ラック） ：空ラック

分電盤

分電盤

分電盤

分電盤

分電盤

分電盤

分電盤

外気導入口

空気調和・衛生工学会大会学術講演論文集｛2019.9.18 〜 20（札幌）｝ -21-

第3巻

H-4

空調機は、水冷 AHU（冷房能力：180kW/台）が 4 台、

19 インチラックが 84 台（21 台×4 架列）設置されてい

る。熱源は、空冷モジュールチラーおよび冷水ポンプ等で

構成させているほか、全外気導入運転が可能な空調シス

テム設計がなされている。

(2) 使用機器

今回の検証にあたっては、全 84台のラックのうち 2台

のラックには、発売時期が異なる 2 種類の高温対応型の

1Uサーバ（以下、タイプG、タイプH）を 7台/ラック設

置した。その他のラックには室内の発熱源として模擬発

熱体（6kW/ラック程度）を図-1に示すように分散配置し、

合計 264kWの模擬発熱体を稼働させた。写真-2に実サー

バおよび模擬発熱体の搭載状況を､表-1 に検証に用いた

サーバの温湿度使用条件を示す。

(3) システム構成

サーバからデータを取得するためのシステム構成イメ

ージを図-2に示す。サーバの様々な情報は、IPMI規約に

則り、専用のネットワークに接続された DCIM が取り出

す。その情報は LMS によりデータベースに 30 秒周期で

格納される。また、これらDCIMからの情報（以降、DCIM

出力値）とは別に、データの妥当性を確認するために、サ

ーバの前面部での吸気温度をデータロガー（以降、ロガー

温度）により、サーバの消費電力を PDUに内蔵された電

力計（以降、PDU電力）により計測した。

(4) 取得可能情報

サーバから取得可能な情報を表-2 に示す。タイプ G、

タイプ H でそれぞれ異なっているものの主要な情報は大

概のサーバで取得可能である。今回の検証ではサーバの

吸気温度、内蔵ファンの運転状態、機器全体消費電力、

CPU 消費電力等を用いて検証を行った。それら以外も

様々な情報が取得でき、今後の検証やファシリティ側の

管理情報として利用可能である。これらの情報を活用す

ることで、設置したすべての ICT 機器の状態把握、機器

更改時の情報取得等を、各種センサ追加を伴わずに迅速

に対応可能なため、コストや手間などを大幅に縮減する

ことが可能となると考える。

1.3 検証条件・スケジュール

検証は 14 台のサーバの CPU 負荷を 20[％]、40[％]、

60[％]、80[％]、100[％]のそれぞれの状態で保持し、一年

を通して外気を直接取り込むことを想定して、空調機か

らの吹出設定温度を 20[℃]から 5[K]刻みで 40[℃]まで上

昇させた。また、温度上昇時と降下時の挙動の違いや、サ

ーバの温度に対する運転状態の再現性を確認するため、

40[℃]からの降下条件も同様に併せて行った。

なお、検証時の空調制御は、定風量とし、吹出温度によ

る冷水流量制御とした。また、各設定温度の状態を 1.5時

間保持し、状態が安定した後半 1 時間のデータについて

以降の分析を行った。

(a) 実サーバ搭載状況 (b) 模擬発熱体搭載状況

写真-2 実サーバおよび模擬発熱体搭載状況

図-2 システム構成

表-2 サーバから取得可能な情報（抜粋）

図-3 サーバ廻りの温度計測概略図

呼称 タイプG-1～7 タイプH-1～7

メーカ

機種名 Express 5800/R120g-1M Express 5800/R120h-1M

使用温度条件 [℃DB] 5～40

10～35

35～40※1

40～45※2

使用湿度条件 [%RH] 20～80 8～90

※1　年間稼働時間の10[％]以内　※2　年間稼働時間の 1[％]以内

NEC

サーバ機器DCIM

LMS/データベース

情報取得

PDU電力

ロガー温度

情報蓄積/分析

IPMI

シリアル通信

SNMP

センシング

DCIM：DataCenter Infrastructure ManagementLMS ：Local Monitoring SystemPDU ：Power Distribution UnitIPMI ：Intelligent Platform Management InterfaceSNMP：Simple Network Management Protocol

タイプG

電源出力温度 吸気温度 マザーボード温度

CPU#1 電力 CPU#1 温度 IO周辺温度

CPU#1 温度マージン CPU#2 温度 SASコントローラ温度

チップセット温度 CPU#1 メモリ周辺温度 PCI温度

マザーボード温度 CPU#2 メモリ周辺温度 電池周辺温度

Frontpanel温度(吸気温度) 前面温度 電源#1 吸気温度

CPU#1 メモリ周辺温度 CPU#1用 電源module温度 電源#1 温度

CPU#2 メモリ周辺温度 CPU#2用 電源module温度 ヒューズ温度

電源#1 吸気温度 チップセット温度 電源#2 周囲温度

電源#1 排気温度 BMC温度 ファン回転数　7台分

HDDケージボード温度 BMC周囲温度 CPU利用率

Fan回転数(CPU側)7台分 HDD Controller温度 CPU温度異常

Fan回転数(HDD側)7台分 HDD Controller周辺温度 システム温度異常

タイプH

サーバラックコールドアイル

サーバ

DCIM温度センサ（吸気温度）

ロガー温度（検証用）

吸気 排気

ホットアイル

空調用温度センサ

ラック表面

コールドアイル

温度

表-1 検証に用いたサーバの使用条件

空気調和・衛生工学会大会学術講演論文集｛2019.9.18 〜 20（札幌）｝ -22-

2．DCIM出力値の検証

2.1 サーバの吸気温度

本来、DC空調の冷却対象がサーバであることから、図

-3 に示すようなコールドアイルやサーバラック表面に取

り付けられた空調用温度センサよりもサーバ内部に実装

されている温度センサの方がより厳密な温度を示してい

ると考えられる。図-4に今回検証したタイプGおよびタ

イプ H におけるロガー温度と DCIM 温度との比較の一

例を示す。DCIM 温度の方が機器筐体内部にあるため若

干高い傾向を示すことや、IPMI規約の制限から分解能が

1[K]であるものの、相関は高く、空調制御や状態監視等に

十分活用できることが確認できた。

2.2 サーバの消費電力

前項同様に、図-5に PDU電力とDCIM電力との比較の

一例を示す。一部、多少のばらつきがあることや、IPMI

規約により分解能が 5[W]であるものの、PDU 電力との

相関は高く、空調制御や電力監視等に十分活用できるこ

とが確認できた。

3．高温対応サーバの消費電力特性

3.1 高温対応サーバについて

高温対応サーバとは、機器内部の空気流路や冷却部品

の見直し等を行うことにより、温湿度耐性を高めた機器

である。各ベンダにより耐性条件や保証条件は異なるが

サーバに限らず、ネットワーク機器やストレージを含め、

市場展開されつつあり省エネルギーの観点からも普及が

期待されているものである。

3.2 吸気温度帯別のサーバ消費電力

図-6にタイプG、Hそれぞれの吸気温度（ロガー温度）

と消費電力の関係の一例を示す。図中のプロットは、各条

件での定常状態 1 時間の平均値であり、塗りつぶしが温

度下降時、白抜きが温度上昇時を示している。

機種が異なるため、吸気温度毎のそれぞれの消費電力

の絶対値やタイプHの低負荷時に違いはあるが、両タイ

プの共通傾向として、吸気温度が 35[℃]程度までは、消費

電力が緩やかに直線的に増加し、その後増加傾向が大き

くなる結果となった。また、温度下降時、上昇時ともに同

様の傾向を示していることから、下降時、上昇時の挙動に

大差はないことや、温度に対する運転状態の再現性を確

認することができた。

3.3 吸気温度帯別のCPU消費電力

タイプHでは、DCIM出力値として機器全体の消費電

力とは別にCPU単体の消費電力値が出力されるため、吸

気温度帯別の CPU 消費電力特性の把握が可能である。

CPU消費電力は、CPU負荷率により変動するものの、吸

気温度の影響を受けないことが分かった。また、機器全体

の消費電力とCPU消費電力の差分には、CPU以外の機器

（電源ユニット、HDD、メモリ等）が含まれる

が、それぞれCPU同様に吸気温度の影響は少ないと考え

られ、消費電力の変動要素は内蔵ファンによるものと考

えられる。

3.4 吸気温度によるCPUパフォーマンス

サーバ室の設定温度を高くすることで空調消費エネル

ギーは低減できる可能性があるものの、それによりサー

バの計算パフォーマンスが低下するようではエネルギー

消費量の低減も意味をなさない。この観点から、吸気温

度 20[℃]および 40[℃]におけるベンチマーク試験を行

い、機器のパフォーマンスを比較した。図-7に示す試験

の結果、CPUパフォーマンスの差はほぼなく、吸気温度

に依存しないことが確認できた。

4．外気利用による省エネルギー性の検討

今回の検証にて、CPU消費電力やCPUパフォーマンス

は吸気温度に依存せず、かつサーバ全体の消費電力の増

図-4 サーバ吸込温度（ロガー－DCIMの比較）

図-5 サーバ消費電力（PDU - DCIMの比較）

1820222426283032343638404244

18 20 22 24 26 28 30 32 34 36 38 40 42 44

DCIM温度

[℃]

ロガー温度 [℃]

タイプH-1

Y=X±2

1820222426283032343638404244

18 20 22 24 26 28 30 32 34 36 38 40 42 44

DCIM温度

[℃]

ロガー温度 [℃]

タイプH-2

1820222426283032343638404244

18 20 22 24 26 28 30 32 34 36 38 40 42 44

DCIM温度

[℃]

ロガー温度 [℃]

タイプG-1

1820222426283032343638404244

18 20 22 24 26 28 30 32 34 36 38 40 42 44

DCIM温度

[℃]

ロガー温度 [℃]

タイプG-2

200

240

280

320

360

400

440

480

200 240 280 320 360 400 440 480

DCIM電力

[W]

PDU電力 [W]

タイプG-1

200

240

280

320

360

400

440

480

200 240 280 320 360 400 440 480

DCIM電力

[W]

PDU電力 [W]

タイプG-2

200

240

280

320

360

400

440

480

200 240 280 320 360 400 440 480

DCIM電力

[W]

PDU電力 [W]

タイプH-1

200

240

280

320

360

400

440

480

200 240 280 320 360 400 440 480

DCIM電力

[W]

PDU電力 [W]

タイプH-2

空気調和・衛生工学会大会学術講演論文集｛2019.9.18 〜 20（札幌）｝ -23-

加傾向は、吸気温度が 35[℃]程度までであれば、大幅な消

費電力増加は避けられることが把握できた。

そこで、高温対応サーバおよび外気を積極的に活用す

ることによる省エネルギー性について検討を行った。表-

3 に ASHRAE TC9.9 1 ) にて定義されているクラス別の許

容範囲 A1～A3 および提案推奨範囲における外気利用可

能時間を示す。今回の検証結果から、吸気温度が 35[℃]程

度までであればサーバの大幅な電力増加につながらない

こと、停電時の温度上昇のバッファー確保、表-1 に示し

たようにサーバの使用温度湿度条件が拡大していること

を踏まえ、温度条件をA1とし、湿度条件を日本の高湿度

気候を考慮して、A1 から A3 レンジまで広げることがで

きれば一年を通して大半を外気のみで冷却可能と考えら

れる。以上より、高温対応サーバを活用することで、寒冷

地のみならず首都圏においても外気利用範囲を大幅に広

げることができることが把握できた。

まとめ

本検証では、高温対応サーバと呼ばれる耐温度湿度性

能の高いサーバを用いて、サーバ内蔵センサ値を取得、蓄

積するシステムを構築し、異なる温度・稼働率条件下にお

ける吸気温度と消費電力の関係について検証した。

DCIM 出力値のサーバ吸気温度と消費電力が空調制御

や監視に活用できる精度であることが確認された。

サーバの消費電力は、CPU の負荷率に応じて増加する

こと、吸気温度が 35[℃]程度までであれば、サーバ消費電

力の大幅増加は避けられることが確認された。また、CPU

の消費電力は吸気温度に影響を受けず、サーバの消費電

力の増加はファンの影響が大きいことが確認された。さ

らには、サーバのCPUパフォーマンスは温度に影響され

ないことが確認された。

以上の結果から、IoT を活用した情報連携により、ICT

機器からの多くの情報がファシリティ側に伝達できるこ

と、情報精度が状態把握および空調制御に適用可能であ

ることが確認でき、ICT機器とファシリティのトータルの

エネルギー効率を最大化する境界が示唆された。

今後は、夏期における直接外気冷房を活用した場合の

ICT機器の挙動、総合エネルギー効率の評価を本検証から

継続して実施する予定である。

【 謝辞 】

本検証に際してインテル高木氏、住友電設小島氏、Future Facilities

磯辺氏に多大なご協力を頂いたことをここに記し、感謝申し上

げます。

【 参考文献 】

1）ASHRAE TC9.9： 2011 Thermal Guidelines for Data

Processing Environments Expanded Data Center Classes and

Usage Guidance，pp.8-9．

(a) タイプG

(b) タイプH

図-6 吸気温度と消費電力の関係

表-3 ASHRAEクラス別の外気利用可能時間

※室内温度上昇を考慮し、上限温度-2[℃]で可能時間を算出

▲●△○CPU負荷20[％] ▲●△○CPU負荷40[％] ▲●△○CPU負荷60[％]▲●△○CPU負荷80[％] ▲●△○CPU負荷100[％]▲△CPU消費電力 ●○ICT機器消費電力▲●温度降下時 △○温度上昇時

0

40

80

120

160

200

240

280

320

360

400

440

480

18 20 22 24 26 28 30 32 34 36 38 40 42

CPU電力

/PDU電力

[W]

ロガー温度 [℃]

0

40

80

120

160

200

240

280

320

360

400

440

480

18 20 22 24 26 28 30 32 34 36 38 40 42

PDU電力

[W]

ロガー温度 [℃]

吸気温度20[℃] 吸気温度40[℃] 吸気温度20[℃] 吸気温度40[℃]

タイプG タイプH

-12 [℃DP] ～ 17 [℃DP] 2977

20 [%RH] ～ 80 [%RH] (34%)

-12 [℃DP] ～ 21 [℃DP] 4319

20 [%RH] ～ 80 [%RH] (49%)

-12 [℃DP] ～ 24 [℃DP] 8585

8 [%RH] ～ 85 [%RH] (98%)

-12 [℃DP] ～ 24 [℃DP] 8306

8 [%RH] ～ 85 [%RH] (95%)

35 ～10

当DC

外気利用

可能時間

[hour]

乾球

温度

[℃]※

～ 32 当DC提案

推奨範囲

湿度範囲

(相対湿度[%RH]・露点温度[℃DP])クラス

許容

範囲

15

5 A3

A1

15

A2

32 ～

40 ～

図-7 吸気温度によるCPU計算パフォーマンスの比較

空気調和・衛生工学会大会学術講演論文集｛2019.9.18 〜 20（札幌）｝ -24-