基于性能测试软件的服务器功耗实测研究

第

42

卷

第

3

期

制冷学报

No/.

42

,

No.

3

June

,

2027

2021

年

6

月

文章编号

：

0253-4339(2021)

03-0100-07

Journa/

of

Refrigeration

doi

：

10.

3969/j.

issn.

0253-4339.

2021.

03.

100

基于性能测试软件的服务器功耗实测研究

徐鑫白雪莲金超强

(

重庆大学土木工程学院重庆

400000

)

摘要

数据中心节能和环境控制的基础是确定数据中心服务器的功耗

。

本文针对以

CPU

计算为主要任务的应用场景

，

搭建

实验台

，

利用

Lookbusy

,

Stress

,

SPECpower_ssj

2008

三种测试软件

，

结合服务器运行参数

，

对服务器功耗和硬件利用率等进行测试

分析

,

对比三种软件的应用效果

。

研究结果表明:

不同测试软件对于服务器硬件资源的利用程度不同

，

导致服务器功耗也不同

，

功耗最大差异超过

15%,

在服务器功耗模型的研究中

，

应当根据服务器应用场景和硬件利用率的差异选择不同的性能测试软件

;

其中

,SPECpower_ssj2008

适合对服务器进行综合测试

，

而

Stress

适合测试服务器在极端情况下的运行稳定性

。

关键词

数据中心

;

服务器功耗

;

性能测试软件

;CPU

利用率

中图分类号

:

TB61

+

1

；

TP31

文献标识码

：

A

Experimental

Test

on

Server

Power

Consumption

Based

on

Performance

Testing

Software

Xu

Xin

Bai

Xuelian

Jin

Chaoqiang

(

School

of

Civil

Engineering

,

Chongqing

University

,

Chongqing

,

400000,

China)

Abstract

Determining

the

power

consumption

of

data

center

servers

is

the

basis

of

data

center

energy

saving

and

environmental

control.

At

present,

it

is

a

common

research

method

that

uses

performance

testing

software

to

fit

the

server

power

consumption

model

under

differ

­

ent

working

conditions.

An

experimental

platform

was

built

with

the

aim

of

CPU

computing

as

the

main

task.

Three

different

test

software

(

Lookbusy,

Stress,

and

SPECpower_ssj

2008)

were

used

to

conduct

the

test.

This

study

compared

the

differences

between

server

power

consumption

and

hardware

utilization

based

on

server

operating

parameters.

The

results

show

apparent

differences

in

server

hardware

calls

under

an

identical

parameter

setting

among

different

testing

software,

leading

to

a

maximum

deviation

of

more

than

15%

on

the

testing

out

­

come

of

the

server

power

consumption.

This

indicates

that

it

is

important

to

select

the

proper

performance

testing

software

according

to

ap

­

plication

scenarios

and

hardware

utilization

when

it

comes

to

the

research

of

the

server

power

consumption

model.

Among

the

software

test

­

ed,

SPECpower_ssj

2008

is

most

suitable

for

the

comprehensive

testing

of

servers,

and

Stress

is

most

suitable

for

testing

the

stability

of

servers

under

extreme

conditions.

Keywords

data

center

；

server

power

consumption

；

performance

testing

software

；

CPU

utilization

过去的二十年

,

人们对于数据处理

、

存储和传输

需求不断增加

,

伴随着计算机和电子信息技术的同步

发展

,

数据中心行业爆发性增长

。

2018

年中国数据

营成本和环境问题

，

相关行业也越来越重视数据中心

的节能工作

。

数据中心的总能耗由

IT(

information

technology

)

中心市场业务总规模为

1

228

亿元

，

占全球市场规模

的

19.64%,

总机架数为

271.06

万架

，

预计

2021

年

，

中国数据中心市场规模将会达到

2

769.

6

亿元

，

增速

设备

、

空调系统

、

电源系统和附属设备等能耗组成

。

IT

设备能耗和空调系统能耗分别占总能耗的

45%

和

40%

［

4-5

］

，

是大部分数据中心的耗能大户

。

其中

IT

设

备的能耗主要由服务器

、

网络设备及配电设备组成,

超过

30%

，

中国将成为世界数据资源大国和全球数

据中心

［

1

］

。

数据中心能耗也逐年增加

,

2019

年中国

数据中心总用电量为

1

748

亿

kW-h,

占全社会总用

其中服务器的能耗占

IT

设备总能耗的

70%

~

80%

⑷

。

服务器负责数据中心内部所有数据的计算

、

电量的

2.

4%

⑷

。

数据中心的高能耗带来高昂的运

基金项目

：

国家自然科学基金(51778080)

资助项目。

(

The

project

was

supported

by

the

National

Natural

Science

Foundation

of

China

(

No.

51778080)

.)

处理及存储工作

，

是数据中心能源的主要消耗者

，

同

收稿日期：

2020-10-22

；

修回日期

:

2020-12-31

—

100

—

第

42

卷

第

3

期

Vol.

42

,

No.

3

2021

年

6

月

基于性能测试软件的服务器功耗实测研究

June

,

2021

时也是数据中心空调系统负荷的主要来源

。

因此研

究服务器功耗模型对数据中心能耗预测具有重大意

SPECpower)

,

以服务器的产热和散热作为分析依据

,

认为服务器的功耗模型包括

IT

组件以及散热组件两

部分

。

R.

Kavanagh

等

［

9

］

利用

Stress

程序

，

仅基于

CPU

利用率来估算整个系统的功耗

,

利用线性回归

建立了功耗模型并提供了应用于虚拟机的模型

。

义

。

在现有的研究中

，

通过性能测试软件对服务器进

行测试

，

从而拟合得到服务器功耗模型是常用的研究

方法

。

目前常用的性能测试软件有

：

Lookbusy

、

Stress

等

Linux

系统下的测试软件

，

以及

SPEC

(

standard

Wang

Yewan

等

［

10

］

利用服务器能效测试工具

,

考虑了

环境温度的影响

,

分析了服务器进风温度与功率增量

之间的关系

。

G.

Dhiman

等

［

11

］

根据数据中心内部服

务器的工作状态

，

利用

SPEC2000

测试套件将服务器

performance

evaluation

corporation

)

标准性能评估组织

开发的针对高性能计算机的一系列测试套件

。表

1

中归纳了部分功耗模型及其测试软件等信息

。

R.

Basmadjian

等

［

7

］

利用

Lookbusy

软件以

CPU

电压

、

频

功耗表示为基准功率和有功功率之和

。

A.

Kansal

等

［

12

］

以

CPU

利用率

、

LLC(last

level

cache)

丢失次数

率

、

内存频率

、

硬盘读写速率以及风扇转速为变量建

立了针对塔式和机架式服务器的加法功耗模型

。

P.

Garraghan

等

［

8

］

利用

SPECpower_ssj

2008

(

简称

以及读写字节数为变量

，

同时考虑

CPU

、

硬盘等组件

的利用率

，

建立了功耗模型

。

表

1

服务器功耗模型

Tab.1

Server

power

consumption

models

作者

^

Server

—

功耗模型

^

Mainboard

+

i

-

1

j

—

1

因素

^

Fan

测试软件

R.

Basmadjian

等

[7]

CPU

电压及频率

，

内存频率

，

+

厶

P

1

PSU

k

—

1

硬盘读写速率

，

风扇转速

Lookbusy

P.

Garraghan

等

[8]

P

Server

=

P

IT

+

m

P

pump

+

乞

nP

fan

CPU

利用率

,CPU

核心温度

，

1

1

风扇转速

SPECpower_ssj2008

EU_

P

x

二

Host_Idle+(

Host_P-Host_Idle

)

R.

Kavanagh

等

[9]

EU

Util

’

x

--------------------------

X

-

'

EU

Count

工一

EU

Util

1

—

y

CPU

利用率

Stress

Wang

Yewan

等

[10]

P

estimated

-

P

idle

+

"

cPU%

(

P

100%

-

P

idle

)+Delta(

T

)

+

a

1

T

+

CPU

利用率

,

Delta(

T)

二

T

2

服务器进风温度

服务器性能测试工具

G.

Dhiman

等

[11]

P

—

P

base

b

+

P

t

active

CPU

利用率

CPU

利用率

,

SPEC2000

测试套件

：

mcf,gcc,mesa

和

gap

SPEC

CPU2006

套件

A.

Kansal

等

[12]

Eps

=

a

CPU

弘

CPU

a

mem

弘

mem

+

%

Udisk

7

LLC

丢失次数和读写字节数

和

IOmeter

Jin

Chaoqiang

等

［

13

］

对现有功耗模型进行了统计

分析

，

结果表明

CPU

利用率是功耗模型中使用最广

泛的指标

。

并且在

CPU

密集型工作负载中

，

基于

择上较为随意

，

且目前尚无对于不同软件测试结果的

对比分析

。

服务器作为数据中心能源管理和热管理

的基本单元

，

其功耗直接决定数据中心的整体能耗和

CPU

利用率建立的简单回归模型可以提供合理的预

空调系统的冷却负荷

。

准确的服务器功耗模型可以

应用在服务器及其集群的能源管理和冷却系统的配

置管理中

。

基于服务器功耗模型和虚拟化技术

，

管理

测精度

［

10

］

，

说明在此应用场景中服务器功耗的主要

消费者为

CPUo

如表

1

所示

，

为了准确得到服务器的

功耗

,研究者们利用不同测试软件

,

选取服务器不同

工作参数为变量

，

建立功耗模型

。

但在测试软件的选

者可以将工作负载分配到指定的服务器中

，

其他服务

器则可依据任务需求关闭电源或进入休眠模式

，

进而

—

101

—

第

42

卷

第

3

期

制冷学报

No/.

42

,

No.

3

June

,

2027

2021

年

6

月

Journa/

of

Re/rigeration

减少服务器的总功耗

［

14

］

。

数据中心冷却系统的供需

的负载类型也不同

。

如表

2

所示

，

服务器负载可分为

匹配是节约制冷能耗的关键

,

依据服务器功耗模型

，

可以准确计算

IT

设备的冷却需求

，

保证其在所需的

环境中正常工作

,

并避免在设计和运行阶段中造成冷

却能力浪费

。

因此本文针对以

CPU

计算为主的应用

科学研究

、

数据分析

、

业务处理

、

云数据

、

可视化和音

频

、

通信及存储等类型⑴

〕

。

在服务器执行不同的工

作任务时

,

对内部组件的要求和利用率也不同

，

这会

导致服务器功耗的差异

。

科学研究

、

数据分析等业务

场景搭建实验台

，

保持服务器进风温度恒定以避免

IT

设备热效应带来的误差

,

利 用

Lookbusy

、

Stress

和

SPECpower

三款性能测试软件

,

分析不同测试软件造

成的服务器功耗差异及其影响因素

。

对于

CPU

的利用率较高

，

且随着

CPU

多核心

、

超线

程等技术的发展,服务器功耗必将快速增加

。

而通信

及存储业务的硬盘及

I/O

利用率高

，

但硬盘和

I/O

的

功耗占服务器总功耗的比例较低

，

功耗增长趋势也较

缓慢

［

15

］

。

因此以

CPU

计算为主要应用场景的服务

器迅速发展

,

造成服务器整体功耗的增加

，

同时对数

据中心的制冷系统和供配电系统提出了严峻的挑战

。

1

服务器负载及性能测试软件的分类

1.

1

服务器负载类型

因不同行业对数据中心的业务要求不同

,

服务器

表

2

常见负载类型对

IT

设备的利用率

[13]

Tab.2

Common

load

types

utilization

of

IT

equipment

[

13

]

负载类型

CPU

内存

I/O

硬盘

低

中

科学研究

数据分析

业务处理

高

高

中高

低

中

中高

中高

中高

中高

中

中

中高

低

云数据

可视化和音频

中

中低

中低

低

中

中低

中低

低

通信

存储

中低

低

中

中

高

1.

2

性能测试软件

Lookbusy

和

Stress

为

Linux

系统的性能测试软

件

，

可以通过不同命令改变

CPU

、

内存

、

I/0

、

硬盘等

组件的利用率

，

从而测试服务器的性能

。

负载计算对应的目标负载

。

因此

,

SPECpower

的软件

利用率不能与

Stress

、

Lookbusy

软件一样代表

CPU

的

实际利用率

,SPECpower

软件利用率表示整个服务器

的目标负载与校准所得最大负载的比值

。

SPEC

是一个全球性的第三方非营利性组织

，

致

力于建立

、

维护和认证一套应用于计算机的标准化基

准评测套件

。

SPEC

组织开发基准测试套件

,

在完成

SPECpower

测试同样考虑了环境温度对于

IT

设备功

耗以及性能的影响

，

环境温度的测量是一份完整版测

试报告的必要条件

。

测试并经过检验后会在

SPEC

网站上公开测试结果

。

SPEC

基准测试套件包含云

、

中央处理

Java

客户

端

/

服务器

、

存储

、

功率

、

虚拟化等

。

其中

SPECpower

是业界第一个用于测量单节点和多节点服务器的性

能以及功耗的测试软件

。

由于服务器在绝大部分时

2

实验设计

实验平台分为测试服务器和控制主机

，

测试服务

器为一台

Dell

PowerEdge

R740

机架式服务器

,

其配

间内都处于低负载运行状态

,IT

从业者采取了一系

列措施降低服务器处于低负载时的功耗

。

而

置规格如表

3

所示

。

控制主机为

1

台笔记本电脑

，

用

来向服务器发送指令并收集实验数据

。

测试主机和

控制主机之间利用网线通过

IPMI(

intelligent

platform

SPECpower

采用了一种测试方法

，

可以测试各种系统

负载下的性能以及功耗从而衡量服务器工作的能效

。

SPECpower

与

Lookbusy

、

Stress

等软件的不同之处是

在确定服务器负载时

,SPECpower

会通过

3

次校准测

management

interface

)

智能平台管理端口连接

，

服务

器实验数据通过

Zabbix

监测系统以及

Dell

服务器自

带的

iDRAC

(

integrated

dell

remote

access

controller)

戴尔集成远程控制器进行收集

。

Zabbix

系统每隔

2

s

试确定该服务器的最大负载

，

然后根据校准得到最大

会自动采集并存储服务器的功耗数据

，

其精度为

2

—

102

—

第

42

卷

第

3

期

2021

年

6

月

基于性能测试软件的服务器功耗实测研究

Vol.

42

,

No.

3

June

,

2021

Wo

R.

Kavanagh

等

［

16

］

发现由于

IPMI

的功率传感器

分辨率较低

,

会导致

Zabbix

系统的功耗监测数据和

控制主机

功率计实测读数之间存在偏差

。

为检验

IPMI

读数

的准确性

，

在服务器侧安装了功率计

，

其测量范围为

温易

r

功勰测

A

生成报告

0.5

〜

4

400

W,

精度等级为

1

级

,

读取测试期间服务

器的平均功率与

IPMI

的功耗数据进行对比分析

。

同

时服务器进风侧也设置了

3

枚

K

型热电偶记录服务

厦流电源

器进风温度

，

测温范围为

-40

〜

1

100

C

,

误差

±1.5

C,

每

10

s

采集一次数据

，

保持服务器进风温度恒定

且处于标准推荐范围内

,

避免环境温度的大幅波动对

'

功衬

I

温度

g

感器

T

I

蘿|

|网;各|

实验造成误差

。

在

Lookbusy

A

Stress

和

SPECpower

测

试期间

，

服务器进风平均温度分别为

22.9

C

、

22.

1

C

和

23.

1

Co

实验平台和实验流程如图

1

、

图

2

所示

。

表

3

测试服务器配置表

Tab

・

3

Test

server

configuration

项目

规格

CPU

Intel

Xeon

R6130,2.

1Ghz,2

颗

内存

32

GBx2

硬盘

4

TB

机械硬盘

电源

80PLUS

铂金

495

W

图

1

实验平台

Fig

・

1

Experimental

platform

分别采用

SPECpower^Lookbusy和

Stress

软件在

测试服务器上生成负载

，

负载范围为

0%

〜

100%

（

以

10%

为增量

）

o

在实验过程中

，

Lookbusy

和

Stress

软

件在每个负载水平下稳定运行

5

min

后改变工况

;

SPECpower

由软件自行完成一次测试

。

记录不同负

载下服务器的功耗

、

进风量

、

进风温度以及服务器的

|内存

“

------------

彳负载

*

------------

*

CPUs

测试主机|

图

2

实验流程

Fig

・

2

Experimental

flow

工作参数

。

3

实验结果分析

3

・

1

软件利用率和

CPU

利用率的关系

图

3

所示为服务器

CPU

实际利用率与测试软件

利用率的差异

。

可以发现

Lookbusy

和

Stress

软件

CPU

利用率的实测值和设置值基本一致

，

满足测试

要求

。

Lookbusy

可以通过命令改变

CPU

的利用率

,

其偏差在

0.

8%

以内

。

由于

Stress

只能启动整数个线

程

，

然后使用任务集将其映射到物理主机的

CPU

中

。

因此在确定的

CPU

利用率所需要的线程数目不为整

数时

，

会存在偏差

，

但最大偏差在

1.5%

以内

。

SPECpower

的软件利用率与

CPU

实际利用率之间呈

二次多项式关系

，

其拟合多项式的相关指数

R

2

二

0.

993,CPU

的实际利用率的增量随

SPECpower

软件

利用率的升高而逐步增大

。

―

■

—

Lookbusy

―•-

Stress

▲

SPECpower

R

2

=0.993

10

20

30

40

50

60

70

80

90

100

软件利用率

/%

图

3

软件利用率与

CPU

利用率的差异

Fig

・

3

The

utilization

difference

between

software

and

CPU

由于

SPECpower

软件的利用率同

CPU

利用率并

不相同

，

为确定相同

CPU

利用率下因测试软件不同

—

103

—

第

42

卷第

3

期

制冷学报

No/.

42

,

No.

3

2021

年

6

月

Journa/

of

Re/r,gerat,on

June

,

2027

造成的功耗差异

，

利用

SPECpower

利用率与

CPU

利

用率之间的关系

，

采用插值的方法获得某一确定

CPU

利用率下的服务器功耗及其他工作参数

。

3

・

2

服务器功耗与

CPU

利用率的关系

图

4

所示为测试过程中功率计的读数与

IPMI

监

测的功耗数据的差异

。

可以发现

，

在服务器处于低负

载时

,IPMI

数据与功率计读数偏差较大

，

最大可达

10%

。

二者差异

随

CPU

利用率的增长先降低后升

高

。

在服务器

CPU

利用率为

40%

-

80%

时

,IPMI

和

功率计的功耗数据基本吻合

，

偏差在

5%

之内

，

最小

仅为

0.

38%o

随服务器

CPU

利用率的继续增长

,

二

者偏差略微上升

，

在

CPU

满载时

IPMI

和功率计的偏

差为

4%o

虽然

IPMI

功耗传感器分辨率较低

，

导致

二者监测数据存在偏差

，

但

IPMI

监测数据的偏差对

三款测试软件造成的影响基本一致

，

且在数据中心内

部利用直连功率计确定每台服务器的功耗是不现实

的

,

IPMI

数据也更易获取和收集

。

因此在不同工况

的对比测试中使用

IPMI

数据进行分析和讨论是完全

可行的

。

亠

SPECpower(IPMI)

〜

SPECpower

1

luu

on

0

-----

10

-----------

20

-----------

30

-----------

40

-----------

50

-----------

60

-----------

70

---------

80

—

90

------------

100

CPU

利用率

/%

图

4

IPMI

与功率计读数差异

Fig

・

4

The

reading

difference

of

IPMI

and

power

meter

服务器功耗随

CPU

利用率的变化如图

5

所示

。

实验开始前服务器的待机功耗为

156

W,

约占满载功

耗的

50%o

实验过程中服务器功耗随

CPU

利用率的

增长逐步趋于平缓

。

但在相同

CPU

利用率下服务器

的功耗随负载软件的不同而存在较大差异

,

除待机工

况外

‘

Stress

软件的测试功耗最高

，

SPECpower

次之

,

Lookbusy

软件测试功耗最低

。

在

CPU

利用率为

100%

时

,

Lookbusy

功耗为

286

W,

为

SPECpower

软件

测试满载功耗

313

W

的

91.

4%,Stress

软件测试满载

功耗

338

W

的

84.

6%o

可以发现

，

即使负载软件的

选择不同

，

但服务器功耗随

CPU

利用率变化的整体

趋势是一致的

。

相同

CPU

利用率下服务器功耗的差

异是由服务器工作参数的不同所导致

。

为了确定不同测试软件造成的服务器功耗差异

,

—

104

—

图

5

服务器功耗随

CPU

利用率的变化

Fig.5

Server

power

consumption

changes

with

CPU

utilization

对负载稳定时服务器的平均进风量

、

CPU

平均温度

及服务器其他组件利用率随

CPU

利用率的变化进行

分析

。

如图

6

所示

，

在进风温度稳定的状态下,

SPECpower

和

Lookbusy

的实验过程中服务器的风量

约为

109

m

3

/h,

且全程基本保持稳定

；

Stress

软件在

实验过程中服务器的进风量随

CPU

利用率和温度的

变化而改变

，

在

CPU

利用率大于

30%

后

，

因

CPU

温

度剧烈上升至

80

C

,

导致服务器的进风量和风扇功

耗显著增加

。

耒

(

旦

、

*

垢

r

即

图

6

服务器进风量随

CPU

利用率的变化

Fig.6

Server

air

intake

changes

with

CPU

utilization

图

7

所示为服务器

CPU

温度随

CPU

利用率的

变化情况

，

在

3

组实验中服务器

CPU

的温度并不相

同

。

而服务器

CPU

的温度越高

,

其能耗也越大

，

且

CPU

的温度不仅影响服务器的进风量

，

也会产生较

大的泄漏电流

，

导致能源的浪费

。

有研究表明

，

当芯

片温度达到

85

C

时

,

无效的漏电占

CPU

总耗电的一

半

。

因此

CPU

温度的不同也是导致测试功耗不同的

原因之一

。

减少泄漏电流的有效方法是降低芯片温

度

，

通过冷却降低芯片温度

，

可以有效减少漏电部分

损失

,

大幅度减少泄露电流

，

从而很大程度上降低芯

第

42

卷第

3

期

2021

年

6

月

基于性能测试软件的服务器功耗实测研究

Vol.

42

,

No.

3

June

,

2021

片的耗电量

，

提高信号等电子传送效率

[4]

o

但大幅

00

80

60

40

20

度降低

IT

设备电子元件的工作温度

,

势必会引起冷

却系统能耗的增加

，

因此需要在保证

IT

设备高效工

作的前提下

,

降低冷却能耗

,

达到数据中心整体能效

的最优化

。

90

—

Lookbusy

•

Stress

®

o

J

80

Bg

n

d

u

10

20

30

40

50

60

70

80

90

100

CPU

利用率

/%

图

7

服务器

CPU

温度随

CPU

利用率的变化

Fig

・

7

Server

CPU

temperature

changes

with

CPU

utilization

因服务器的主要负载是

CPU

计算

，

且在实验过

程中

I/O

读写速率均未超过

50

KB/sec,

其产生的功

耗差距可以忽略不计

。

而对于内存而言

，

不同负载软

件所调用的内存大小差异明显

,

实验过程中内存利用

率随

CPU

利用率的变化如图

8

所示

。

在

Lookbusy

和

Stress

实验中

，

内存利用率全程均稳定在

5%,

而在

SPECpower

实验中

，

服务器内存利用率则全程稳定在

71%o

根据每个通道

DIMM

（

dual

inline

memory

mod

­

ules

）

的数目

、

容量及运行频率

,

内存条的功率通常在

4~15

W

之间

[17]

o

在测试过程中

，

服务器内存利用

率不随

CPU

利用率的变化而改变

，

即内存功率为定

值。

因此测试软件对于内存的利用程度会对服务器

的稳定功耗产生一定影响

。

但在以

CPU

计算为主要

应用场景时

,

不同工况时服务器进风量与

CPU

温度

之间的差异对于服务器功耗变化所造成的影响更大

。

在三组实验中

‘

Stress

软件测试功耗明显高于其余

两款的原因是

Stress

作为

Linux

压力测试软件

，

会对服

务器运行的稳定性提出更高要求

,

检验服务器在

CPU

温度升高时风量能否匹配

，

服务器能否正常运行

。

因

此

,

在利用

Stress

软件进行测试时

,CPU

温度更高

,

而

更高的

CPU

温度会导致更大的泄露电流和服务器风

扇功耗

。

虽然

Stress

软件对于内存利用率较低

，

但是

在以

CPU

计算为主的应用场景中

,CPU

的功耗和风扇

的功耗均大于内存

。

而

Lookbusy

和

SPECpower

软件

实验中服务器的进风量保持恒定

,

其功耗差异产生的

原因是

SPECpower

作为综合负载测试软件

，

会根据服

务器的硬件配置确定最大负载

,

对各组件均进行调用

,

—

Lookbusy

—

^Stress

—

SPECpower

10

20

30

40

50

60

70

80

90

100

CPU

利用率

/%

图

8

服务器内存随

CPU

利用率的变化

Fig

・

8

Server

memory

changes

with

CPU

utilization

而不仅限于

CPUo

在

SPECpower

实验中

CPU

温度更

高

，

其泄漏电流和功耗都更大

，

且

SPEC

可以调用

71%

的内存执行任务

,

也会增加一部分功耗

,

导致服务器的

整体能耗高于

Lookbusy

实验工况

。

4

结论

本文利用

Lookbusy

、

Stress

、

SPEC

power

三种测试

软件

，

研究了在以

CPU

计算为主的应用场景中

，

测试

软件不同导致的服务器功耗差异及其原因

，

得到结论

如下

：

1

）

随服务器负载水平的不同

，

IPMI

监测数据与

功率计读数的偏差也不同

。

当服务器

CPU

利用率低

于

30%

或高于

90%

时

，

偏差较大

，

最高可达

10%o

虽

然

IPMI

功耗传感器分辨率低

，

但其对测试软件的影

响趋势基本一致且更易获取

，

因此在进行不同工况的

对比时仍然可采用

IPMI

功耗数据进行分析

。

2

）

不同的性能测试软件对于服务器硬件资源的

利用程度不同

，

导致服务器各部件的利用率

、

温度均

不同

，

因此服务器的整体功耗也不同

。

在

CPU

利用

率为

100%

时

,Lookbusy

和

SPECpower

软件的功耗偏

差会达到

15.4%

。

在选取测试软件时

,SPECpower

软

件会综合考虑服务器硬件水平

,

对服务器各组件均施

加相应负载

，

因此当服务器应用场景不唯一

,

对硬件

资源调用程度更全面时

，

使用

SPECpower

软件的测

试结果更准确

。

而

Stress

软件

,

更适合测试服务器在

极端工况下的运行稳定性

。

3

）

在以

CPU

计算为主要应用场景的服务器中

,

功耗差异一般是由

CPU

温度和服务器进风量的差异

导致

，

且二者存在相互关系

。

降低

CPU

温度会大幅

度减少泄漏电流

,

但需要更大的进风量

，

而更大的进

风量会增加风扇功耗

。

因此需要综合考虑

，

在保证服

务器稳定运行的前提下,使其整体能耗最低

。

—

105

—

第

42

卷第

3

期

制冷学报

No/.

42

,

No.

3

June

,

2027

2021

年

6

月

Journa/

of

Refrigeration

本文受重庆市技术创新与应用发展项目

(

cstc2020jscx-

msxmX0184

)

资助

。

(

The

project

was

supported

by

the

Utility

and

Cloud

Computing.

Shanghai,

2016

：

11-19.

[

9]

KAVANAGH

R,

DJEMAME

K.

Rapid

and

accurate

energy

models

through

calibration

with

IPMI

and

RAPL[

J]

.

Con­

Chongqing

Technology

Innovation

and

Application

Development

(

No.

cstc2020jscx-msxmX0184)

.)

参考文献

currency

and

Computation

：

Practice

and

Experience,

2019,

31(13)

.

[10]

WANG

Yewan,

NORTERSHAUSER

D,

MASSON

S

L,

et

al.

An

empirical

study

of

power

characterization

approaches

[1]

殷平

.

数据中心研究

(

1):

现状与问题分析

[J].

暖通空

调

，

2016,

46(8)

:

42-53.

(YIN

Ping.

Research

on

data

centers

(

1

)

：

current

situation

and

problem

analysis

[

J]

.

for

servers

[

C]

/

/The

Ninth

International

Conference

on

Smart

Grids,

Green

Communications

and

IT

Energy-aware

Journal

of

HV

&

AC,2016,

46(8)

:

42-53.)

[2]

科智咨询

.

2018—

2019

年中国

IDC

产业发展研究报告

[R/OL].

(2019-05-15)

[2020-08-15].

http

：

//

-

quan

.

com/Special/2019baogao/.

html.

(

Kezhi

consulting.

2018

—

2019

China

IDC

industry

development

research

report[R/OL].

(2019-05-15)

[

2020-08-15].

http

：

//

/

Special/2019baogao/.html

.)

[3]

国务院发展研究中心国际技术经济研究所

.

中国云计

算产业发展白皮书

[R/OL].

(2019-10-13)

[

2020-08

­

15

].

http

：

//www.

drciite.

org/Home/Detail/4?

type

=

10&nid

=

4831.

html.

(

The

institute

of

international

technology

and

economy

of

development

research

center

of

the

state

council.

White

paper

on

China

'

s

cloud

computing

industry

development

[

R/OL]

.

(

2019-10-13

)

[

2020-08

­

15

].

http

：

//www.

drciite.

org/Home/Detail/4?

type

=

1

0&nid

=

.

)

[4]

中国制冷学会数据中心冷却工作组

.

中国数据中心冷

却技术年度发展研究报告

2019[R].

北京

：

中国建筑工

业岀版社

,

2020.

(

Data

center

cooling

technical

committee

of

CAR.

Annual

reports

on

research

and

development

of

data

center

cooling

technologies

2019

[

R]

.

Beijing

：

China

Architecture

&

Building

Press,

2020.)

[5]

朱万朋

，

马国远

，

李翠翠

，

等

.

数据中心自然冷却用泵

驱动两相回路系统火用

分析

[J].

制冷学报

，

2019,

40

(3)

：

24

-

30.

(

ZHU

Wanpeng,

MA

Guoyuan

,

LI

Cuicui

,

et

al.

Exergy

analysis

of

pump-driven

two-phase

loop

system

for

free

cooling

in

data

centers

[

J

]

.

Journal

of

Refrigeration,

2019,

40(

3)

：

24-30.)

[6]

CHEUNG

H,

WANG

Shengwei,

ZHUANG

Chaoqun,

et

al.

A

simplified

power

consumption

model

of

information

tech­

nology

(

IT)

equipment

in

data

centers

for

energy

system

re

­

al-time

dynamic

simulation

[

J]

.

Applied

Energy,

2018,

222

：

329-342.

[7]

BASMADJIAN

R,

ALI

N,

NIEDERMEIER

F,

et

al.

A

meth

­

odology

to

predict

the

power

consumption

of

servers

in

data

centers[

C

]//Proceedings

of

the

International

Conference

on

Energy-efficient

Computing

&

Networking,

2011

：

1-10.

[8]

GARRAGHAN

P,

Al-ANII

Y,

SUMMERS

J,

et

al.

A

uni

­

fied

model

for

holistic

power

usage

in

cloud

datacenter

serv

­

ers

[

C

]

//9th

IEEE/ACM

International

Conference

on

—

106

—

Technologies.

Greece,

2019

：

1-6.

[11]

DHIMAN

G,

MIHIC

K,

ROSING

T.

A

system

for

online

power

prediction

in

virtualized

environments

using

Gaussian

mixture

models

[C]

/

/Design

Automation

Conference.

Ana

­

heim

IEEE,

2010

：

807-812.

[

12]

KANSAL

A,

ZHAO

Feng,

LIU

Jie,

et

al.

Virtual

machine

power

metering

and

provisioning

[

C

]

//Proceedings

of

the

1st

ACM

symposium

on

Cloud

Computing.

Indianapolis,

2010

：

39-50.

[

13]

JIN

Chaoqiang,

BAI

Xuelian,

YANG

Chao,

et

al.

A

review

of

power

consumption

models

of

servers

in

data

cen-

ters[

J]

.

Applied

Energy,

2020,

265

：

114806.

[

14]

PERUMAL

V,

SUBBIAH

S.

Power-conservative

server

consolidation

based

resource

management

in

cloud

[

J]

.

In

­

ternational

Journal

of

Network

Management,

2014,

24(

6)

：

415-432.

[15]

安娅楠

.

基于服务器功耗模型的数据中心热环境研究

[D].

重庆

：

重庆大学

,

2019.

(

AN

Yanan.

Research

on

data

center

thermal

environment

based

on

server

power

consumption

model

[

D].

Chongqing

：

Chongqing

University,

2019.)

[16]

KAVANAGH

R,

ARMSTRONG

D,

DJEMAME

K.

Accuracy

of

energy

model

calibration

with

IPMI[

C]//IEEE

9th

International

Conference

on

Cloud

Computing

(

CLOUD)

.

San

Francisco,

2016

：

648-655.

[17]

BROCHARD

L,

KAMATH

V,

CORBALAN

J,

et

al.

Ener

­

gy-efficient

computing

and

data

centers

[

M

]

.

Hoboken

：

John

Wiley

&

Sons,

Inc,

2019.

通信作者简介

白雪莲

，

女

，

教授

，

博士生导师

，

重庆大学土木工程学院

,

159****6696,

E-mail

:

xuelianbai@

。

研究方向

：

暖通

空调理论与技术

、

建筑节能与绿色建筑

、

数据中心热环境与能

源管理

、

文物保存环境监测与控制

。

About

the

corresponding

author

Bai

Xuelian,

female,

professor,

Ph.

D.

supervisor,

School

of

Civil

Engineering,

Chongqing

University,

+

86

159****6696,

E-mail

：

xuelianbai@

.

cn.

Research

fields

：

HVAC

theory

and

tech

­

nology,

building

energy

efficiency

and

green

building,

data

center

thermal

environment

and

energy

management,

environmental

mo

­

nitoring

and

control

of

cultural

relic

preservation.