多种硬件架构下大数据管理系统性能与功耗测试

孟小峰 汪凤鸣 郭志良

1（中国人民大学信息学院北京 100872）

2（中国人民大学信息学院北京 100872）

3（中国人民大学信息学院北京 100872）

Testing of big data management systems under different hardware architectures

Meng Xiaofeng，Wang Fengming and Guo Zhiliang

1（School of Information，Renmin University of China，Beijing 100872）

2（School of Information，Renmin University of China， Beijing 100872）

3（School of Information，Renmin University of China， Beijing 100872）

Abstract With the popularity of cloud computing, more and more enterprises begin to provide users with cloud

computing services. Big data can benefit enterprises, butthe increasingdata scale force enterprises

to purchase more hardware equipment andexpand the scale of data center inorder to better services.Increasing

power consumption of data center not only cause huge daily expenses, but also affect surrounding

environment.Therefore, we need to find a system which meets the performance requirements, and canalso reduce

power consumption. In this paper, we test performance and power analysis cloud data management systemon two

different hardware architectures. The first run cloud data management system under different x86 CPU platforms,

together with SSDs to accelerate system throughput, weanalyzethe performance of different platforms, and

collectperformanceand power consumption of the running systems. The second exploitARM hardware platform to

run cloud data management system, testing the ARM architecture’s performance and power consumption on large

data analysisapplication scenarios. Experiments show that ARM-based architectures can greatly reduce the power

consumption of hardware platform, thenprovide satisfactory performance at the data analysis scenarios. In this

paper we based on different hardware platforms to testing the large data management systems, giving a detailed

performance and power consumption data, providing developers with a reference to the data basis.

Keywords Cloud Computing；Big Data；Performance；Power Consumption；Hadoop；Hbase

摘要 随着云计算技术的普及，越来越多的企业开始为用户提供云计算服务。海量数据为企业创造了价

值，但不断增加的数据规模也迫使企业采购更多的硬件设备、扩大数据中心规模来为用户提供更好的服

务。然而数据中心日益增大的耗电量不仅造成了日常庞大的费用支出，而且也严重影响了周围的环境，

因此亟需能够找到既能满足大数据管理系统性能需求，又能降低系统功耗的方法。本文针对大数据管理

系统的两种不同硬件架构做了性能与功耗分析。第一种使用 x86架构下不同 CPU 平台运行大数据管理系

统，同时使用固态硬盘加速系统的吞吐率，分析了不同平台的基础性能，并测试收集了大数据管理系统

在这些平台上的性能表现和电能消耗。第二种主要使用基于 ARM架构的硬件平台运行大数据管理系统，

针对大数据分析和海量数据存取的应用场景，测试了 ARM架构系统的性能和功耗。通过实验可以看出，

使用基于 ARM架构的硬件可以极大的降低硬件平台消耗的电能，同时在数据分析的场景下能够提供满意

的性能。本文基于不同硬件平台对大数据管理系统进行了测试，给出了详尽的性能和功耗数据，为开发

者提供了可参考的数据依据。

关键词 云计算; 大数据; 性能; 功耗; Hadoop; HBase

中图法分类号TP

0 引言

数据对于企业来说有巨大的潜在价值，通过存

储和分析数据，企业不仅可以记录业务运行情况，

也可以更合理的调整和开展自身的业务，从数据中

创造价值。当前所处的时代是一个数据规模急剧膨

胀的时代，为了存储和分析这些数据，企业在数据

中心上的投入不断推高了企业的经营成本。Google

公司在最近七年向数据中心累计投入了 210 亿美元[1]

,而且每个季度的投入也呈上升的趋势，微软也已

经累计投入了 150 亿美元用于建立数据中心。其中，

电力消耗支出是非常重要的一部分。首先，上万台

服务器运转所消耗的电能是巨大的，微软和 Google

公司建设新的数据中心甚至不得不选择离发电站比

较近的地方。其次，服务器高速运转会产生大量的

热量，为了维持整个数据中心的稳定运行，需要采

购大量的冷却设备，这从另一方面增加了成本。

正式由于这个问题，低功耗的硬件平台得到了

硬件厂商和 IT 企业的广泛关注。CPU 生产商 Intel

在 2012 年第四季度发布了 Atom S1200 系列，这是

第一款面向服务器应用的 Atom 系列 CPU，它的热

功耗设计只有 7W。AMD 早在 2011 年的时候就已

经收购了主营低功耗服务器的 SeaMicro 公司，同时

它也发布了基于山猫架构的低功耗 CPU，热功耗设

计也只有 9W。服务器厂商惠普也在 2013 年初发布

了 Moonshot 服务器，它号称比传统服务器节能 89%，

并且能够节省 80%的空间。固态硬盘的普及使得其

可以替代磁盘提升数据吞吐能力，同时降低硬件平

台总的电能消耗。

目前，企业广泛采用的大数据存储和分析系统

往往需要较高的 CPU 处理能力和大量的磁盘 I/O，

现有针对这类系统的研究测试工作大部分只针对系

统的性能进行了测试和研究，并没有根据不同硬件

平台下不同数据管理系统的性能和功耗等问题进行

研究。虽然新型硬件在功耗上有巨大的优势，但是

它们是否能够满足企业需求还有待验证。本文针对

传统的服务器硬件平台，加入桌面版 x86 架构的

CPU、ARM 架构的 CPU 和固态硬盘作为对比，对

大数据存储管理系统进行性能及功耗的测试研究，

探索在保证可接受性能水平的前提下，为选择合适

的硬件平台降低硬件平台总体成本和功耗提供依据。

本论文的贡献主要包括以下几个方面：

第一，根据云计算环境下数据中心的硬件建设

需求，从性能、能耗、成本三个维度来考量硬件平

台的选择。

第二，在 x86 架构下使用服务器、桌面版、低

功耗版 CPU 搭建硬件平台，运行数据管理系统并进

行性能、功耗的实验分析和数据对比，给出可参考

的测试数据。

第三，搭建ARM的测试平台，使用固态硬盘降

低整体功耗并提升系统的吞吐能力，探索ARM架构

的CPU在云计算环境下应用的可能性。

1 相关工作

随着大数据存储和处理需求的增强，产业界和

学术界都开发出一些具有不同特点的大数据管理系

统。现有的研究工作对这些系统的性能进行了研究，

并提出了针对这些数据模型的基准测试，也有一些

工作对大数据存储处理平台做了能耗的研究。

一、针对数据管理系统的测评：文章[2]针对六

个开源的大数据存储系统进行了性能的测试，并根

据应用监控管理系统的读写特点，设计了五种针对

不同应用需求的读写比例和负载，文章提供了对这

六个存储系统详细的性能分析，并给出了性能调优

的一些经验。文章[3]对比了并行数据库与 Hadoop

在处理大规模数据分析任务时的性能，并分析了两

种系统在模式支持、编程模型和执行测量等方面的

一些异同。

二、有关功耗的相关研究：已经有了一些研究

来试图减少硬件平台的电能消耗，主要有两种方式。

第一种是通过硬件的方式，这种方式能够很简

单、有效的降低整个平台的功耗，效果更好，不需

要人为的对系统调度、控制等进行人工干预，选择

低功耗的硬件平台又能够大大降低数据中心的建设

成本。文章[17]使用混合式的硬件平台为数据中心提

供服务，同时使用低功耗的硬件平台和高性能但是

功耗较高的硬件平台，并根据应用场景的不同设计

了五种不同负载的实验。从测试结果可以看出，针

对于某些应用类型，低功耗平台虽然性能相比高性

能硬件有差距，但是在功耗性能比上却有明显的优

势。文章[4]使用了低功耗的嵌入式结点，并配有闪

存作为存储组成数据存储管理集群，并根据硬件特

点设计了基于日志结构的 FAWN-KV 的存储系统，

利用闪存高速读写的特点，将整个系统每焦耳能达

到性能提升到一个可接受的范围。文章[5]使用低功

耗计算结点组成一个计算集群，同时使用固态硬盘

提升集群的数据吞吐能力。与传统的服务器平台相

比，低功耗集群在消耗相同电能的条件下能够提供

更高的数据吞吐量。

另一种是通过软件的方式在不更换已有硬件设

备的基础上实现简单的节能效果。可以通过软件层

面上的调度，动态的将空闲结点关闭以达到节能的

目的。也可以通过将热数据迁移到部分磁盘上，并

使其余磁盘进入低能耗状态以达到降低功耗的目的。

文章[6]提出了一个用于设计和度量 Map-reduce 集群

电能消耗的通用框架，提出使用全部结点执行任务，

在任务完成后关闭全部结点的策略。在大部分的

Map-reduce 任务执行情况中，这种策略能够取得更

快的响应时间和更低的能源消耗。文章[7]开发了

BEEMR 系统，BEEMR 的任务管理与 Hadoop 中的

Map-reduce 任务管理比较类似，但是在计算结点任

务分配执行策略上有很大的不同。BEEMR 将集群

分为两个子集群，处于随时等待执行任务状态的交

互式集群和处于低功耗的状态的批处理集群。当任

务对响应时间有要求时使用交互式集群处理；否则，

使用批处理集群，以达到降低能耗的目的。

通过软件技术节能需要修改运行系统的源代码

来实现调度控制功能，但是数据中心中运行多种软

件系统，源码修改的工作量很大，虽然降低了硬件

成本，但是大大增加了软件成本。另外，修改过的

系统移植性较弱。而通过降低硬件功耗来降低整个

平台的功耗是最直接有效的方法。但已有的研究工

作选择的应用场景太过单一，而且不能反映当前最

新硬件发展下系统的性能功耗对比。因此，需要有

这方面的探索来给出一个针对不同应用场景下的硬

件选择的参考。

2 大数据管理系统测试方案

在本文中，我们针对 Hadoop 和 HBase 进行大

数据管理系统的性能和功耗研究。

Hadoop 是我们进行大数据分析的典型的代表，

在大数据分析挖掘方面，在 hadoop 上使用蒙特卡罗

方法估算圆周率 π 值，并进行程序测试，设置 10

个 map 并使用 10000 个样本进行估算，考察在处理

非海量数据、内存占用较少、主要使用 map-reduce

计算能力的数据处理程序在不同硬件平台的性能表

现。同时使用 Pagerank[8]程序来分析系统在处理大

量数据时的功耗和性能。

Hbase 在大数据存储分析中同样充当着典型的

角色，在大数据存储的场景下，我们使用如表 1 所

给出的四种不同读写比例来测试HBase的性能和功

耗。针对 HBase 的性能测试需要根据不同硬件平台

对 HBase 进行参数的调优。为了保证本文的测试结

果具有一定的参考性，我们使用的大部分的参数都

是 HBase 默认的参数设置，但是针对不同平台的

CPU 能力和内存容量，调试了 HBase 的缓存比例、

Region 的 Handler 的个数等参数以便能发挥出硬件

平台的最优性能。HBase 也提供对于存储数据的压

缩方法，将 columnfamily 置为压缩可以有效的利用

CPU 的处理能力将需要存储的大量数据压缩存储，

减少了存储消耗的空间。在测试中我们分别使用了

非压缩的数据表和压缩的数据表进行对比测试，压

缩方式为 HBase 自带的 gzip。

Table 1 Read & write percentage of HBase

表 1 HBase 的读写比例

负载 读 写 扫描

W 0 100 0

WR 50 50 0

R 100 0 0

S 0 0 100

本文在Yahoo！推出的YCSB测试工具基础上开

发了分布式的测试框架，使用多个结点作为测试客

户端，当需要执行性能测试时，只需要在总控端执

行命令，各个结点就会同时执行测试，最后将测试

结果汇总到总控结点。同时每个结点的读写比例设

置、并发线程数等参数也在总控结点设置，不需要

针对每一个结点都编写一个配置文件。此外，由于

HBase是将数据存储到对应的Region中，如果这个

Region的数据超过了一定的阈值，那么这个Region

就会分裂成两个Region，并可能会在存储结点间有

数据的迁移。在测试时，当数据导入到HBase之后，

可能会伴随着大量的Region分裂和为了维护负载均

衡而导致的数据在结点间的迁移，因此在数据刚刚

导入到HBase中时集群间的数据通信量会很巨大，

同时每个结点也需要占用大量的CPU时间来处理

Region的关闭、分裂、开启等状态变化，所以在系

统没有稳定时HBase并不是一个很好的工作状态。

在测试中我们会使用nethogs工具检测存储结点的

网络通信，当各个结点间的网络传输趋于平稳、

HBase的Region数目停止增加，再开始进行下一阶

段的测试，其具体的网络拓扑图如图1所示。

Fig．1 Test topology of x86 platform

图 1x86平台测试拓扑图

3 x86 平台下的性能与功耗测试

本节使用x86架构下的不同CPU平台运行大数

据管理系统，同时使用固态硬盘加速系统的吞吐效

率，分析了不同平台的基础性能，并测试收集了大

数据管理系统在这些平台上的性能表现和电能消耗。

3．1 硬件部署

x86 架构是复杂指令集，这种架构广泛地应用

在服务器、微型计算机、笔记本等设备上。在服务

器和个人电脑领域，Intel 和 AMD 是比较成功的两

家公司，市面上销售的 CPU 也基本出自这两家公

司。其中 Intel 占据了较大的市场份额，在台式机、

服务器中，凭借良好的功耗控制和突出的性能，成

为选购的主流配置，尤其在服务器市场中， Intel

的 CPU 占据了绝对的优势。

Intel 旗下的 CPU 针对不同的应用平台也有

不同的子品牌，针对服务器产品有至强系列 CPU，

可以为服务器提供高性能、稳定的计算能力，并支

持服务器平台需要的 ECC 内存校验技术和虚拟化

技术；针对 PC 产品有酷睿系列的 CPU，相比于服

务器产品支持的内存容量有大幅度的减少，但是在

功耗上也有所降低；针对移动或低功耗场景有凌动

系列处理器，它大幅度的降低了功耗，散热也得了

有效的控制，但是在性能方面也降低不少，不支持

ECC 内存校验和虚拟化技术，支持的最大内存容量

也偏少。

一、CPU

本文主要采用了 Intel 旗下的三款产品：至强

E5-2620、酷睿 i3-3220 和凌动 Atom D2700，涵盖

了服务器系列、桌面系列和移动系列。具体参数如

表 2。

Table 2 CPU type & parameters

表 2 选取 CPU 型号和参数

Intel XEON

E5-2620[33]

Intel Core

i3-3220[34]

Intel Atom

D2700[35]

系列 服务器至强系列 桌面版酷睿系列 低功耗 Atom 系列

内核数 六 二 二

线程数 十二 四 四

主频 2GHz 到 2.5GHz 3.3GHz 2.13GHz

缓存 15MB 3MB 1MB

工艺 32nm 22nm 32nm

TDP 95W 55W 10W

最大内存 384GB 32GB 4GB

内存通道数 4 2 1

售价 $410 $125 $52

二、硬盘

本文实验中使用的服务器型号为惠普 DL380p

Gen8，配置了 7200 转的 SAS 接口硬盘，并具有 1GB

缓存的智能阵列控制器，在瞬时的数据读写性能方

面占有较大的优势。在桌面版 CPU 平台选用了希捷

7200 转容量为 2TB 的硬盘，价格相对低廉。此外，

测试客户端

低功耗集群 桌面版集群

X86 测试环境 ARM 测试环境 电力检测仪

服务器集群

我们使用了三星 840Pro容量为 128GB的固态硬盘。

三星 840Pro 的平均功耗只有 0.069W[9]，远远低于

希捷磁盘平均 8W 的功耗[10]。同时其配备了 256MB

的内存缓存，4KB 的随机读写性能达到了

90000IOPS，在性能和功耗方面都具有比较大的优

势，但是硬盘容量相对较小。硬盘参数如表 3。

Table 3 Version of hard disk

表 3 硬盘型号

硬盘 型号 容量 价格

服务器硬

盘

HP Smart Array P420i/1GB FBWC

智能阵列控制器

HP 7200rpm SAS 硬盘

1TB ￥4800

￥2400

普通硬盘 希捷 7200rpm SATA 硬盘 2TB ￥590

固态硬盘 三星 840Pro 128GB ￥890

三、其他硬件

服务器全部使用惠普 DL380p Gen8 的配件，配

置了 32GB 的 RDIMM 内存。在桌面版酷睿平台配

置了 8GB 的内存，使用了航嘉 jumper350 电源，额

定 350W，能源效率达到 82%以上。在低功耗平台

由于 Atom D2700 可使用内存容量的限制，只配置

了 4GB 的笔记本内存，同样使用了航嘉 jumper350

电源。在桌面版平台和低功耗平台上都使用 SATA3

（6Gbps）接口与磁盘和固态硬盘连接。各个平台

具体配置如表 4。

Table 4 x86 configuration

表 4 x86 平台具体配置

服务器 桌面版 低功耗

CPU 两颗 E5-2620 i3-3220 Atom D2700

内存 32GB 8GB 4GB

存储 1TB SAS 硬盘 2TB SATA 硬盘或

128GB 固态硬盘

2TB SATA 硬盘或

128GB 固态硬盘

整机价

格

￥32500 ￥2717 或

￥3017

￥1568 或

￥1868

本文使用了基于上表的三种硬件平台，其中在

桌面版和低功耗版又分别使用了磁盘和固态硬盘分

别进行了测试，因此总的测试平台为服务器版、桌

面版、桌面 SSD 版、低功耗版、低功耗 SSD 版。

3．2 平台搭建

本节基于以上硬件环境，共有5种硬件平台：服

务器集群、桌面版集群、桌面版SSD集群、低功耗

集群和低功耗SSD集群，每一个集群都配置了三个

结点，其中一个结点作为主结点，另外两个作为从

结点。这些集群都使用同一个交换机连接到一个局

域网中，同时使用三个与服务器结点相同配置的测

试客户端结点，使用高配置机器来产生多线程发送

测试命令，避免测试客户端成为系统性能测试时的

瓶颈。

每个测试结点都安装了Ubuntu 12.04lts版本的

操作系统，部署了Java Hotspot 64位虚拟机，版本为

1.6.0_24，每个测试结点安装系统监视软件zabbix[11]，

实时收集当前的CPU负载、内存占用和网络通信等

信息，通过分析收集到的测试时各个平台结点的系

统信息，我们可以定位硬件平台可能存在的瓶颈和

问题，不断调优环境参数和系统设置，发挥硬件平

台的最大能力。此外，我们使用北电仪表Powerbay

专业版监控仪器[12]监测和收集功耗数据。

3．3 测试用例

我们使用Pagerank作为大数据分析场景下的性

能测试程序，生成接近104万的结点和461万的边作

为测试的数据集。在大数据存储的场景下，我们使

用四种不同的读写比例来测试HBase的性能和功耗。

3．4 实验及结果分析

3．4．1 硬件平台基础性能与功耗

由于大数据管理系统是分布式系统，网络环境

和结点间的通信能力会很大程度上影响系统运行的

性能，同时对于数据存储系统，存储设备的读写速

度也会成为制约系统运行的关键因素。我们对三个

平台的五种搭配进行了基础性能功耗测试，测试结

果如表 5。

Table 6 Basic performance & power consumption of hardware platform

表 6 硬件平台的基础性能及功耗

结点间最大

带宽

数据传输 存储设备

IO

待机功耗

服务器集群 944Mbit/s 42MB/s 304MB/s 290W

桌面版集群 944Mbit/s 42MB/s 192MB/s 77W

桌面版 SSD 集群 944Mbit/s 72MB/s 507MB/s 60W

低功耗集群 944Mbit/s 21MB/s 188MB/s 75W

低功耗 SSD 集群 944Mbit/s 22MB/s 245MB/s 58W

通过测试结点间的网络情况可以发现，结点间

都是以 1Gbps 的网络带宽相互连接的。使用 dd 命

令向存储写入 10G 大小的文件，配备固态硬盘的桌

面版集群可以达到 507MB/s的速度，但是由于Atom

D2700 芯片只能支持 SATA2 接口，固态硬盘速度

的优势没有能够在低功耗平台得到体现。同时使用

固态硬盘的桌面版集群结点间的数据传输可以达到

72MB/s 的速度，但是 Atom D2700 的数据传输却比

较低，可能是由于其主板在网卡和存储接口间的数

据传输限制了性能。在待机功耗方面，服务器由于

使用了两颗 CPU、多条内存、Raid 卡等服务器组件，

三台服务器的功耗达到了 290W，远远高于桌面版

和低功耗版的待机功耗，运行一个服务器集群所消

耗的电能相当于运行三个桌面版集群所消耗的电能。

使用了 SSD 的集群会比没有使用 SSD 的集群平均

降低 17W 的功耗，低功耗集群因为使用固态硬盘其

待机功耗降低了 22.7%。虽然低功耗 CPU 的 TDP

要低于桌面版的 i3-3220，但是其集群的待机功耗与

桌面版待机功耗相当。这是因为 i3-3220 使用了更

先进的 22nm 工艺，动态节能技术的应用也使其在

低负载的情况下能够有效的控制电压和频率，使其

待机的功耗可以和 Atom D2700 相媲美。

3．4．2 Hadoop 数据分析的性能功耗

我们针对 Hadoop 的数据分析场景，分别进行

了 PageRank 和 Pi 的测试，具体的测试结果如图 2

和图 3：

Fig. 2 PageRank Performance & power consumption of x86 platform

图 2 x86 平台 PageRank 的性能功耗

Fig. 3 Pi Performance & power consumption of x86 platform

图 3 x86 平台 Pi 的性能功耗

在运行 PageRank 的测试中，服务器版、桌面版

和桌面 SSD 版的集群在性能上的差别较小，虽然桌

面 SSD 集群使用了固态硬盘，但是并没有对系统运

行 PageRank 在性能上有较大的提升。同样，在 Pi

的测试中，使用了固态硬盘对执行任务也没有显著

的影响。使用低功耗 Atom D2700 的硬件平台相比

于其他平台，在性能上有着显著的差距，一方面由

于 Atom D2700 这个 CPU 的运算能力要远远落后于

其他两个 CPU，在运行任务时的 CPU 平均空闲率

为 14.62%，最小值达到了最低的 0%；另一方面，

由于内存容量的限制，只支持 4G 内存的低功耗版

集群在运行需要大量内存用于计算的 PageRank 时

有着明显的劣势。通过系统监控软件我们可以看到

在测试过程中单个处理结点的最小剩余内存，如表

6。当物理内存有限时，需要使用系统的虚拟内存进

行数据的换入换出，这大大增加了系统的执行时间。

从实验结果中可以看出，桌面版集群运行

map-reduce 任务的性能与服务器集群的性能相差不

大，但是在功耗上只是服务器集群的三分之一。虽

然其在待机功耗上与低功耗集群相差不多，但是在

系统负载较大需要系统满载运行时，CPU 的主频会

有提升，功耗会比低功耗集群要高一些。低功耗集

群所消耗的电能最少，但是系统性能也最低。

Table 6 PageRank system state on x86 platform

表 6 x86 平台 PageRank 的系统状态

CPU 空闲最小值 剩余内存最小值

服务器版 80.74% 11697.2MB

桌面版 19.72% 2802.3MB

桌面版 SSD 19.92% 1369.9MB

低功耗版 0% 85.88MB

低功耗 SSD 0% 96.83MB

3．4．3Hbase W 负载性能功耗

针对于 HBase 的 W 负载，我们测试了使用压

缩的表和不使用压缩的表两种情况，具体的性能和

功耗数据如图 4。

Fig. 4 W-load Performance & power consumption of x86 platform

图 4 x86 平台 W 负载下的性能功耗

在功耗方面，使用压缩算法和不使用压缩算法

所消耗的电能相差不是很大，但是使用压缩算法后，

在 W 负载中的性能要相比不使用压缩算法有一定

程度的下降，这也是通过占用更多的 CPU 时间对数

据进行压缩来减少数据占有的空间。在我们测试的

过程中使用的压缩算法是 HBase 原生支持的 Gzip

压缩算法，这种压缩算法的压缩率较高，但是压缩

数据的吞吐率可能会限制系统的写入速度。在测试

中插入了 3000 万条数据，没有使用压缩算法所占的

空间为 49.21G。使用压缩算法后，3000 万条数据一

共为 22.97G，所消耗的存储空间减少了一半。但是

相应地，无论使用服务器 CPU 还是固态硬盘，在

W 负载下的最大写入性能还是与不使用压缩算法

有一定的差距。

在 W 负载中，使用固态硬盘会对系统有一定程

度的性能提升。在表 4-5 中所示，桌面版 SSD 的存

储 IO 性能超过了服务器集群。同时，由于大量的

写入操作会造成 HBase 的 Region 进行频繁的分裂，

这个过程也需要消耗一定的 CPU 处理能力来完成

Region 各个状态间的切换，因此低功耗平台由于

CPU 性能的差距，在 W 负载下相比于其他平台有

不小的差距。表 7 显示了在 W 负载下的一些系统信

息，三个平台都消耗了大量的内存，这也是由于

HBase 会将数据先写到内存的 Memstore 中以提供

较高的写性能，当 Memstore 达到一定阈值再将数

据写入磁盘的这种机制造成的。由表 7 也可以看到，

在负载较高的情况下，桌面版和低功耗版的 CPU 的

处理时间都接近被占满，但桌面版集群可以提供良

好的性能。

Table 7 W-load system state on x86 platform

表 7 x86 平台 W 负载的系统状态

CPU 空闲最小值 剩余内存最小值

服务器版 51.79% 179.41MB

桌面版 6.66% 99.02MB

桌面版 SSD 5.2% 99.57MB

低功耗版 2.04% 92.38MB

低功耗 SSD 1.34% 97.11MB

3．4．4 Hbase WR 负载性能功耗

在 WR 负载中，读操作和写操作的比例各占

50%，具体的性能和功耗数据如图 5。

Fig. 5 WR-load Performance & power consumption of x86 platform

图 5 x86 平台 WR 负载下的性能功耗

在功耗方面，同样使用压缩算法和不使用压缩

算法所消耗的电能差距不大，服务器版消耗的电能

仍然最高，低功耗使用固态硬盘的集群耗电量最低。

与 W 负载下的性能不同的是，在 WR 负载中使用

压缩算法得到的性能要明显好于不使用压缩算法。

虽然在写入数据方面，将数据压缩之后再进行存储

会降低系统的吞吐率，但是其在读数据方面会占有

很大的优势。将数据压缩不仅会节省存储结点的硬

盘空间，同样这种方式也会大大减少硬盘和网络的

IO。同时，由于数据所占的空间更小，可以将更多

的数据存放在内存中，当所需要读取的数据在内存

中时，直接就可以将数据返回，节省了到存储的

HFile 文件中查找数据进行合并的时间消耗。此外，

使用固态硬盘仍然显著的提升了集群的性能，当数

据不存储在内存中时，固态硬盘较高的随机读取速

度相比于磁盘要有明显的优势，同时也降低了集群

的功耗。在 WR 负载中，几个集群并没有出现系统

长时间过载的情况，但是由于低功耗集群存储的 IO

相对较低，且没有充足的内存，在 WR 负载下的性

能还是要比其他平台下的集群降低不少。

Table 8 WR-load system state on x86 platform

表 8 x86 平台 WR 负载的系统状态

CPU 空闲最小值 剩余内存最小值

服务器版 48.61% 206.4MB

桌面版 31.33% 145.48MB

桌面版 SSD 29.24% 179.7MB

低功耗版 17.12% 102.99MB

低功耗 SSD 18.06% 142.03MB

3．4．5 Hbase R 负载性能功耗

R 负载测试了 HBase 对全部为随机读操作的性

能，具体的性能和功耗数据如图 6。

Fig. 6 R-load Performance & power consumption of x86 platform

图 6 x86 平台 R 负载下的性能功耗

在 R 负载下，使用压缩算法也比不使用压缩算

法的性能有一定程度的提升。在测试中，为了使

HBase 在全读取操作的负载下达到理想的性能，我

们调高了 HBase 配置的缓存比例参数 BlockCache，

对于读负载较重，且读数据分布不均匀的场景，增

大系统的 BlockCache 参数可以有效的提升系统的

性能。当数据不在 BlockCache 中缓存时，使用固态

硬盘可以极大的提升系统的性能。固态硬盘在随机

读方面相比于传统磁盘有着数量级的差别，使用

SATA3 接口连接固态硬盘的桌面版平台可以将系

统在 R 负载下的性能提升接近一倍。在这样的负载

下，固态硬盘可以很好的发挥其在读操作方面的优

势。针对一次写入，多次读取进行数据分析的场景，

使用固态硬盘可以很大幅度地提升系统的性能。但

是在低功耗平台中由于芯片组只能支持 SATA2 的

接口，限制了固态硬盘的传输速率，因此在性能上

并没有很好的提高。表 9 显示了集群在 R 负载下最

大的负载值，各个平台下系统的平均 CPU 占用率不

是很好，但是在一些负载达到峰值时最低也达到了

19%。

Table 9 R-load system state on x86 platform

表 9 x86 平台 R 负载的系统状态

CPU 空闲最小值 剩余内存最小值

服务器版 66.57% 3354.24MB

桌面版 19.65% 116.31MB

桌面版 SSD 41.89% 121.06MB

低功耗版 19.34% 146.37MB

低功耗 SSD 50.35% 139.73MB

3．4．6 Hbase S 负载性能功耗

S 负载测试了 HBase 在处理扫描操作时的性能

和功耗。

Fig. 7 S-load Performance & power consumption of x86 platform

图 7 x86 平台 S 负载下的性能功耗

在 S 负载下，全部的操作都是对表进行扫描，

这也是对存储的数据进行大规模分析处理时经常遇

到的负载。由于测试时在两个存储结点插入的数据

达到了 3000 万条，HBase 分裂出了很多 Region。

一个 RegionServer 会管理几百个 Region，在对存储

数据进行扫描时，RegionServer建立相应的Scanner，

需要消耗大量的 CPU 资源。从图 7 中可以看到，服

务器集群在 S 负载下的性能要远远好于其他平台的

集群，这也是因为服务器的 CPU 可以提供较好的性

能。此外，压缩数据存储和使用固态硬盘也都相应

的提升了系统在 S 负载下的性能。

表 10 显示了在 S 负载下的系统信息，使用两

颗E5-2620的服务器集群在最大负载时其CPU占用

率也接近达到了 87%，从此可以看出 S 负载对于硬

件平台 CPU 的性能消耗。桌面版平台在最大负载时

接近占用 100%的 CPU 时间，但是低功耗集群 CPU

空闲的最小值仅 8.04%，这是由于在对低功耗平台

进行测试时，如果使用相同数量的测试线程，低功

耗平台下的系统将会过载，性能也比较差。所以我

们将客户端并发线程数调小，使低功耗平台下的系

统达到一个最好的性能。

Table 10 S-load system state on x86 platform

表 10 x86 平台 S 负载的系统状态

CPU 空闲最小值 剩余内存最小值

服务器版 13.28% 193.71MB

桌面版 0.03% 126.98MB

桌面版 SSD 0.03% 101.52MB

低功耗版 8.04% 127.72MB

低功耗 SSD 19.57% 104.11MB

3．4．7 测试结果分析

在测试对比的硬件平台中，服务器集群拥有最

强的 CPU 处理能力、最大的内存容量，同时也具有

良好的 IO 性能，但是其功耗也最高，价格也最为

昂贵。桌面版相比服务器集群的 CPU、内存和 IO

性能都要逊色一些，但是无论是待机还是在系统负

载较高时都能保持良好的功耗，其配备固态硬盘后

IO 性能超过了服务器集群得到了大幅度的提升，也

因此在数据存取的 W 负载、WR 负载和 R 负载中具

有最高的性能，同时相比使用磁盘功耗有了进一步

的降低，具有最好的性能表现。但在 CPU 为瓶颈的

S 负载中，其性能仍要小于服务器集群。低功耗集

群具有能耗最低的处理器，但是 CPU 性能和内存大

小成为了系统的瓶颈，在各个负载中均要落后于其

他平台，虽然为低功耗集群配备了固态硬盘，由于

只支持 SATA2 接口的原因，系统并不能发挥出固

态硬盘的优势，但是其在高负载下仍能保持较低的

功耗是其最大的优势，如果需要处理的任务负载较

低，使用低功耗平台是一个很好的选择。

在图 8 中总结了测试使用的不同硬件平台在各

个应用场景和负载下的性能功耗比，即消耗了单位

能量所能处理的数据量。在图中对比的是相对的值，

即针对不同负载服务器集群的性能功耗比的值为 1，

其他硬件平台与服务器平台进行比较得到其相应的

性能功耗比值。从图中可以看到：

1）使用固态硬盘的桌面版集群在所有负载中都

具有最好的性能功耗比，其在各个负载中能达到的

性能也比较可观，同时这个平台的部署成本要远远

低于服务器集群，具有低成本、高性能、低功耗的

特点。

2）低功耗版本虽然在性能上与其他硬件平台相

比有较大的差距，但低的功耗使其在性能功耗比中

有良好的表现。

Fig. 8 Performance Per Watt of different hardware platform under various

load

图 8 不同硬件平台在各个负载下的性能功耗比

4ARM 架构下的性能与功耗测试

4．1 硬件部署

ARM 架构的 CPU 相比于 x86 架构的 CPU 有很

大的不同，ARM 使用了 RISC 指令集，避免了复杂

的指令，同时其具有芯片面积小、功耗低、成本低

的特点，被广泛地使用在手机、平板电脑等需要低

功耗的智能设备中。

由于并没有硬件厂商专门使用ARM架构的硬

件推出服务器产品，市场上也尚没有面向消费市场

的ARM计算机，在本文的测试中主要使用了基于

ARM架构的开发板。[13]中列出了目前一些组织推出

基于ARM芯片的开发板。由于当前的所有ARM产

品还是32位的架构，所以其CPU理论上只能支持最

大4G的内存，现有的一些ARM开发板的内存容量

也因此比较低。在列出的ARM开发板中，我们选择

了具有2G内存、千兆网卡和SATA接口的cubietruck，

其使用了全志基于ARM架构的A20处理器[14]。

Table 11 ARM Storage parameters comparison

表 11 ARM存储参数对比

硬盘 型号 容量 功率 价格

笔记本硬盘 希捷 5400rpm SATA 硬

盘

500G 1.2W ￥299

固态硬盘 三星 840Pro 128GB 0.069W ￥890

在存储方面，由于cubietruck的主板供电不能很

好的支持3.5寸的磁盘，因此在磁盘方面选择了希捷

的2.5寸500G笔记本硬盘[15]。笔记本硬盘相比于桌

面版的硬盘具有更低的功耗和较小的体积，但是其

性能也有所降低。同时也加入了固态硬盘进行对比

实验。为了与x86架构的硬件平台进行对比，实验选

取了基于x86架构的服务器集群进行对比实验。

Table 12 x86 server cluster vs ARM server cluster

表 12 x86服务器集群和ARM集群对比

服务器 ARM 集群

CPU 两颗 E5-2620 Cortex-A7

内存 32GB 2GB

存储 1TB SAS 硬盘 500GB SATA 硬盘或

128GB 固态硬盘

整机价格 ￥32500 ￥838 或

￥1429

体积 44.55 x 69.85 x 8.74 厘米 11.5 x 8.4 x 3.2 厘米

在整体的参数上，ARM集群和基于x86架构的

服务器集群有着非常巨大的差距，但是在价格上也

低廉许多，一台服务器的价格可以购买将近39台

ARM的计算结点。同时，服务器的体积也较大，实

验中使用了2U的服务器，在体积上可以安装排放88

个ARM结点。在机器密度较大、空间紧张的数据中

心中，能够减少计算结点的体积也是选择硬件平台

时重要的优势。

4．2 平台搭建

在测试平台中，我们选择了六个结点的惠普

DL380p Gen8 组成服务器集群，六个基于 ARM 架

构的开发板分别配置笔记本磁盘和固态硬盘组成

ARM 集群和 ARM SSD 集群。这些测试结点都连接

同一个交换机，部署在同一个局域网中。同时使用

了与服务器集群相同配置的六个服务器结点作为测

试的客户端，避免测试客户端成为整个系统测试过

程中的瓶颈。

在ARM的结点中，由于使用的CPU的架构不同，

运行的操作系统也不同。在服务器结点中使用针对

x86架构的ubuntu12.04lts 64位系统，使用Java

Hotspot 64位虚拟机。在ARM的结点中，使用了针

对ARM架构的Lubuntu13.08 Server版系统，同时使

用了基于ARM架构的openjdk。Lubuntu[16]系统是基

于Linux和Ubuntu的轻量级操作系统，它对于硬件的

要求比较低，更注重系统性能和功耗的平衡。此外，

我们同样配置了zabbix用来监控各个计算结点在运

行测试时的系统信息，可以更好的分析系统的问题

和瓶颈。

4．3 测试用例

针对于数据分析场景，同样也是使用了 Hadoop

PageRank 程序和 Pi 测试程序对系统进行测试。由

于 ARM 计算结点的内存有限，只能提供 2G 的内存

容量，因此运行数据规模较大的任务时，ARM 结

点并不能很好的执行处理任务。当任务需要的内存

空间大于硬件平台能够提供的内存空间时，系统就

会提示 JAVA 虚拟机能够提供的内存不足，任务就

会执行失败。因此在我们使用 PageRank 作为测试

程序时，选择的数据结点数相比于在 x86 硬件平台

使用的结点数有大幅的降低。我们使用了 1024 个结

点、2149 个结点之间的边作为 PageRank 的测试数

据。同时对 Pi 程序设置使用 10 个 map 并使用 10000

个样本进行估算。

在海量数据的存储场景下，我们同样使用了四

种不同读写比例的负载来测试HBase的性能。由于

数据存储结点既要运行Hadoop的数据管理进程，也

要运行HBase的RegionServer的进程管理对应的

Region，因此这也需要CPU具有良好的多线程的能

力。ARM结点的CPU计算能力较弱，因此其在运行

HBase时CPU的负载较高，为了发挥ARM集群的最

大性能，防止ARM存储结点的系统过载，我们在测

试时减少测试客户端并发请求的线程数，同时降低

了HBase的hbase.regionserver.handler.count、

hfile.block.cache.size等参数，尽力将HBase在ARM

平台下发挥出最好的性能。

4．4 实验结果分析

4．4．1 硬件平台基础性能与功耗

每个集群基础性能功耗数据如表13。

Table 13 basic performance & power consumption of hardware platform

表 13 硬件平台的性能和功耗

结点间最大

带宽

数据传输 存储设备

IO

待机功耗

服务器集群 944Mbit/s 42MB/s 304MB/s 290W

ARM 集群 445Mbit/s 7.3MB/s 44MB/s 13.9W

ARM SSD 集

群

445Mbit/s 7.3MB/s 47MB/s 9.4W

测试中ARM结点间测试出的最大带宽只有

445Mbit/s，并没有达到1Gbps的理论最大带宽。同

时，使用磁盘作为ARM结点存储设备的IO为

44MB/s， ARM结点使用固态硬盘的存储IO也仅为

47MB/s。这说明存储设备IO性能的低下并不是存储

设备本身性能问题导致的，可能是由于ARM芯片能

力并不能很好的保证数据的吞吐。ARM结点间的最

大带宽为服务器结点间最大带宽的一半，但是数据

传输的速度却只有服务器结点间的六分之一。这可

能是由于ARM处理器的性能原因，造成数据在网卡、

内存和硬盘间的传输速率不够，ARM架构的CPU也

并没有很好的支持SATA接口。

ARM集群的待机功耗相比于服务器集群有着

数量级上的降低，从表13中可以看到，由三台服务

器组成的集群所消耗的电能可以支持15个ARM

SSD集群，也就是90个ARM SSD结点。单从功耗上

进行比较，ARM SSD集群具有非常大的优势。

4．4．2 Hadoop 数据分析的性能功耗

我们针对Hadoop的数据分析场景，分别进行了

PageRank和Pi的测试，具体的测试结果如图9和图10。

Fig. 9 Performance & power consumption of PageRank

图 9 PageRank的性能和功耗

Fig. 10 Performance & power consumption of Pi

图 10 Pi的性能与功耗

无论是PageRank还是Pi，ARM集群的性能与服

务器集群都有3倍的差距。服务器集群运行

PageRank程序只需要230秒，而ARM集群最快也要

1282秒才能完成计算。运行PageRank时的系统状态

如表14。

Table 14 performance & power consumption of hardware platform

表 14 硬件平台的性能和功耗

CPU 空闲最小值 剩余内存最小值

服务器集群 82.74% 15794.5MB

ARM 集群 0% 63.07MB

ARM SSD 集群 0% 62.84MB

从表14中可以看到，在运行PageRank系统负载

最高时，服务器集群仍然有很高的计算资源可以利

用，服务器提供的计算能力也超过了map-reduce程

序的最大需求，可以说对于这类的数据分析处理任

务，服务器集群的运算能力是过剩的。ARM集群在

运行PageRank系统负载最高时，CPU被100%占满了

运行时间，CPU的性能和内存的限制都阻碍了系统

的性能。但是ARM集群的功耗是服务器的十二分之

一，对于运行一些性能要求不是很高的任务，ARM

集群可以更节能地完成对数据的分析处理。

4．4．3 Hbase 数据存储的性能功耗

ARM集群在数据存储场景下的性能与功耗数

据如图11和图12。ARM集群在运行HBase时，并不

能提供一个满意的性能。相比于x86硬件平台，ARM

平台运行HBase的性能有着非常大的差距，在所有

的负载下，CPU最小的空闲值都接近于0，系统处于

满负荷的状态。由于HBase的数据存储结点需要多

个线程来管理存储的数据，同时需要维护Memstore、

HFile等多种数据结构和文件，ARM架构的CPU并

不能提供很好的性能支持。此外较小的内存容量和

数据存储比较低的IO能力也极大限制了HBase在

ARM集群上的性能。

由于ARM的处理能力有限，因此测试客户端的

并发线程数也受到了限制。如果测试客户端使用较

多的线程并发地对ARM集群上的HBase进行操作请

求，这会在短时间内造成系统的过载，同时测试客

户端的线程也会收到大量的超时信息。较低的并发

请求处理能力也相当程度地限制了ARM集群在生

产环境中的使用。

Fig. 11 Data access performance of ARM server cluster

图 11 ARM集群数据存取的性能

Fig. 12 Data access power consumption of ARM server cluster

图 12 ARM集群数据存取的功耗

4．4．4 测试结果分析

在图13中总结了测试使用的服务器平台、ARM

平台和ARM SSD平台在各个应用场景和负载下的

性能功耗比。在图中对比的是相对值，即针对不同

负载服务器集群的性能功耗比的值为1，其他硬件平

台与服务器平台进行比较得到其相应的性能功耗比

值。

Fig. 13 Data access power consumption of ARM server cluster

图 13 ARM集群数据存取的功耗

由图13可以看出：

1）ARM集群在处理数据分析任务时更具有优

势，SSD ARM集群的性能功耗比为服务器集群的

5.1倍。

2）针对于负载较低、没有严格的相应时间要求

的数据处理任务，ARM集群可以在节省电能的同时

完成对大量数据进行分析处理的工作，是个相对好

的选择。

3）在处理数据存储的场景中，ARM集群的性

能功耗比虽然也与服务器集群接近，但是由于其提

供的HBase性能不具有可用性，因此也ARM集群也

并不适用于使用HBase作存储的应用中。

5 总结

本文使用了 x86 架构和 ARM 架构的硬件平台

进行大数据管理系统的性能与功耗的研究。

对于 x86 架构，我们使用了服务器平台、桌面

版平台、桌面版 SSD 平台、低功耗平台和低功耗

SSD 平台分别针对 Hadoop 的数据分析处理场景和

HBase 的大数据存取场景进行了性能和功耗的测试。

实验中我们得到了 Hadoop 和 HBase 执行测试的性

能，并记录了不同硬件平台待机和工作时的功耗。

在性能方面，服务器平台具有较好的优势，但是其

较高的电能消耗和高昂的部署成本成为了其最大的

缺点。同时我们可以看到，在大部分的应用场景中

并不需要服务器级别的硬件，使用桌面版的硬件就

可以达到相当的性能。桌面版 SSD 平台通过使用固

态硬盘较大的提升了数据的吞吐速率，并且较低的

功耗也相比服务器平台更加节能，在性能、成本、

功耗方面比服务器平台更具有优势。低功耗平台由

于内存的限制在数据分析场景下与其他平台有较大

的差距，但是由于其功耗控制良好，在高负载的情

况下也能保持较低的电能消耗，随着硬件厂商工艺

的改进，低功耗平台会成为极具竞争力的选择。

在 ARM 架构下，对于一些负载较低、相应时

间要求不高的任务，ARM 集群可以在提供一个可

接受的性能的前提下大幅度的减少能量的消耗，在

性能功耗比上相对于服务器集群有大幅度的提升；

在 HBase 存取数据的场景下，由于 CPU 性能的问

题，并不能提供一个很好的吞吐率。ARM 发展较

为迅猛，随着 64 位架构 CPU 的推出，ARM 平台也

会在未来的低功耗服务器领域占据一席之地。

本文在两种 CPU 架构下分别使用磁盘和固态

硬盘测试了以 Hadoop、HBase 为代表的大数据管理

系统的性能和功耗，给出了详尽的性能和功耗数据，

得出了有价值的结论，为数据中心的基础设施建设

提供了数据参考。

参考文献

[1]http://www.datacenterknowledge.com/archives/2013/09/17/google-has

-spent-21-billion-on-data-centers/

[2] Rabl T, Gómez-Villamor S, Sadoghi M, et al. Solving big data challenges

for enterprise application performance management[J]. Proceedings of the

VLDB Endowment, 2012, 5(12): 1724-1735.

[3] Pavlo A, Paulson E, RasinA, et al. A comparison of approaches to

large-scale data analysis[C]//Proceedings of the 2009 ACM SIGMOD

International Conference on Management of data. ACM, 2009: 165-178.

[4] Andersen D G, Franklin J, Kaminsky M, et al. FAWN: A fast array of

wimpy nodes[C]//Proceedings of the ACM SIGOPS 22nd symposium on

Operating systems principles. ACM, 2009: 1-14.

[5] Szalay A S, Bell G C, Huang H H, et al. Low-power amdahl-balanced

blades for data intensive computing[J]. ACM SIGOPS Operating Systems

Review, 2010, 44(1): 71-75.

[6] Chen Y, Alspaugh S, Borthakur D, et al. Energy efficiency for large-scale

MapReduce workloads with significant interactive analysis[C]//Proceedings

of the 7th ACM european conference on Computer Systems. ACM, 2012:

43-56.

[7] Fox A, Brewer E A. Harvest, yield, and scalable tolerant systems[C]//Hot

Topics in Operating Systems, 1999. Proceedings of the Seventh Workshop

on. IEEE, 1999: 174-178.

[8] Page L, Brin S, Motwani R, et al. The PageRank citation ranking: Bringing

order to the web[J]. 1999.

[9]http://www.samsung.com/global/business/semiconductor/minisite/SSD/

cn/download/Samsung_SSD_840_PRO_Series_Data_Sheet_rev_1_2.pdf

[10]http://www.seagate.com/cn/zh/internal-hard-drives/desktop-hard-driv

es/desktop-hdd/?sku=ST2000DM001#specs

[11] Zabbix. Available at http://www.zabbix.com

[12] http://www.northmeter.com/

[13] http://en.wikipedia.org/wiki/List_of_single-board_computers

[14] http://www.allwinnertech.com/clq/processora/20140214/85.html

[15]http://www.seagate.com/cn/zh/internal-hard-drives/laptop-hard-drives

/momentus-thin/?sku=ST500LT012#specs

[16]http://www.seagate.com/cn/zh/internal-hard-drives/laptop-hard-drives

/momentus-thin/?sku=ST500LT012#specs

[17] Chun B G, Iannaccone G, Iannaccone G, et al. An energy case for hybrid

datacenters[J]. ACM SIGOPS Operating Systems Review, 2010, 44(1): 76-80.

Meng Xiaofeng ， born in 1964 ． Professor and PhD

supervisor at Renmin University of China．Executive

member of China Computer Federation．His main research

interests include cloud data management ， Web data

management，flash-based databases，privacy protection

etc．Email：xfmeng@ruc．edu．cn

Wang Fengming，born in 1991．M. S. candidate at Renmin

University of China．Student member of China Computer

Federation．Her main research focuses on cloud computing，

big data, online aggregation etc ． Email ：wangfengmingqq@163.com

Guo Zhiliang，born in 1989， M. S. candidate at Renmin

University of China．Student member of China Computer

Federation．His main research focuses on the flash-based

database systems etc．Email：guozhiliang2011@163.com