MapReduce是Hadoop中的计算工具,主要

用于进行离线计算,其将计算过程分为两个阶段。首先 Map阶段对输入的数据进行并行处理 ,然后Reduce阶段对Map阶段所处理数据的结果进行汇总。将 MapReduce技术应用到对地震监测数据的分析上,便可以实现对历史地震监测数据的大规模并行处理分析。这样在分析过程中,所获得的数据将更为全面准确。

YARN是Hadoop的资源管理器,主要负责集群的资源管理和调度 ,它的引入为集群在利用率､资源统一管理和数据共享等方面带来了巨大的好处。

YARN主要由四部分构成。 ResourceManager是总调度,用来处理请求,资源分配与调度。 NodeManager负责单个节点上的资源管理。 ApplicationMaster负责管理任务 job,申请资源。 Container是对任务运行环境的抽象,封装了CPU､内存等多维资源以及环境变量､启动命令等 ,任务运行相关信息(图1)。

由于YARN在整个Hadoop中起着最为关键的作用,因此在部署集群的过程中, YARN是否能部署好,直接关系到整个方案的成败。下文在部署集群时将会着重说明如何部署YARN。

图1 YARN资源调度流程图
Fig.1 Resources schedule flow chart of YARN

以测震数据为例 ,目前国家地震台网中心采用基于JOPENS的SSS流服务器来负责接收和分发波形数据,接收512字节的纯数据SEED卷(Miniseed数据) ,包含有固定头段本分(48字节)和数据部分 ,主要记录台站名､起始时间､样本数目､测震数据等 ,以一个台站一个分项

^[1]。而对测震数据的分析与应用所使用的软件是 Jopens-msdp5.2,所以考虑到应用数据时的便捷性,我们在数据的存储过程仍采用这一结构对数据进行存储,数据包为seed格式。同理 ,其他监测数据也均采用目前所使用的格式直接进行存储。

数据的存储结构可以确定后,就需要确定数据的数量级以便选择合适的硬件。内蒙古地震局测震数据存储量年均在1.6 T以上,加上分析后所产出的测震数据 ,年均需要存储量在 6T以上。另外还有前兆的相关监测与分析数据 ,年数据规模在10 T以上。面对如此规模庞大的数据量需要引入大数据的数量级这一概念来加以探讨。因此以大数据的数量级来看 ,根据内蒙古地震局的数据规模以及确保系统有一定的数据冗余这两点要求来确定大数据数量级 ,需要达到EB级。所以在选择服务器与存储矩阵时要遵循EB级的数量级这一原则。

对集群硬件的选择往往被轻视 ,认为选择配置较高价格较贵的硬件既可满足一切需要。然而几乎在所有情形下 ,MapReduce要么会在从硬盘读取数据时遇到瓶颈,要么在处理数据数时遇到瓶颈,前者称为IO受限后者称为CPU受限。所以在选择硬件时 ,一定要根据工作负载进行选择。在这里可以将根据工作负载选择硬件的一般原则总结成一张图(图2)。

因此,根据对使用需求以及内蒙古自治区地震局现有的监测数据量进行分析,依据工作负载,在性能和经济性上选择硬件的最佳平衡。基于硬件选择的规律,在这里选择了通用的服务器均衡配置,结果见表1。

图2 根据工作负载选择服务器原则
Fig.2 Principles for selecting servers based on workload

表1 服务器配置方案表
Table 1 Server configuration schema table

HDFS 的三个组件均需要部署,YARN 的四个组件其中两个组件需要部署。HDFS 中的NameNode､SecondaryNameNode 比较占资源,需要部署在一个节点上,DataNode 为实际存放数据的模块, 根据需要部署即可。YARN 中需要部署的ResourceManager 较占资源, 需要部署在一个节点上。NodeManager 与NameNode 对应部署。因此, 根据上述原理, 我们为集群规划了3 台服务器, 并按表2 进行规划部署。

从表2中可以看到将比较占用资源的 NameNode､SecondaryNameNode､ResourceManager 部署在了不同的节点上。随着数据量的增多, 如果需要对集群进行扩展, 我们也可以将这三个较为占资源的服务部署在三个独立的服务器上, 其余服务器均作为数据存储服务器, 便于日后进行再次扩展。

表2 集群规划部署表
Table 2 The table of cluster planning and deployment

根据上述原则做好集群的搭建后 ,需要对集群环境进行配置。选择 Linux系统一般都会选择较为稳定的 CentOS-6.8版本。同时需要安装 JAVA､ant､maven和 protobuf工具为编译 Hadoop做好准备。在这里之所以要重新配置环境变量以及编译 Hadoop的源代码 ,是为了让整个系统与硬件更加适配。所配置的软件与 Hadoop源码参考版本如下:

jdk-8u181-linux-x64.tar､ant-1.9.14-bin.tar､ maven-3.6.1-bin.tar､protobuf-2.5.0.tar､glibc­2.14.1.tar､hadoop-2.7.7-src.tar。

在这里需要需注意的是,CentOS7.1以前的版本 ,默认支持的 glibc最高版本为glibc-2.12,而hadoop-2.7.1以上的源码所需要的glibc版本需要在2.14以上,如果我们不对CentOS-6.8中的glibc进行升级的话,在进行源码编译的过程中会报错,从而导致编译失败。因此在这里需要下载glibc-2.14.1或以上的版本对原系统中的 glibc进行升级。

对相关环境做好配置后 ,再根据具体情况与参数做好 core-site.xml､yarn-site.xml､ mapred-site.xml这3个核心配置文件的配置 ,这样Hadoop的存储集群就搭建完毕了。

我们继续使用 YARN运行简单的MR程序对已上传的数据进行运算操作 ,并通过 Hadoop的All Applications进行监控(图4､图5)。

图4 数据操作图
Fig.4 Data manipulation chart

从图4 与图5 可以看出, 对台站卷数据20180101.NM.AGL 与台网卷2018010100.NM 的WORDCOUNT 操作已经成功运行, 分别用时为1 分58 秒与4 分39 秒, 并在文件夹“tzwc”与“twwc”产出了对应的数据文件。因此, 上传至服务器的测震数据文件均可正常使用, 并可使用大数据技术对已上传的数据进行操作。

图5 数据操作记录图
Fig.5 Data operation record chart