建设DevOps统一运维监控平台，全面的系统监控你做好了吗？

xiaowei

前言

2 T; F$ _( O0 U+ A3 V

随着ITILxf.com" target="_blank" class="relatedlink">DevOps、云计算、微服务、容器等理念的逐步落地和大力发展，机器越来越多，应用越来越多，服务越来越微，应用运行基础环境越来多样化，容器、虚拟机、物理机不一而足。面对动辄几百上千个虚拟机、容器，数十种要监控的对象，现有的监控系统还能否支撑的住？来自于容器、虚拟机、物理机、网络设备、中间件的指标数据如何采用同一套方案快速、完整的收集和分析告警？怎样的架构、技术方案才更适合如此庞大繁杂的监控需求呢？

# [8 M: P2 G2 M( R" x9 t8 a

+ Q0 M  _6 n8 D, ]6 P' E# h

目录：

) b& [. _% f2 e

一、统一监控平台架构解析

+ a' z+ ~2 x8 k

二、系统监控的技术栈

$ q4 s- E, [; ^

三、开源系统监控软件 zabbix VS Nagios VS Open-Falcon

# E" w0 l, H+ r8 T9 q

四、基于k8s容器云背景下的系统监控实践：cAdvisor+Heapster+Influxdb

9 h! U! T" ?, d8 E

五、容器时代的监控利器： Prometheus

. \  ?1 x3 i; ?3 Z

  a+ {$ \0 [- K0 s& [& g

一、统一监控平台架构解析

/ U& F+ y* D$ N% S( U

" b6 o! V3 V2 I: u+ }* y: P- U

先做一下回顾，统一监控平台由七大角色构成：监控源、数据采集、数据存储、数据分析、数据展现、预警中心、CMDB(企业软硬件资产管理)。

• 监控源：
  
  

2 @# C4 ^5 j1 {. C( ?, f. Q) i

从层次上来分，大致可以分为三层，业务应用层、中间件层、基础设施层。业务应用层主要包括应用软件、企业消息总线等，中间件层包括数据库、缓存、配置中心、等各种系统软件，基础设施层主要有物理机、虚拟机、容器、网络设备、存储设备等等。

" e: ^' S/ R# ^0 R

• 数据采集：
  
  

8 p! r4 f! X5 s: R, I

数据源如此多样，数据采集的任务自然轻松不了。数据采集从指标上划分可以分为业务指标、应用指标、系统软件监控指标、系统指标。应用监控指标如：可用性、异常、吞吐量、响应时间、当前等待笔数、资源占用率、请求量、日志大小、性能、队列深度、线程数、服务调用次数、访问量、服务可用性等，业务监控指标如大额流水、流水区域、流水明细、请求笔数、响应时间、响应笔数等，系统监控指标如：CPU负载、内存负载、磁盘负载、网络IO、磁盘IO、tcp连接数、进程数等。

从采集方式来说通常可以分为接口采集、客户端agent采集、通过网络协议主动抓取（http、snmp等）

• 数据存储：
  
  

5 n. c- v! L7 ?0 P

采集到的数据一般都会存储到文件系统（如HDFS）、索引系统（如elasticsearch）、指标库（如influxdb）、消息队列（如kafka，做消息临时存储或者缓冲）、数据库（如mysql）

; y  P/ r* Y) x6 K, K0 j

• 数据分析：
  
  ( I; W$ L, G/ f! B( ?

, N0 G! W2 O: J' ~0 ~

针对采集到的数据，进行数据的处理。处理分两类：实时处理和批处理。技术包括Map/Reduce计算、全日志检索、流式计算、指标计算等，重点是根据不同的场景需求选择不同的计算方式。

• 数据展现：
  
  - D0 l; }# Z  g, K/ i

5 R; _/ H. G7 C% V* y

将处理的结果进行图表展现，在多屏时代，跨设备的支持必不可少。

8 ~& \3 O# }0 \  Z/ R9 P

8 I, X* f6 p1 X% W0 e

• 预警：
  
  6 G" ^1 c7 K$ y  Z$ o

如果在数据处理过程发现了问题，则需要进行异常的分析、风险的预估以及事件的触发或告警。

. `* d5 X, w# i7 V/ B' L  t! d% g

• CMDB(企业软硬件资产管理):
  
  3 j; D/ c, @% f9 b! J  Y

CMDB在统一监控平台中是很重要的一环，监控源虽然种类繁多，但是他们大都有着关系，如应用运行在运行环境中，应用的正常运行又依赖网络和存储设备，一个应用也会依赖于其他的应用（业务依赖），一旦其中任何一个环节出了问题，都会导致应用的不可用。CMDB除了存储软硬件资产外，还要存储这样一份资产间的关联关系，一个资产发生了故障，要能根据这个关系迅速得知哪些其他的资产会被影响，然后逐一解决问题。

, D& s# q" D* i2 {& S4 J9 j! W, M

OK，回顾到此为止，进入正题，系统监控。

4 `& G9 w% L- p  L2 A* i

2 i- @  O3 s# _

二、系统监控的技术栈

: _( L* U4 r5 @) b+ ~6 E  M! ?: _

系统监控的部分技术栈如下图所示，监控技术众多，这里自然不可能列出所有的技术，选择了部分比较经典、受欢迎的开源技术。

系统监控不同于日志监控，有很多开源软件把数据库采集、数据存储、数据展现、事件告警的任务都完成了，所以对于系统监控的技术栈中，将这些开源软件暂且排除，待后面章节再进行讲解。此处主要关注于如何自建一个统一系统监控平台。

# Y# m# Z7 \* f) b) u. z" Q

• 数据采集：
  
  

: j0 c9 t4 d) E% k

系统监控数据采集一般分为两种方式：主动采集、客户端采集。主动采集一般是通过SNMP、SSH、Telnet、IPMI、JMX等手段进行远程采集，客户端采集则是需要在每一个要监控的主机中部署一个客户端进行数据采集并发送到远程服务端进行接收。

• 数据缓冲：
  
  2 j7 [9 F: i5 m5 @* `

和日志监控一样，在面临海量监控时，考虑到网络的压力和数据处理的瓶颈，可以在数据存储前先经过一层数据缓冲，将采集到的数据先放置到消息队列中，然后再从分布式队列中读取数据并存储。如果数据量不大的话，则可以不考虑此层。

1 ~6 Q1 m" Z% U/ u

• 数据存储：
  
  , s0 y- Y& h1 z  T4 `

0 n! I0 R2 |7 L- K0 \5 s( X

对于系统监控数据，通常采用时序数据库来存储，时序数据库全称为时间序列数据库。时间序列数据库主要用于指处理带时间标签（按照时间的顺序变化，即时间序列化）的数据，带时间标签的数据也称为时间序列数据。如influxdb和opentsdb，是其中翘楚。

OpenTSDB是用hbase存储所有的时序（无须采样）来构建的一个分布式、可伸缩的时间序列数据库，可以从大规模的集群（包括集群中的网络设备、操作系统、应用程序）中获取相应的metrics并进行存储、索引以及服务，从而使得这些数据更容易让人理解，如web化，图形化等。用JAVA语言实现，对于JAVA系的同学们是一个福音,不过其依赖hbase也许会让一部分同学望而却步，毕竟还要先去维护hbase。

Influxdb是新兴的一个时序数据库，用go语言编写，无需外部依赖，发展很快，最新版本已经到了1.2。提供类sql的查询语法，安装方便，单点即可使用，虽然有集群的能力，不过该特性是非开源的（不过单点性能基本也都能满足企业需求了）。提供Http API，便于调用和封装。对于想基于influxdb自行进行数据处理和展现的同学们而言很是友好。

9 F& y) P- I2 O; h% L6 m# s

• 数据展现：
  
  

说到时序数据的图形化展现，Grafana是一个不得不提的利器。Grafana是一个开源的时序数据的查询和展现软件，提供了灵活丰富的图形化选项；可以混合多种风格，有着功能齐全的度量仪表盘和图形编辑器。支持与Graphite、Elasticsearch、CloudWatch、Prometheus、InfluxdbDB等众多数据存储对接，进行数据的查询和图表展现。一些开源的监控软件如zabbix、Graphite、Prometheus也都有着自己的数据图形化展现能力，但是一般也都是建议使用

5 Z6 j- L4 V( F* v7 a

Grafana来代替它们的页面。可想而知Grafana的优秀。

  x3 z  O7 ~. I* N* H7 T, d

当然，Grafana的数据源都是来自时序数据库，在实际场景中，可能你想要查看的报表的一部分数据还来自于业务系统，这就是Grafana或者其他的监控软件做不到的了，去扩展是一种方式，另外一种方式就是结合自己的需求实现图表展现,通过对时序数据的计算分析以及结合业务数据，使用如echarts等开源图表前端框架进行展现。这时候Influxdb的优势就体现出来了，对外提供http api非常适合自主封装图形化页面。

. y! W0 ]4 e/ V3 A. m; s2 @' V

• 告警：
  
  5 o' M* P* A+ T3 r$ {; j

在日志监控的分享中，确实没有对告警进行说明。像Zabbix、Nagios、Open-Falcon、Prometheus等开源监控软件，都是有些自己的告警能力的。如果你采用了他们作为监控平台，实际上告警能力就已经有了。如果是纯自建统一监控平台的话，也可以自己实现告警中心。我们自己的做法是，在数据处理时，根据配置的事件触发规则，生成相应事件扔到kafka中，事件处理引擎监听kafka中的事件数据，进行解析并根据事件处理策略进行告警通知等处理。

三、开源系统监控软件

! D3 h9 s2 ^0 \& M

Zabbix VS Nagios VS Open-Falcon

2 P1 C2 d  I8 c& R3 `

上面大致介绍了运维监控的技术栈，但是实际上已经有些开源监控软件功能都很全面，从数据采集到数据展现都提供了支持，如果是小团队，不想自建监控平台的话，选择这些开源软件其实是一个很好的选择。

( L8 G; B( x+ V+ ^( W

Zabbix

) @! L5 h0 v9 ?8 O9 Q9 g# d: u

Zabbix是一个企业级的开源分布式监控解决方案，支持实施从数以万计的服务器、虚拟机、网络设备等收集百万的指标数据，具备常见的商业监控软件所具备的功能（主机的性能监控、网络设备性能监控、数据库性能监控、FTP等通用协议监控、多种告警方式、详细的报表图表绘制）支持自动发现网络设备和服务器；支持分布式，能集中展示、管理分布式的监控点；扩展性强，server提供通用接口，可以自己开发完善各类监控。

# L4 i' T) p2 a8 [" _! R* Z

Zabbix重要组件说明：

1 [, V0 q' Z9 {

7 U" {* V1 R8 U3 n& v" |# Y

• zabbix server：负责接收agent发送的报告信息的核心组件，所有配置、统计数据及操作数据都由它组织进行；
  
  ' S, \% m; t" q* r) y! W

• database storage：专用于存储所有配置信息，以及由zabbix收集的数据；
  
  

• web interface：zabbix的GUI接口；
  
  # b$ D; T7 \4 B) S. q5 b

, n1 O' _$ y( ^- f# v0 P$ q2 L
! W2 R* Q: f( x

• proxy：可选组件，常用于监控节点很多的分布式环境中，代理server收集部分数据转发到server，可以减轻server的压力；
  
  

7 k+ n1 e4 u' u- l: N7 z6 i% \

• agent：部署在被监控的主机上，负责收集主机本地数据如cpu、内存、数据库等数据发往server端或proxy端；
  
  ( ^6 i- ]$ Y  p% }6 t

优点：

+ v+ J$ F& K5 x+ Z

• All in One：部署相当便捷
  
  

• Server对宿主机性能要求很低。
  
  : C4 E2 R5 r4 t8 |

/ C; [# D( J. n* \; u; l
  k( |. A- D. _! X: [

• 自动发现服务器与网络设备
  
  

% S6 ]1 i4 O) I, T1 ~9 O% Y
" d$ `" d% |( m: h' `2 i

• 分布式监控，以及WEB集中管理功能
  
  # i0 l) |. i0 X$ _( A

/ O7 _  e) F0 \  m4 u- p  z( h

• 同时支持agent采集和无agent采集，主机通过agent 或者ipmi采集数据，网络设备、存储设备等通过 SNMP 客户端采集数据，agent支持常用的UNIX和Windows操作系统
  
  

: [( {! Z1 o1 X

• 功能全面，数据采集、数据存储、数据展现、事件告警。
  
  

2 a: N/ B; Y, O- E1 r- S" F
& Z0 ?3 r7 [: s. {- L  K

• 开放式接口，扩展性强，插件编写容易
  
  " V* |: f( [+ o$ m' q, g

不足：

! j" r1 `' W9 ]9 W, m( p

• 数据库瓶颈，使用mysql作为底层存储，大数据读写的时候，对于数据库的压力非常大
  
  

+ I: B; t! |0 z2 a, O' a* J9 S
, [2 a5 s: z9 U) a; ^3 @

• 需要在主机中安装agent
  
  

• 对容器监控支持不好，需要自己扩展。
  
  

! e+ t. z1 X  c2 o

Nagios

4 V% Y4 J' }8 i

$ c* k+ `( h3 m: V  C

Nagios 全名为（Nagios Ain’t Goona Insist on Saintood），最初项目名字是 NetSaint。它是一款免费的开源 IT 基础设施监控系统，其功能强大，灵活性强，能有效监控 Windows 、Linux、VMware 和 Unix 主机状态，交换机、路由器等网络设置等。Nagios核心功能是监控报警，告警能力很不错，但是图形展示效果很差。同时nagios更加灵活，很多功能都要通过插件化来实现，对于技术能力没那么强的同学，上手会有些困难。当然，对于运维老手，上手会很快。

3 }: I# V( \1 M! Z( \

Nagios 的功能特性如下：

; V2 h: e, U& l% i

• 监控网络服务（SMTP、POP3、HTTP、NNTP、PING等）；
  
  & A( D6 Z: W7 v# |

5 X/ Y  I( \) C: R* g
/ g6 O  L3 ]* l% H7 t& s6 L

• 监控主机资源（处理器负荷、磁盘利用率等）；
  
  # L0 |" v8 k- C( b* R8 ^" o9 w

• 简单地插件设计使得用户可以方便地扩展自己服务的检测方法；
  
  

• 并行服务检查机制；
  
  

* J) t' k8 g/ C/ B

• 具备定义网络分层结构的能力，用"parent"主机定义来表达网络主机间的关系，这种关系可被用来发现和明晰主机宕机或不可达状态；
  
  

6 g- w& ]4 @( Z2 j. Y2 @; K

• 当服务或主机问题产生与解决时将告警发送给联系人（通过EMail、短信、用户定义方式）；
  
  4 t2 w/ q. z4 ?! M  z

( K7 O2 P' K; F0 {
7 Z' ~% f5 {- P- h0 z' v% e

• 可以定义一些处理程序，使之能够在服务或者主机发生故障时起到预防作用；
  
  3 g- j% i0 ]) R" q! F

" v' d$ Y% k2 @8 C

• 自动的日志滚动功能；
  
  % y( T' |/ ?9 I  P

• 可以支持并实现对主机的冗余监控；
  
  

; v2 D- G0 g0 O- D+ q# P3 ?; o
$ X' x+ j2 K3 e" i  j

• 可选的WEB界面用于查看当前的网络状态、通知和故障历史、日志文件等；
  
  

4 d: {6 \% `0 T5 N" l

Open-Falcon

Open-Falcon是小米运维部门开源出来的互联网企业级监控系统，目前包括小米、金山云、美团、京东金融、赶集网等都在使用Open-Falcon。Open-Falcon 整体可以分为两部分，即绘图组件、告警组件。“绘图组件”负责数据的采集、收集、存储、归档、采样、查询、展示（Dashboard/Screen）等功能，可以单独工作，作为time-series data的一种存储展示方案。“告警组件”负责告警策略配置（portal）、告警判定（judge）、告警处理（alarm/sender）、用户组管理（uic）等，可以单独工作。架构如下：

! A) t9 V3 s3 [# K2 p

关键特性有：

! Z4 M( m8 G" S, h9 O

% F0 N: O0 k+ F

• 数据采集免配置：agent自发现、支持Plugin、主动推送模式
  
  

• 容量水平扩展：生产环境每秒50万次数据收集、告警、存储、绘图，可持续水平扩展。
  
  / {. s8 g/ H5 y6 N

+ w6 u% c1 W! o- w/ T7 j

• 告警策略自发现：Web界面、支持策略模板、模板继承和覆盖、多种告警方式、支持回调动作。
  
  7 B  h; [( T2 ~8 T

4 x7 ?( j& K8 {5 n+ J" Q7 R  f

• 告警设置人性化：支持最大告警次数、告警级别设置、告警恢复通知、告警暂停、不同时段不同阈值、支持维护周期，支持告警合并。
  
    A, Y2 A4 _+ Y; x4 u; s# b

• 历史数据高效查询：秒级返回上百个指标一年的历史数据。
  
  

• Dashboard人性化：多维度的数据展示，用户自定义Dashboard等功能。
  
  

: ?( C0 j2 ]) `* o. Z$ w
; e0 s/ T, ]/ s9 i

• 架构设计高可用：整个系统无核心单点，易运维，易部署。
  
  " t$ j( d7 _1 J! B

缺点：

# I  P* ~" B- j' J

6 C6 ^/ w5 `( c# ^* q

• 支持的监控类型较少，不支持常用应用服务器如tomcat、apache、jetty等的监控。
  
  

% E/ ]) L" v2 W! E: v

• 没有专门的运维支持，代码更新较少，没有一个较大的社区来维护，后续想要有什么新的能力基本只能指望自己扩展。
  
  ( q9 g. H1 r& D* x

Zabbix、Nagios、Open-Falcon的整体对比如下：

' ~/ L, Z0 D, w+ {

四、基于k8s容器云背景下的系统监控实践：

0 Z" D/ C9 ~1 K9 u  k4 a* B5 x

cAdvisor+Heapster+Influxdb

! Q" \9 |' e' k% I
9 W3 P/ k4 H$ D2 r; `' W7 V

上面介绍的都是比较传统的系统监控架构，在容器时代到来后，对于容器的支持就显得差强人意了。下面介绍下我们基于k8s容器云背景下的系统监控方案，首先还是介绍下我们的DevOps平台架构，平台运行在由kubernetes+docker构建的容器云中，kubernetes、docker等服务运行在IaaS平台上（我们的生产环境是阿里云）。

* H/ U' z( ~1 U: O

我们的统一监控平台，在系统监控上，采用了cAdvisor+Heapster+Influxdb的方案。架构如下：

为什么采用这种方案呢？先来了解下这三个工具。

! ^8 @# \8 c# k' D1 I; W

cAdvisor 是谷歌公司用来分析运行中的Docker容器的资源占用以及性能特性的工具, cAdvisor部署为一个运行中的daemon，它会收集、聚集、处理并导出运行中容器的信息。这些信息能够包含容器级别的资源隔离参数、资源的历史使用状况、反映资源使用和网络统计数据完整历史状况。对docker的监控能力非常强大。同时还提供了自己的web页面，用户可以通过web页面直接查看该宿主机上所有容器的监控数据。cAdvior功能已经被集成到了kubelet组件中，也就是说，安装好kubernetes后，cAdvisor就已经安装到了每一个计算节点上。在每一个计算节点上都可以通过IP+端口（默认为4194）访问cAdvisor的页面了。

. Y5 o2 t& S) e  `9 w5 C4 R+ W

+ z. O. U2 D& R

Heapster同样是Google提供的，用于对k8s集群的监控。Heapster可以通过容器启动，传入kubernetes master的地址，heapster会通过调用kubernetes api获取所有kubernetes计算节点，然后通过kubelet的外部调用端口号（默认为10250）调用kubelet的http api，kubelet会进行调用cAdvisor接口获取当前计算节点上的容器数据以及当前主机的性能数据，返回给heapter。这样heapster就收集到了kubernetes集群的所有容器数据以及主机数据。Heapster支持数据传输到Influxdb中进行存储。数据展现我们就是自己调用influxdb的api获取数据，结合我们的业务相关数据进行计算，用echarts进行前端图表展现。

) a: j8 Q% F& l5 I% _

可能有的同学会问，这样只是监控到了所有计算节点的容器数据和主机性能数据，这样有些非计算节点的主机监控该怎么办？确实，因为Heapster只是针对于kubernetes集群去监控，非kubelet节点确实是拿不到数据的，而我们又不想再用另外一种方式去单独监控主机，那样得到的数据格式也不一样。于是我们采取了折中的办法，在每个非k8s集群节点上，也安装kubelet，并且加入到kubernetes集群中，但是配置成不参与集群调度，也就是容器不会被部署到这些机器上。这样，heapster就可以采集到这些主机的性能数据了。

' v* W7 b; V3 a% @, ]4 |5 A4 i+ q

五、容器时代的监控利器： Prometheus

/ T% N) w9 O# V5 r& ?

除了我们实践的cAdvisor+Heapster+Influxdb方案可以做到容器和主机性能数据同时监控外，其实还有一个相对而言更好的方案，那就是Prometheus。Prometheus是一套开源的监控&报警&时间序列数据库的组合，由社交音乐平台SoundCloud在2012年开发。随着发展，越来越多公司和组织接受采用Prometheus，社区也十分活跃，他们便将其独立成开源项目，并且不依赖于任何公司。Prometheus最初是参照google内部监控系统BorgMon开发的，现在最常见的Kubernetes容器管理系统中，通常会搭配Prometheus进行监控。

2016年Prometheus正式成为Cloud Native Computing Foundation的孵化项目，该基金会是在Google的支持下由一群IT行业巨头创建并指导Kubernetes容器管理系统的开发。在CNCF的主导下，Prometheus成为该开放平台栈的第二个正式的组件。特性如下：

• 高维度数据模型
  
  9 ]$ m5 h" U" p# x3 b% w+ J* A

• 高效的时序数据存储能力
  
  ' q' d; ?& y: g/ x

• 查询语言灵活
  
  

# V! E- u# j' n5 [+ z

• 具体时序数据图形化展现的能力
  
  : G7 `2 Y% n  p1 O# @# ^# n' V

• 易于运维
  
  9 Z) p% L5 d0 R' F

. f" A; }3 m! }6 z7 K! O& Y+ `

• 提供丰富的客户端开发库
  
  

3 O  w' t2 U# F7 L' m/ r5 S, O9 s2 g

• 告警中心功能全面
  
  , v3 j# Z* _9 M; L1 m) ^

2 @& d* }/ T- _* O/ @

Prometheus的架构图如下：

: X8 D. ~  E& s9 Z( d# v

• Prometheus Server : Prometheus主服务器，用来收集和存储时间序列数据
  
  - [, A" L& I$ b# X) ?

8 o8 G' t, l" Q2 c+ a

• client libraries : 客户端库
  
  5 u" ^' t, {% R) ]. Y9 r6 V/ z* }

$ r3 y1 Y4 q, L' b6 T% x

• push gateway : 短时jobs的中介网关
  
  ! e* w$ X1 A7 B6 j3 M

) h1 D- k% V& n( d; e
- E# V* G8 K0 \" _" _# F6 a

• GUI-based dashboard builder :  基于Rails/SQL的GUI dashboard
  
  

. H7 e. b8 K# o5 ~( a2 w8 E

• Exporters ： 数据采集探针，支持包括数据库、主机、消息队列、存储、应用服务器、github等软件、其他监控系统等多种类的探针。
  
  

1 c( X  u7 E% l; G6 j  L
1 N( e7 ?8 |9 H1 n1 c

• Alertmanager ：告警中心
• 
  

Prometheus 是google力捧的监控方案，社区非常活跃，发展很是迅速，功能在不断的飞速补充和完善。一个监控范围覆盖容器、主机、存储、数据库、各种中间件，同时还具体完善的时序数据存储、告警中心等能力，发展又很迅速，相信Prometheus会越来越火热。

六、总结

系统监控的方案有很多，甚至优秀的开源兼容软件也有很多，如果需求不高，也许zabbix就很合适，如果想要带上容器监控，那么Prometheus也许是个较好的方案。总之，适合自己的才是最好的。

& c2 J' y& z5 N/ ?+ t

原创：王海龙

! J3 ]7 H. O1 x
# w: m/ T$ x$ s* u