请选择 进入手机版 | 继续访问电脑版

IT运维管理,ITIL,ITSS,ITSM,ISO20000-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

艾拓先锋
搜索
查看: 126|回复: 0

蘑菇街的DeVops实践

[复制链接]
来自- 日本

参加活动:0

组织活动:0

发表于 2018-10-26 16:44:32 | 显示全部楼层 |阅读模式 来自- 日本
本帖最后由 adminlily 于 2018-10-26 16:52 编辑 4 }* n3 d. _( w+ q5 E: i5 a7 \4 ]

5 y  H# D& X# Z; \4 A
1.png
蘑菇街技术架构演进过程
! _: x9 Y' {& ~6 z, h

1 a& g" O1 V' z# e6 k  c
早期2011年,产品形态是导购,业务量不大的情况下,技术架构选择了相对简单的LNMP架构。通过PHP快速开发,让业务快速运转起来。所以,当时主要以开发人员为主,没有专职的运维的团队。. }- U# Y+ x! e/ j

  R/ N4 q- [0 ~/ |( \

. W" D" w2 O2 M6 C; k* o1 @
1.png
, m8 H- ?& a9 y2 a/ Y! i
2013年转型做电商,整个技术架构也没有发生太大地变化,还是以LNMP架构为主。不过在业务从小到大的快速发展过程中,最容易出现瓶颈和问题的是DB的连接、缓存的连接等这种连接数的资源,蘑菇街在这个阶段也遇到的同样的问题,所以架构上的调整,主要是DB中间层和缓存中间层的增加为主,但整体上还是LNMP。& c+ }7 I' c) G$ n" r
7 Z/ k: t( `7 A' b2 J9 l

; V- d) y) N' u7 R- R. d% O
( C4 u+ v: S( X* Y9 }( K. L
1.png
2 Q1 O, X. a6 X4 T
随着业务发展,业务也开始变得丰富和复杂起来,带来的不仅仅是用户量、业务量这种体量上的增长,业务自身丰富度和复杂度也在发生着非常大地变化。对技术上带来的挑战和问题,如下图所示:
5 Z+ A) ~) o0 ~" V' K
: _* H6 J7 _8 o0 K$ H

" q2 p/ y: b; ^; L+ q
1.png

/ e3 u" C5 y8 W" t+ L, ?: m
可以看到PHP的工程变得异常的臃肿,因为有太多的业务需求需要开发,有太多的开发人员在同时开发,结果短期内PHP的代码工程就造成了局面。

) y7 W7 D8 L( J  k* Y) j

- J) L: w' \* g5 O+ y! ~' ]
首先谈到PHP的优势,PHP上手非常快,入门门槛相对低一些,一个新手从学习到开发生产系统的代码的周期相对较短,同时,PHP部署发布的效率也相对简单,PHP文件发到线上即可运行,不用复杂的编译、打包和启停动作,在业务前期发展阶段,PHP效率上的优势就表现的很明显。但是,上图所示,随着业务的发展,业务类型越来越多,开发的人员也越来越多,大家都往一个工程里面去写代码,势必导致PHP的工程越来越大,越来越臃肿,给后续的代码维护带来了很高的复杂性。

. `; z: ^$ J# l+ N, y& x. |9 ^$ ^) O
7 B2 L) w! s# {, G2 c. d: q
举个例子,对于一个开发的人员来说,如果他要做的功能和需求涉及到其他人的开发的PHP文件,本来这个功能和需求在原有的程序上改就行了,但是因为工程太大了,他可能是没有办法评估清楚说改了这一个文件,对其他的文件、接口和方法会造成什么样的影响,即使能够评估清楚,也很难保证在测试的时候把这些所有的点都能够测试到,根本没这么大的精力。所以就导致很多开发人员会不断的Control C+V,就是宁可是把需要改的文件Copy一份出来,然后在Copy出来的文件上面做开发,原来的功能不动,这样就保证了新需求可以不影响老公能,但是这个状况就会导致进一步加大了PHP工程的臃肿,实际上是一个恶性循环。再就是,如果碰到非改不可的PHP底层的文件和代码,如果评估不到位,就是导致出现各种各样的线上故障。所以,到了这个阶段,PHP代码就很难维护了,反而影响到了需求和版本的迭代速度。

- b& a, h6 P7 n3 f

6 S4 f& d9 S1 m% i$ b5 A7 r
这种情况下应该怎样办呢?需要选择业界比较通用的方案-Java服务化,把大的工程拆分成一个个小的应用,通过服务化框架提供RPC的调用。这个阶段,从PHP转向JAVA,从单一工程转向了分布式服务架构。

- Q6 Z& j6 q7 C, Y- d; `" r3 Z2 u/ R
5 h# W$ V9 V6 Y: j0 D% R' `' R- v# |

1 ^, g4 a( d' B( v( S$ O6 o
1.png
& X" U6 v# E$ L, ?  i
经过拆分后,整个架构就变成了现在的这个样子。这样看下来整个架构分了很多层,也有很多的细节,乍看上去是比刚才的架构图要复杂一些。但是这样的架构根据条理性,也会让架构里面很多的技术细节都曝露出来,更加便于管理。相对那刚才非常庞大和臃肿的PHP工程,内部的逻辑、方法和接口的依赖等等,是很难梳理清楚的。
  h- j- E( h2 U! U( e/ G
7 Q. }1 k  h) ]3 `' t! j
; b' p5 B6 g! l$ o! P$ F+ E
* P' Y8 m* {* ~* g
1.png

% E; r) [2 Y! g% C" C
下面主要讲做了JAVA服务化的技术转型后,对运维带来的挑战是什么:

2 I, b0 v# G- P/ }3 p6 {% q* X* u9 o

" m, I5 i/ k# ^% A6 `5 B
1、服务化应用的管理问题

" z% B' U. K. ~' f- ]' B
1.png
) f+ g- }: {6 ]; H

1 |& _; ^2 |  B0 X/ B: k; G! s: R# d
7 W9 i# @% o1 k2 y/ W  l. @
2、服务化之后的服务治理问题, ?$ P6 I. E9 `5 u: ?

  ~/ r  s. R2 r4 s* P- t$ n
1.png
7 C7 g) c0 e. T. _) `% {0 R

1 c; a( ^# x! h3 l6 R
; f# }- y  y- U
  运维解决方案和思路
# I) C8 {. \5 Y

) y/ A; K/ f* b; q4 G- P- z7 s
运维基本上要围绕着以下5个目标开展,效率、稳定、成本、体验和安全,重点从效率和稳定这两个方面去讲。
  t# T' {! {' p7 @6 b2 x
, \% r$ [. R+ y' f6 Z
+ d& K% }' A9 T# w* i! `
1.png

% U4 U* ?! v* p5 [% w! A5 v3 d
从0开始应该怎样做,一定要从标准化开始,并围绕标准化展开。关于标准化,不管是做运维平台也好,还是运维体系也好,或者运维系统也好,第一件事要做的一定是做标准化。
. d' k4 |) O/ b# s, g5 d/ I8 y2 `: i; f% u
# @& n  y$ o8 O; u5 `
标准化主要做三方面的工作,第一是基础软件及基础设施的标准,主要是操作系统的版本必须统一,内核参数统一,基础设施上,用KVM虚拟化技术将我们的资源做成2C2G、8C16G这样的资源模板,确保资源配置的统一。第二是应用及配置标准化,这个后面细讲。第三是技术架构标准化,技术架构这块分接入层、中间件技术、缓存、DB等,关于技术架构标准化,它的重要性和它的意义在案例中体现出来。
1 \) S: A# H2 k6 Q' A( Z
9 q9 e- f* V7 C7 z3 b

7 j; W% y- M% W6 b7 i! a% S+ s
1.png
) h) @" i" O( o2 N0 w( e0 H
+ m0 f' r) @4 C" Y& x

" s' F3 k! t0 `- E$ u& Y# f
举个例子:
' Y7 C. \2 ^+ A3 J7 x
1.png
$ x+ C, z9 j  t& H; M' }& ^4 H
在做整个运维平台之前,首先将整个系统梳理一下,然后看一下整个系统里面到底有哪些基础环节和软件,应用到底有哪些应用类型。把这些东西一条一条地记下来,然后归纳总结,慢慢的就形成了左边的集团标准化,包括应用管理的标准化。基础服务的标准化,安全的标准化,稳定性的标准化,全部都制定清楚形成文档。

4 }% f9 g6 L6 z
* e! W) h0 y  ~' m5 H) V2 B8 P  ]
把标准化的动作做完以后,如果只是纸面上的,那它的威力是没有显现出来的,如果仅仅是以写脚本的方式去管理它,实际上还是有点笨拙,所以再往后就做了这样一个应用配置系统,目的就是把做的标准化沉淀在技术平台上面,可管理,可提供服务。以上的样例就是我针对Java的标准,它的目录,起停的脚本等,通过一个应用模板固化下来,比如实际应用过程中,典型的Java应用,是Nginx+Tomcat的运行方式,那在应用配置管理中,就会有应用模板、基础软件和应用配置文件管理几个模块来管理。: |. R3 ], n' f% A( Y7 I# H+ l& z# V6 f$ {

2 }! g, ^/ \$ S& G- e

6 }, m1 ]' h2 b$ v& d+ r
1.png
& n/ {5 h4 h, c- g$ B% ^% q: g. Y
以上这部分,是针对标准化,最后通过应用名这个核心将上面所说的这些零散的标准项给串起来,也就是常说的以应用为核心的运维体系。5 }" n$ I4 m, \$ X, [$ s

( E5 ^6 [9 a; h3 R$ E) X

# n" o4 L# ~5 Q2 {) e
  案例分享
) E! d; |: d; i, v4 H* s

4 y. Q* o6 m# F: E8 \' {; d. c1 w. F5 ?8 N3 p
一、持续交付: h+ |) S' f& [) f1 s
5 Y1 _, Y% g( w/ s4 ?2 G0 x2 U

  C' L/ f% K5 F2 ^/ y$ L3 j, g
做完了标准化及标准化管理以后,遇到的比较棘手的问题就是这么多的应用应该怎样高效发布,这就涉及到持续集成和发布的问题。原来的PHP工程,只要在一个PHP的文件里面把代码写好,把文件推送到服务器上,然后最新的PHP文件就可以直接运行起来了,不用做中间环节的管控,但是对于Java应用来说整个环节就没有这么简单了,Java文件涉及到编译、二方包、三方包依赖,然后编译打包后,将软件包发布到制定的机器上,然后还要重启Java进程,最新的文件才能得以执行,期间还会涉及服务的注册和下线问题等等。
+ z$ P  P/ w9 `; D7 E
, M  u8 A3 c% ]; W' d- |
从整个过程来说,JAVA整个发布过程是要比PHP复杂很多的。所以为什么要去做持续集成,对于这个持续我的理解是怎样能够把中间环节它的效率尽量提升,减少人为的干预,通过发布的自动化,提升开发和运维的效率。

) E7 T: h1 Y2 c; N( |: k* Z9 A
% C1 `) Z, l) ?' K: o0 ~
1.png
+ |& j$ I1 Z+ S5 N( N- e+ X
接下来做的发布系统,提炼一下,发布做的事情就是,将提交后的应用代码,进行编译打包,然后发布到应用对应IP主机的指定目录下,并且做到应用服务的优雅上下线(或者叫做优雅启停)。

: t# b4 z# a9 `3 {+ ]
, J2 j# I- k) V$ j4 |/ `
可以抽象出发布的最重要的三步,如下:
- T9 r+ E8 H) l. x! j8 t

1 S6 t5 Q- z; B. }: z# H

4 k. d+ K" ~! t/ K
1.png
下面就分阶段详细描述三个主要环节:
9 U% _; O7 o: Z

& E4 Z7 \7 ?, B5 z7 u
1、代码提交环节(分支合并管理)

; a2 e( n: p% T4 J
6 ~: t4 y* X) _, W2 o# s
代码管理工具是Gitlab,代码提交过程中最重要的就是对于分支合并的管理(这里又涉及到标准规范的制定),策略示意大致如下:

8 K! U' }4 s( j) Q: F* j$ k* b
9 A. T+ v+ Z0 \# R+ h4 I+ T
1.png
描述如下:

8 c) ~+ q2 z( A; X

! h- I+ t  q. W, _6 j# @
1、master分支,跟线上应用代码保持同步,也就是说随时可以发布到线上进行部署运行。
5 ~0 ]7 T2 i+ o- K* y$ U
4 r& j& K' P) D4 l& A1 l3 p9 d
2、开发分支,通常以feature/defect来表示,比如开发一个新的需求,就会以当前master为基线,拉一个feature分支出来进行开发,同一个应用可以同时存在多个feature分支并行开发。

5 E6 V. h+ U  r" D+ w! p

# N6 A/ ?- K# e5 ]) d4 u
3、发布分支,以release表示,在发布时会将所有提交集成的代码commit合并,形成release_环境_时间戳为分支名称,比如release_dev_01_29_20_52_10 就代表该分支是在1月29号20:52:10在dev环境发布时创建的临时发布分支。

5 H' N$ t( e1 U1 c

+ p4 m$ l, i4 K0 F+ j% @) ^/ H
4、从预发进入线上时,会以当前预发环境的发布分支release_pre_xxxx为基线创建一个release_online分支,作为线上的发布分支,线上发布结束后会把release_online分支合并到master中,这也就保证了发布到线上的代码最终一定会跟master的代码保持一致。

) m. i: g; ^: |* ?- }
! p  ~  |6 O1 X% `
2、编译构建环节

7 k/ j( z* Q) z8 |! U$ P

3 r7 e/ Z4 A5 h4 j. S4 j
以上介绍了代码提交环节,下一个环节就是要构建了,以Java为例,构建用到了两个工具,Docker和Maven。Docker主要用来提供一个干净独立的编译环境,Maven作为依赖管理和打包工具。整个构建过程如下:
3 H4 x2 j0 l9 C6 @1 N
1.png

! i# S$ T: G% L, ?% I

) e% G8 I4 f+ }- J) [" O! i
, C& X/ i& ^2 U$ |: w4 w# ^
以Java为例,简单描述如下:

( C8 i& L7 d% J7 z# O$ c! p

/ K  f+ c7 |& P" C% k/ Q  _
1、首先准备好JDK的编译镜像,这个镜像环境与线上环境保持一致,当有新的构建任务进来时,就创建一个对应的Docker实例进行代码编译;
* }2 H9 ~; C" P

& f0 z+ l" _/ k, h) L
2、构建任务会根据应用配置管理中的Git地址,将代码clone下来放到指定的编译目录,Docker实例启动后,将编译目录挂在到Docker实例中;

7 D/ {3 T$ q. L8 W

4 Q* F* T. _+ O* y
3、对于Java应用,在这个Docker实例环境中,就可以执行mvn package命令打包了,最终会生成一个可发布xxx.war的软件包;

) g- z1 f6 t$ V8 }5 b- x$ J
8 S' h. R. V) u" ~: u# z6 \: C& V, {
4、同样的,对于C++,Go、NodeJs,也会准备好类似的编译镜像,不同的是打包时,对于C++是cmake&make,Go就是go install等等,最终也会生成一个可发布的软件包;
2 {3 @8 t) i9 m& @
+ D9 |5 ^6 e$ H: Z9 X
5、构建完成后,Docker实例销毁;
& c# V! Q  \& D. l

/ a+ A1 r/ h4 w# Q/ X3 A4 Y
这里面Docker发挥了一个很大的作用,就是提供了干净的,互不干扰的编译环境,且对于并发打包的情况,Docker快速创建多个并行的实例出来提供编译环境,使用完销毁,这个效率上的优势也是非常大的。

& U( K2 \! j) ]

5 B$ l& i1 V1 U5 @. R: u
6、关于配置管理,当时设计时考虑比较简单,做法是同时做三个配置文件出来,dev_pom.xml,pre_pom.xml,online_pom.xml,分别对应开发、预发和线上三个不同的环境,根据发布的环境不同,将不同的配置文件替换上去。这样做其实可扩展性不够,对于多机房、多分组的情况会有更多的配置文件创建出来,且对于有敏感信息的配置项保密也不够(不过这些配置都已经加密挪到中间件的配置中心了),更好的办法可以考虑采用阿里早已开源的auto-config方案。
9 K, o; b8 e( a, q: u& Y" a

: d' V! e5 Z, }! I- T
3、部署环节

+ L2 N) w* X' W# S6 h6 S
) R7 ]6 x- p2 e, O: S
以上,代码提交和编译构建完成后,就该进入发布到线上的部署环节了,也就是将代码发布到应用对应IP主机的指定目录下,并且能够优雅的上下线应用服务,貌似很简单,但是,看下图:
9 `0 e! Q  c" i: U! D

* C% s! g; `  s, n' f! q

. X5 Q2 P' o+ w/ k# U3 y
1.png
; L, z) k2 w8 x4 i& v, f8 }7 s
这个过程的环节还是比较多的,这些环节内部又会有很多的细节,所以整个部署环节是很复杂的,下面将整体思路介绍一下:
' l, V+ _0 s3 c/ ^+ L
! p; C- I8 N  [3 z
0、从CMDB中,拿到应用-主机IP对应关系,然后再从1开始做,后面的过程可以是针对单台机器做,也可以是分批或分组多台机器同时做。(从第0步开始,原因就是上一篇文章里面说的CMDB和应用配置管理的基础要先打好,这个基础没有,下面的环节就无法顺畅地执行);

; m  M  f- C3 f( Y0 U3 k. p* v' x1 h

0 [' v+ I/ Y4 h& T
1、检查每台机器上的服务是否正常运行的,如果是正常服务的,说明可以发布,但是服务本身异常,就要记录或跳过了;

& U( G( ]% t* t
5 o. N4 x' S0 c; `
2、下载war包到指定目录(应用的目录信息,应用配置管理又发挥作用了);

" n' B/ w6 r- }/ Q! A+ I% l
0 t1 K8 s8 B( X% g' `& c
3、将监控关闭,以免服务下线和停止产生误告警;

* R/ j4 J; A( W. p8 _
0 r) h8 E: m# A+ p+ i1 v1 b
4、优雅下线,包含RPC服务从LB下线或Web服务从Nginx下线(如果不提供http服务就不涉及),下线动作均通过API接口调用方式实现;

2 C. ]( r4 m! T, n' m
9 I$ R5 r* A' \$ c
5、下线后自动检测无新的流量进入,停止应用,发布代码,然后启动应用(这时应用配置管理里面,启停命令等等就又发挥作用了);

! T% ]0 G; H& O0 \

1 w- @7 N; p: P7 k
6、优雅上线,进行健康监测,检查进程和应用状态是否正常,如果全部监测通过,开始上线服务,开启监控;
' u# g% n  K; P

1 L; k& [5 d$ E
7、分批发布,这里简单提一下,假设我们一个应用有100台主机,这个时候做发布不可能全部一把停掉,这样服务会中断,但是也不能一台台的做,这样效率又太低,所以我们可以折中分批发,比如可以分5批,每批20台,也可以分10批,每批10台,这样既可以保证在线升级,也可以保证效率能够跟的上。当然复杂一点,还有分组分批,或者按步长分批,第一批5台,第二批10台,后面每批20台等等。示例如下:

2 T/ ^1 w( V) n( ]# a: G
. `: R- A+ K6 X# ]
整个过程下来我们可以看到:

  @2 |5 q, X) ?5 ?' I
. p8 p$ J3 q/ `
1、基于场景入手,将业务流程梳理细致,做到细分环节,每步自动化,流程串联

: I! l3 {* S; ]  v

1 H; K( {  q, D6 ~* [' g
2、上篇文章提到的CMDB和应用配置管理的内容,在这一部分无时无处不在发挥着基础的作用
1 C+ O' r* z9 o8 ^# X; _

+ R8 @+ g) H0 s# K0 g
效果:NoOps or DevOps
8 r4 k- H9 n* ^7 {0 j8 ^7 O; Z
4 J1 N9 Z3 ]$ i$ b
发布系统上线后,整个过程已经可以做到开发全程自助发布,之前运维还在参与审批,后来审批环节也省略,在发布这个过程中,全流程NoOps。效果如下图所示:
6 H' `9 A# O1 i% J' S, y# N
0 Q9 [! w; {5 G" b4 h
5 _- O' G5 W/ t( Q: C
1.png
( H6 n. m: l3 K+ W

2 e! [' e+ n/ z1 l
$ o% O- w" o# e+ `
# J9 j" F, L  x$ p

6 K* z9 R: ^9 n% ?! p4 D" O- C3 o7 K) F

8 u5 ]7 G  Y% |  F# u$ q  @( b二、稳定性建设
1 Y, R5 E# L, O: Q# d+ F
$ |, z0 S; h- k" x
$ j( z8 C+ ]9 y. G
从0到1做完以后,效率问题基本得到解决,但是系统的稳定性这个矛盾马上就凸显出来了。经常遇到的问题是系统慢了,系统宕了,或者是突发流量非常大,会碰到这样那样各种诡异的问题。所以这里分享稳定性建设这方面的内容,主要分为:
) j, b4 n6 p6 P; I1 n! _; }* r

1 p* v) \" l8 ?
1.png
$ f7 o. `8 S- I1 ~- y1 {* P! }

+ S) S7 d/ e' F# f0 n0 e

+ c0 K* o' g5 n* X6 Q: p3 s
主要介绍全链路跟踪系统。首先,为什么要做这个事情?
" c: ]# J! K4 B* g) z8 A' j
1.png

9 n7 ?  @8 w" J% k/ c

% L+ J  a6 q1 o; V9 O/ J

: j. ^6 X- i* t
这整个的全链路的架构图,在前端的应用上面会做埋点日志,然后通过Kafka放到实时日志集群里面,这样可以快速看到实时的数据,然后对于历史的数据,放到Hadoop里存储。
* l1 P7 ]2 T# V3 l0 o4 ?

) u6 u. ~9 U! z4 G, b. D4 k& F
1.png
/ S- j: z' e" G: E8 n

/ b4 Y. H3 ], I( _0 R" i8 L

0 x1 |, _% g3 y4 \: V8 H
这里要介绍关键的技术点,其中最关键的就是TraceID,当一个请求到达接入层,会在接入层生成全局唯一的TraceID,由我们自研的Nginx的module实现。然后后续的后端接口或方法调用都会把这个ID带上,这样每一次调完会成都会输出一条日志,把本次请求花费多长时间,调用哪些接口记录下来,这样通过刚才实时的Storm集群就可以计算出整个的实时请求是怎样的。

+ z: E9 h9 U8 k, g% x! i& \
6 D/ a/ k# N- t
这里呼应为什么要做技术架构的标准化,这个TraceID是通过Nginx的module生成的,在ID透传的过程中,每一个请求都会从框架层面把这个ID自动带上,业务层面是不用考虑对这个ID单独做处理的,对于http请求,就是自动带上这个参数,对于RPC调用,通过分布式服务框架来处理的。所以接入层架构、分布式架构的这样一个统一的技术栈标准化之后,落地这样的稳定性方案其实就非常顺利了。假设这个标准不统一,Nginx大家有用原生版本的,有用Openresty的,有用Tengine的,或者直接用了Apache,这个module是没法统一定制的,对于分布式的框架,如果有用dubbo,HSF、Thrift的等等,也会无法统一。

. D; W3 J/ I& _

% a/ }- O& v- d) c+ y: V1 J7 d  ~
/ `. Y* A7 x5 z! e3 `% S) E
1.png

. I3 H* s5 C- g$ l3 Q5 H& P

0 ]; e+ L5 [) j$ H5 a( J9 F
样例:

# l: x  E+ h- W" f5 j

( u9 p5 _" \% F6 [3 W$ P3 x6 c
1、发现页面慢了到底怎样去做。经常遇到的一个情况就是页面慢了或者是某个页面慢了,根据问题反馈的时间点,可以进行筛选。这个时间段内,请求超过1秒的有哪些,筛选出来后,以TraceId为入口,那接下来整个请求的过程就展示出来了。从这个界面上我们可以很明显的看到,整个请求花了1.5秒,但是下面红色的地方有一个评价的服务,单这个服务接口的调用自己花了1.3秒,肯定是这个服务出了问题,这时候可以大大缩短问题范围的缩小,根据这个IP,直接到这台主机上检查发生了什么问题,后面就可以进入到详细的问题定位阶段。
* t6 N7 M8 f" |/ g  t* y

  E# J( x% t& b3 z: U$ S5 K
1.png
9 |" o; S, P0 a
2、调用合理性的问题。一次请求下来耗时非常长,但是看每一次的接口调用RT又是非常短,问题出在什么地方。比如下面这个这个请求花了1.8秒,但是每次请求都是了正常的,不像刚才一样,有一个请求自己占了1.3秒。这时候通过全链路可以看到,这个请求在频繁的重复的调用一个Cache接口,很显然在调用合理性上出现了问题。这时就可以把问题反馈给开发,检查下代码的逻辑,为什么这么调用,是不是应该优化下调用方式。

  ]- l# w8 l& M( f4 B9 r0 b4 k; R
* b9 d3 t  r. p5 J* v" S
1.png
3 Z$ H9 u9 x0 U- Z$ F- q, c
3、链路分析。一个应用提供出去以后,一个应用又包括了很多服务化的接口,而应用仅仅是成百上千应用当中的一个,这当中有哪些应用依赖了我,然后我又依赖哪些应用的哪些服务化接口,这些应有服务的质量到底怎样等等,这就是一个服务治理的问题了。所以做了这样的一个链路依赖的整个分析,从这里里面可以看到我提供服务的运行情况,有哪些应用是依赖我的,我又依赖了哪些应用。

/ N  s' F- j7 l
) d  T$ W' D9 j! L
1.png

$ ]- ^" a! I$ h+ S/ O5 p: t" W2 g
链路分析还有一个非常关键的作用,稳定性中有一个限流降级系统。关键点就是通过链路分析提炼出核心应用(交易链路)和非核心应用,对于核心应用优先保障,配置的并发数和优先级就高一些,非核心应用就会小一些,如果出现流量特别大的情况,就会考虑把非核心应用降级或限流掉,优先保障核心应用的调用和运行。

& z" U* _6 Z" \* Q, l/ |* w
4 t& Z) S7 m+ l! k! l5 e
举个简单例子,比如交易相关的购物车下单,如果下单应用依赖了我的服务,那它的优先级就会相对较高,毕竟下单后会马上产生收入,同时可能还有商品评价也依赖我的服务,但这个与交易无关的,那它的优先级就低一些。当我的服务和应用在峰值时(比如大促),策略就是要优先保证交易的应用,其他非核心的应用就降级降掉,或者是并发数限掉,宁可失败但是不可以影响到我整个交易的链路。所以它非常关键的价值就在这里,能够帮助我们梳理清楚核心和非核心的应用,不同的场景采取不同的稳定性保障策略。

$ G1 y* n% k$ T1 S; z' [
5 b. P% Y- {2 I, J& b8 \
原创:赵成

$ }( y& s- G0 z" g% [/ a  l7 o$ Q8 E3 \
- C- g& w* l9 x' R5 K& }

本版积分规则

选择云运维时代的王牌讲师-长河老师,助你轻松入门ITIL Foundation培训课程

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1|网站地图

Baidu

GMT+8, 2018-12-15 20:08 , Processed in 0.248441 second(s), 31 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表