请选择 进入手机版 | 继续访问电脑版

IT运维管理,ITIL,ITSS,ITSM,ISO20000-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

搜索
查看: 583|回复: 0

蘑菇街的DeVops实践

[复制链接]
发表于 2018-10-26 16:44:32 | 显示全部楼层 |阅读模式
本帖最后由 adminlily 于 2018-10-26 16:52 编辑
' q5 i- b' P9 R( i2 i* t1 ~3 k( z6 u$ Z" C! n% r. C1 h' c
1.png
蘑菇街技术架构演进过程
  u! P) j/ f" X% W% Y) ]

' a! H" F0 ?# N- S8 d( ~- S0 E
早期2011年,产品形态是导购,业务量不大的情况下,技术架构选择了相对简单的LNMP架构。通过PHP快速开发,让业务快速运转起来。所以,当时主要以开发人员为主,没有专职的运维的团队。3 {5 f8 e, ]/ V

6 x; N5 p' v1 V4 Q: J

8 v) _  e) w, F0 E, G8 y. X
1.png

# [6 t4 D7 @  ]$ W
2013年转型做电商,整个技术架构也没有发生太大地变化,还是以LNMP架构为主。不过在业务从小到大的快速发展过程中,最容易出现瓶颈和问题的是DB的连接、缓存的连接等这种连接数的资源,蘑菇街在这个阶段也遇到的同样的问题,所以架构上的调整,主要是DB中间层和缓存中间层的增加为主,但整体上还是LNMP。
3 p" b4 \" {/ j1 o6 W2 |, R/ j

: G* m5 N4 |8 x5 d$ M4 c4 w

; f1 x- O1 F( C; [$ ?" [
# t1 @( [+ \. X" @+ B" ~
1.png

7 O3 y5 Y3 g6 M! ?5 A' X
随着业务发展,业务也开始变得丰富和复杂起来,带来的不仅仅是用户量、业务量这种体量上的增长,业务自身丰富度和复杂度也在发生着非常大地变化。对技术上带来的挑战和问题,如下图所示:
' }0 N, g* F0 {5 x% v7 t  c
1 j( C, n) n3 J! n2 q' [1 k0 Y+ @

: Q2 z$ r  a5 x7 ^* e
1.png

# c" o) ~1 I# W7 G. v9 P7 _9 m3 f
可以看到PHP的工程变得异常的臃肿,因为有太多的业务需求需要开发,有太多的开发人员在同时开发,结果短期内PHP的代码工程就造成了局面。

- T! l3 b7 ^) W8 Z9 g" I% u6 a4 d+ M

5 I( `$ z* T9 r# V$ u
首先谈到PHP的优势,PHP上手非常快,入门门槛相对低一些,一个新手从学习到开发生产系统的代码的周期相对较短,同时,PHP部署发布的效率也相对简单,PHP文件发到线上即可运行,不用复杂的编译、打包和启停动作,在业务前期发展阶段,PHP效率上的优势就表现的很明显。但是,上图所示,随着业务的发展,业务类型越来越多,开发的人员也越来越多,大家都往一个工程里面去写代码,势必导致PHP的工程越来越大,越来越臃肿,给后续的代码维护带来了很高的复杂性。
, z& e( f% n9 T8 W! q# X! r, g

% M# d3 ^# x( o) n4 y% q: l
举个例子,对于一个开发的人员来说,如果他要做的功能和需求涉及到其他人的开发的PHP文件,本来这个功能和需求在原有的程序上改就行了,但是因为工程太大了,他可能是没有办法评估清楚说改了这一个文件,对其他的文件、接口和方法会造成什么样的影响,即使能够评估清楚,也很难保证在测试的时候把这些所有的点都能够测试到,根本没这么大的精力。所以就导致很多开发人员会不断的Control C+V,就是宁可是把需要改的文件Copy一份出来,然后在Copy出来的文件上面做开发,原来的功能不动,这样就保证了新需求可以不影响老公能,但是这个状况就会导致进一步加大了PHP工程的臃肿,实际上是一个恶性循环。再就是,如果碰到非改不可的PHP底层的文件和代码,如果评估不到位,就是导致出现各种各样的线上故障。所以,到了这个阶段,PHP代码就很难维护了,反而影响到了需求和版本的迭代速度。

1 u9 E' z" w7 ^5 w
2 L5 q/ E* g! |! Y/ l
这种情况下应该怎样办呢?需要选择业界比较通用的方案-Java服务化,把大的工程拆分成一个个小的应用,通过服务化框架提供RPC的调用。这个阶段,从PHP转向JAVA,从单一工程转向了分布式服务架构。
: ]8 ^% L& L# {/ e! E: A. j1 Z

& U5 h2 W# L/ C  C0 N0 g6 I
# z% Y' W& p% x& Y; c7 q& y4 }1 A
1.png

/ O4 H  p3 {7 M5 h" ^) f
经过拆分后,整个架构就变成了现在的这个样子。这样看下来整个架构分了很多层,也有很多的细节,乍看上去是比刚才的架构图要复杂一些。但是这样的架构根据条理性,也会让架构里面很多的技术细节都曝露出来,更加便于管理。相对那刚才非常庞大和臃肿的PHP工程,内部的逻辑、方法和接口的依赖等等,是很难梳理清楚的。
  ^$ _+ N. l" A% a
) i! M  z% u! @- E' E8 s+ s9 z
! x/ \8 z6 T, w# Z8 e, h. H

8 g6 e( C) D7 `# H
1.png
' O  W, E$ n  ^3 A- G0 W7 z4 ]
下面主要讲做了JAVA服务化的技术转型后,对运维带来的挑战是什么:
4 _! |3 X* _/ Y+ F* r  ?4 `* k1 F7 V

( W7 @$ w6 c8 e. p  t
1、服务化应用的管理问题
  ]+ G0 J+ @+ U' D% U. `
1.png
3 y5 J! C) q4 D- ]

+ l- d8 M: q* r  R9 p
* s1 [2 @& v. b
2、服务化之后的服务治理问题
, W2 \# a7 A8 f
% n; I1 c& F: k/ I1 W
1.png
& r/ ?8 [$ x$ b. O

- n, F  y6 g2 H
8 p% @+ u) t- b$ W: s" B7 t# w; o
  运维解决方案和思路
* I# A5 O/ Z- p/ C
3 n: ?( {* [! ?' S% x  k( ^
运维基本上要围绕着以下5个目标开展,效率、稳定、成本、体验和安全,重点从效率和稳定这两个方面去讲。
, n6 r1 Y7 l0 n9 l! V9 Y

+ f- x0 y* J) v

6 o. Z2 j; q, y' _
1.png
0 R: z; M* ?# @9 l
从0开始应该怎样做,一定要从标准化开始,并围绕标准化展开。关于标准化,不管是做运维平台也好,还是运维体系也好,或者运维系统也好,第一件事要做的一定是做标准化。

, w! O6 X' o  }# s! V" h
. I6 x& O# Q( L
标准化主要做三方面的工作,第一是基础软件及基础设施的标准,主要是操作系统的版本必须统一,内核参数统一,基础设施上,用KVM虚拟化技术将我们的资源做成2C2G、8C16G这样的资源模板,确保资源配置的统一。第二是应用及配置标准化,这个后面细讲。第三是技术架构标准化,技术架构这块分接入层、中间件技术、缓存、DB等,关于技术架构标准化,它的重要性和它的意义在案例中体现出来。

5 X1 }8 n- G) h! }. c

% @6 l# z' Z# x: K
1 s- j; k6 k: h( V" P- ^( v; {) J
1.png

; M' P6 q5 n- f: [. u. u5 Z

2 K. t: z1 F9 P# s1 Y2 Q1 @

' N+ ]6 {" m5 e. `% p/ X
举个例子:
/ q/ V4 w% p2 b) p- N$ @
1.png
3 f0 n6 l9 b# R4 e
在做整个运维平台之前,首先将整个系统梳理一下,然后看一下整个系统里面到底有哪些基础环节和软件,应用到底有哪些应用类型。把这些东西一条一条地记下来,然后归纳总结,慢慢的就形成了左边的集团标准化,包括应用管理的标准化。基础服务的标准化,安全的标准化,稳定性的标准化,全部都制定清楚形成文档。

0 p5 G* \" r& F( {0 N5 J, p1 q

  F7 `2 B+ ?/ J& y, p% I8 m
把标准化的动作做完以后,如果只是纸面上的,那它的威力是没有显现出来的,如果仅仅是以写脚本的方式去管理它,实际上还是有点笨拙,所以再往后就做了这样一个应用配置系统,目的就是把做的标准化沉淀在技术平台上面,可管理,可提供服务。以上的样例就是我针对Java的标准,它的目录,起停的脚本等,通过一个应用模板固化下来,比如实际应用过程中,典型的Java应用,是Nginx+Tomcat的运行方式,那在应用配置管理中,就会有应用模板、基础软件和应用配置文件管理几个模块来管理。* c$ n& z- G. F1 v/ k
! i% D2 }+ L3 x3 }( O
9 y. w! @; r. a* Y
1.png
4 N% Y. u9 Q6 Q7 P: ]7 ]
以上这部分,是针对标准化,最后通过应用名这个核心将上面所说的这些零散的标准项给串起来,也就是常说的以应用为核心的运维体系。* A! {+ z& {0 G1 U
3 o' b: Q0 H: i
, o( S8 K1 t% Q( q/ f8 O
  案例分享
+ V& ]3 C+ N' g& C% s1 B3 s
: z: x: o4 g) w" J9 }
' z9 Y; v0 o$ `# |+ u
一、持续交付
) W4 J* W: m1 @2 C7 g; @, @  m$ ~
) q7 }/ v" ~, q4 W" g

8 ^5 l! s5 W' J
做完了标准化及标准化管理以后,遇到的比较棘手的问题就是这么多的应用应该怎样高效发布,这就涉及到持续集成和发布的问题。原来的PHP工程,只要在一个PHP的文件里面把代码写好,把文件推送到服务器上,然后最新的PHP文件就可以直接运行起来了,不用做中间环节的管控,但是对于Java应用来说整个环节就没有这么简单了,Java文件涉及到编译、二方包、三方包依赖,然后编译打包后,将软件包发布到制定的机器上,然后还要重启Java进程,最新的文件才能得以执行,期间还会涉及服务的注册和下线问题等等。

# B8 c' L% H, r# `
! ]3 e  V- K( j. R: N1 V7 ^
从整个过程来说,JAVA整个发布过程是要比PHP复杂很多的。所以为什么要去做持续集成,对于这个持续我的理解是怎样能够把中间环节它的效率尽量提升,减少人为的干预,通过发布的自动化,提升开发和运维的效率。
- w# T9 e- @/ j# i- a- {' D2 C) D
3 A! O: T7 x7 R. N+ `9 b$ ~+ w
1.png
- O/ N7 s% y% I8 _0 {
接下来做的发布系统,提炼一下,发布做的事情就是,将提交后的应用代码,进行编译打包,然后发布到应用对应IP主机的指定目录下,并且做到应用服务的优雅上下线(或者叫做优雅启停)。
: S8 L  n: W; \+ i$ n1 g: g, |

" t. i& W* b# \
可以抽象出发布的最重要的三步,如下:8 Y) J' k( m) f  h4 t$ j( V

  Y" a+ A) o8 h" A9 t$ ^6 F

& }7 o8 N' y9 T; p5 R" W7 A
1.png
下面就分阶段详细描述三个主要环节:

" v( Z. Q; M) o9 u0 e+ a+ x
2 l/ d+ u) C  t5 \4 b
1、代码提交环节(分支合并管理)

" y3 T& h" e$ ~" V! S4 _2 x8 g
+ G$ Q5 X( x# ^1 V1 `2 L0 U
代码管理工具是Gitlab,代码提交过程中最重要的就是对于分支合并的管理(这里又涉及到标准规范的制定),策略示意大致如下:

, m& Q- @4 u9 F0 l7 o3 q

$ S/ B1 [# Q& X# G! T5 C; w( Y
1.png
描述如下:

, Q6 b. J2 ^# z9 \
" S- e% z& v7 s+ @5 ^+ j2 E
1、master分支,跟线上应用代码保持同步,也就是说随时可以发布到线上进行部署运行。

. m4 D- \& I2 x% p' Q: d
4 r4 C, r) ]/ l. N
2、开发分支,通常以feature/defect来表示,比如开发一个新的需求,就会以当前master为基线,拉一个feature分支出来进行开发,同一个应用可以同时存在多个feature分支并行开发。
6 W0 R4 V9 L8 Y+ ~2 m! W. T

/ \2 ~% y( R' T. r
3、发布分支,以release表示,在发布时会将所有提交集成的代码commit合并,形成release_环境_时间戳为分支名称,比如release_dev_01_29_20_52_10 就代表该分支是在1月29号20:52:10在dev环境发布时创建的临时发布分支。
) Q1 k$ |6 i. b0 \+ U. |
- S1 J2 r3 ~* {/ d/ t8 j7 o
4、从预发进入线上时,会以当前预发环境的发布分支release_pre_xxxx为基线创建一个release_online分支,作为线上的发布分支,线上发布结束后会把release_online分支合并到master中,这也就保证了发布到线上的代码最终一定会跟master的代码保持一致。
1 g" L) m4 q! B8 k
) S, M) ?" a; G* G
2、编译构建环节

4 Q. \) G% \4 j
5 D  _! S9 I: E: a. U) y- \8 m! s
以上介绍了代码提交环节,下一个环节就是要构建了,以Java为例,构建用到了两个工具,Docker和Maven。Docker主要用来提供一个干净独立的编译环境,Maven作为依赖管理和打包工具。整个构建过程如下:
$ p" Y7 a3 `3 x  G/ B
1.png
8 c4 `, V1 ]) ~" O, Z9 y
. L' [# J2 a7 S$ m: U
0 W! Z- w8 n. O5 `: X$ f
以Java为例,简单描述如下:

) }& S$ `* [& `7 n- ]/ R

& _. i- ]+ S( _
1、首先准备好JDK的编译镜像,这个镜像环境与线上环境保持一致,当有新的构建任务进来时,就创建一个对应的Docker实例进行代码编译;
# R* {1 D  X2 G( t
) z$ y, W" t$ x1 ^, K9 t
2、构建任务会根据应用配置管理中的Git地址,将代码clone下来放到指定的编译目录,Docker实例启动后,将编译目录挂在到Docker实例中;
1 C7 N* Q' w! N5 q
0 |, l/ S( J" s7 O# d3 b- X
3、对于Java应用,在这个Docker实例环境中,就可以执行mvn package命令打包了,最终会生成一个可发布xxx.war的软件包;
# P' b7 r9 s3 F$ [
4 `  N% f4 K4 t. L- Q
4、同样的,对于C++,Go、NodeJs,也会准备好类似的编译镜像,不同的是打包时,对于C++是cmake&make,Go就是go install等等,最终也会生成一个可发布的软件包;
4 v/ G) K' J: U

0 b4 Z. @" ^& i6 ~9 s" W1 t! d# _3 q
5、构建完成后,Docker实例销毁;
. j% X; c0 ~# H& Z( O" b% a
; \5 c: S4 S' K4 q' K7 T3 m
这里面Docker发挥了一个很大的作用,就是提供了干净的,互不干扰的编译环境,且对于并发打包的情况,Docker快速创建多个并行的实例出来提供编译环境,使用完销毁,这个效率上的优势也是非常大的。
- e" z1 a2 s3 |' C4 t) i9 Q; y
8 V6 M9 R* X! M  z0 e8 c
6、关于配置管理,当时设计时考虑比较简单,做法是同时做三个配置文件出来,dev_pom.xml,pre_pom.xml,online_pom.xml,分别对应开发、预发和线上三个不同的环境,根据发布的环境不同,将不同的配置文件替换上去。这样做其实可扩展性不够,对于多机房、多分组的情况会有更多的配置文件创建出来,且对于有敏感信息的配置项保密也不够(不过这些配置都已经加密挪到中间件的配置中心了),更好的办法可以考虑采用阿里早已开源的auto-config方案。

5 {  p0 a0 u( Q$ \
0 a+ r6 x/ v" G. S$ m
3、部署环节
$ n5 X" a2 d: n& a
* a$ W2 E. S; I- W- x& ]
以上,代码提交和编译构建完成后,就该进入发布到线上的部署环节了,也就是将代码发布到应用对应IP主机的指定目录下,并且能够优雅的上下线应用服务,貌似很简单,但是,看下图:
- T% R. d3 U/ t6 d

5 @' U( j; O$ s7 I5 c- _( J$ _
2 g- P$ L4 C! G  |+ M9 ^
1.png

) z$ q( m9 r1 q
这个过程的环节还是比较多的,这些环节内部又会有很多的细节,所以整个部署环节是很复杂的,下面将整体思路介绍一下:
9 X# F% g# o. B* [$ D  `% j6 L1 ?1 ~4 @

. s6 p7 w, I- G- p
0、从CMDB中,拿到应用-主机IP对应关系,然后再从1开始做,后面的过程可以是针对单台机器做,也可以是分批或分组多台机器同时做。(从第0步开始,原因就是上一篇文章里面说的CMDB和应用配置管理的基础要先打好,这个基础没有,下面的环节就无法顺畅地执行);

$ L# w/ u: W. {7 `

' v0 a: i! G; p$ o, C! s. [
1、检查每台机器上的服务是否正常运行的,如果是正常服务的,说明可以发布,但是服务本身异常,就要记录或跳过了;
2 o. W; n4 r+ B  V) b* l8 P, M  O

! K" u8 l( d% ^
2、下载war包到指定目录(应用的目录信息,应用配置管理又发挥作用了);
# V' y. B4 t" M* x9 I: ^6 O( |
+ z; e7 F4 z+ F$ m- A1 [, a0 t
3、将监控关闭,以免服务下线和停止产生误告警;

7 c& m4 T  H' h( S5 W7 c4 [( m

" @3 l8 W# ?: _8 {: _& W+ _, k
4、优雅下线,包含RPC服务从LB下线或Web服务从Nginx下线(如果不提供http服务就不涉及),下线动作均通过API接口调用方式实现;
+ R+ }5 |. e: E

# O+ x7 C9 p6 t% i3 N* W% v$ L
5、下线后自动检测无新的流量进入,停止应用,发布代码,然后启动应用(这时应用配置管理里面,启停命令等等就又发挥作用了);
% R9 r! h. L4 [: \) C% j
% A6 r; h2 M5 P* _1 {4 j, |
6、优雅上线,进行健康监测,检查进程和应用状态是否正常,如果全部监测通过,开始上线服务,开启监控;

! m( g! o2 ~2 W) ^$ R
+ I( M. J/ A; W5 ?
7、分批发布,这里简单提一下,假设我们一个应用有100台主机,这个时候做发布不可能全部一把停掉,这样服务会中断,但是也不能一台台的做,这样效率又太低,所以我们可以折中分批发,比如可以分5批,每批20台,也可以分10批,每批10台,这样既可以保证在线升级,也可以保证效率能够跟的上。当然复杂一点,还有分组分批,或者按步长分批,第一批5台,第二批10台,后面每批20台等等。示例如下:

0 p+ H4 }7 L1 C7 ]# J; h3 |; E" L* V6 G4 `
8 p0 V2 b3 o3 r; e1 j
整个过程下来我们可以看到:

' {  i; ?, }' `' K/ M; w0 u9 l
# M0 U- R9 q" _7 A
1、基于场景入手,将业务流程梳理细致,做到细分环节,每步自动化,流程串联
* t8 e; C* a  Q3 p$ |. M8 W& J. M
! L) \# K  h. B* @: w: N" x
2、上篇文章提到的CMDB和应用配置管理的内容,在这一部分无时无处不在发挥着基础的作用
; C( D* e7 |7 e) K6 g

) C! j: `, E0 z/ v8 q) J) a
效果:NoOps or DevOps
# S7 y- S0 [- k  f4 n2 f
1 E/ L, ~3 ^5 R+ V' B6 B
发布系统上线后,整个过程已经可以做到开发全程自助发布,之前运维还在参与审批,后来审批环节也省略,在发布这个过程中,全流程NoOps。效果如下图所示:
! ]' z, |6 F$ C& P4 O/ \$ E
' s- c6 l, P/ k; ?
. w$ W" R& r# G# Q- M
1.png

9 [, B% k- {8 C; t  N% o/ `
: f; h2 q- W" r5 v- P* U' {

7 r& N& T, ?  q2 n) o
2 w/ j: q- m# b; u5 K
! O4 E. _, z6 L9 {& U8 f
' O7 w& Y! y- j. V. Q
二、稳定性建设

  ?( u; t; }  w$ Q( d) [9 N( {

4 h3 f+ k7 Z+ c# j+ _
从0到1做完以后,效率问题基本得到解决,但是系统的稳定性这个矛盾马上就凸显出来了。经常遇到的问题是系统慢了,系统宕了,或者是突发流量非常大,会碰到这样那样各种诡异的问题。所以这里分享稳定性建设这方面的内容,主要分为:
' X5 c. P5 N+ k) U/ G4 e( ~

% o0 ~: U. Z3 l1 U' u! d3 q
1.png

$ \. [. |4 U4 p6 ?: a- n4 A

# X1 c% J' S  l9 d9 G6 `
( M* K6 [6 i- N# G: ^+ O8 j$ [# p
主要介绍全链路跟踪系统。首先,为什么要做这个事情?

  o; [1 J, R& e, `. M* f
1.png
0 H$ r3 e# r" y' z5 j

5 _- t8 X# T' e& T" K7 [3 }

: J( w9 u! O8 B% B6 B: m: j
这整个的全链路的架构图,在前端的应用上面会做埋点日志,然后通过Kafka放到实时日志集群里面,这样可以快速看到实时的数据,然后对于历史的数据,放到Hadoop里存储。
; s- ]' D  o7 \( D

" Z- \3 Y* s1 L! C+ b: x) I; E/ I5 ?( e
1.png
4 H6 G6 o7 i' V  c
' o2 Z; a, ?6 X4 h' o) i2 D

% E) G' U" R8 @
这里要介绍关键的技术点,其中最关键的就是TraceID,当一个请求到达接入层,会在接入层生成全局唯一的TraceID,由我们自研的Nginx的module实现。然后后续的后端接口或方法调用都会把这个ID带上,这样每一次调完会成都会输出一条日志,把本次请求花费多长时间,调用哪些接口记录下来,这样通过刚才实时的Storm集群就可以计算出整个的实时请求是怎样的。
- C/ G: I/ L- m8 U3 F; t1 m/ i

1 m4 C, |: g8 y( Y- X
这里呼应为什么要做技术架构的标准化,这个TraceID是通过Nginx的module生成的,在ID透传的过程中,每一个请求都会从框架层面把这个ID自动带上,业务层面是不用考虑对这个ID单独做处理的,对于http请求,就是自动带上这个参数,对于RPC调用,通过分布式服务框架来处理的。所以接入层架构、分布式架构的这样一个统一的技术栈标准化之后,落地这样的稳定性方案其实就非常顺利了。假设这个标准不统一,Nginx大家有用原生版本的,有用Openresty的,有用Tengine的,或者直接用了Apache,这个module是没法统一定制的,对于分布式的框架,如果有用dubbo,HSF、Thrift的等等,也会无法统一。

1 V+ `" W8 j2 S7 o  B

9 S% j9 r7 N# o
' b+ g+ i1 u# F1 ?- @( c- f6 i
1.png

4 h4 s: ^9 z2 F5 k
* m0 |! |8 J' I
样例:

& ^. K: d: @7 d5 I: H: x" l* k/ m% \

) \- S- K6 o% u8 q
1、发现页面慢了到底怎样去做。经常遇到的一个情况就是页面慢了或者是某个页面慢了,根据问题反馈的时间点,可以进行筛选。这个时间段内,请求超过1秒的有哪些,筛选出来后,以TraceId为入口,那接下来整个请求的过程就展示出来了。从这个界面上我们可以很明显的看到,整个请求花了1.5秒,但是下面红色的地方有一个评价的服务,单这个服务接口的调用自己花了1.3秒,肯定是这个服务出了问题,这时候可以大大缩短问题范围的缩小,根据这个IP,直接到这台主机上检查发生了什么问题,后面就可以进入到详细的问题定位阶段。

8 R& R& p& @6 x5 R0 H0 j5 b

3 ~- h% z  a  E8 U3 I* h, Z& E
1.png
$ s' N7 ^( y+ m4 Y
2、调用合理性的问题。一次请求下来耗时非常长,但是看每一次的接口调用RT又是非常短,问题出在什么地方。比如下面这个这个请求花了1.8秒,但是每次请求都是了正常的,不像刚才一样,有一个请求自己占了1.3秒。这时候通过全链路可以看到,这个请求在频繁的重复的调用一个Cache接口,很显然在调用合理性上出现了问题。这时就可以把问题反馈给开发,检查下代码的逻辑,为什么这么调用,是不是应该优化下调用方式。
* g2 |7 N. e: i% r! W; v* p
6 `3 i+ v& k9 j
1.png
( ?3 b, o5 S2 l2 K: y
3、链路分析。一个应用提供出去以后,一个应用又包括了很多服务化的接口,而应用仅仅是成百上千应用当中的一个,这当中有哪些应用依赖了我,然后我又依赖哪些应用的哪些服务化接口,这些应有服务的质量到底怎样等等,这就是一个服务治理的问题了。所以做了这样的一个链路依赖的整个分析,从这里里面可以看到我提供服务的运行情况,有哪些应用是依赖我的,我又依赖了哪些应用。
- F9 d0 A" ]5 C% s( \
& G/ d( u: b0 l# {, e% F& j
1.png
3 p6 Q0 A$ [1 t; R
链路分析还有一个非常关键的作用,稳定性中有一个限流降级系统。关键点就是通过链路分析提炼出核心应用(交易链路)和非核心应用,对于核心应用优先保障,配置的并发数和优先级就高一些,非核心应用就会小一些,如果出现流量特别大的情况,就会考虑把非核心应用降级或限流掉,优先保障核心应用的调用和运行。

# \# ^# p8 q- j
" O  @( J* b3 U5 ]4 h
举个简单例子,比如交易相关的购物车下单,如果下单应用依赖了我的服务,那它的优先级就会相对较高,毕竟下单后会马上产生收入,同时可能还有商品评价也依赖我的服务,但这个与交易无关的,那它的优先级就低一些。当我的服务和应用在峰值时(比如大促),策略就是要优先保证交易的应用,其他非核心的应用就降级降掉,或者是并发数限掉,宁可失败但是不可以影响到我整个交易的链路。所以它非常关键的价值就在这里,能够帮助我们梳理清楚核心和非核心的应用,不同的场景采取不同的稳定性保障策略。
9 |4 e& ~6 I- r6 m# k/ t

5 P- {9 L- p6 f* X6 j$ s  t
原创:赵成
5 f2 a1 Y3 m; H2 _9 d# ^" }
( K$ y# _. M: o6 R# b4 c

- k+ |5 `( @3 k

本版积分规则

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1 )|网站地图

Baidu

GMT+8, 2019-9-23 06:59 , Processed in 0.156951 second(s), 24 queries .

Powered by Discuz! X3.4 Licensed

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表