请选择 进入手机版 | 继续访问电脑版

IT运维管理,ITIL,ITSS,ITSM,ISO20000-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

搜索
查看: 436|回复: 0

蘑菇街的DeVops实践

[复制链接]
来自- 日本

参加活动:0

组织活动:0

发表于 2018-10-26 16:44:32 | 显示全部楼层 |阅读模式 来自- 日本
本帖最后由 adminlily 于 2018-10-26 16:52 编辑
$ [: e0 [. U6 r( U& U: V  i& ?9 X. d3 d" o
1.png
蘑菇街技术架构演进过程
, Y" s3 f  l/ o4 |; N' {! X. t

4 ?+ \0 p; e4 {$ S0 ~1 y: s1 v
早期2011年,产品形态是导购,业务量不大的情况下,技术架构选择了相对简单的LNMP架构。通过PHP快速开发,让业务快速运转起来。所以,当时主要以开发人员为主,没有专职的运维的团队。
/ s$ u/ H. J6 @0 y8 h
" d5 M4 r+ M' \
. {2 ?. {4 a' G" X
1.png
4 K4 v- B  ^" q$ @5 h
2013年转型做电商,整个技术架构也没有发生太大地变化,还是以LNMP架构为主。不过在业务从小到大的快速发展过程中,最容易出现瓶颈和问题的是DB的连接、缓存的连接等这种连接数的资源,蘑菇街在这个阶段也遇到的同样的问题,所以架构上的调整,主要是DB中间层和缓存中间层的增加为主,但整体上还是LNMP。5 P9 i1 y# I; Q9 P% E0 p

$ s2 W0 h! F8 I9 q
1 T  N; x' h0 U# y9 b2 j0 B3 X
( s: m! m& [  X6 L7 t
1.png
1 j  k1 `$ V2 e& x
随着业务发展,业务也开始变得丰富和复杂起来,带来的不仅仅是用户量、业务量这种体量上的增长,业务自身丰富度和复杂度也在发生着非常大地变化。对技术上带来的挑战和问题,如下图所示:
$ d& Q8 H. q: Y

4 a. L6 `- m) P$ }+ f
$ ?0 _/ N1 j* J2 i5 e6 \
1.png
: l; k# M# J$ E8 ?% L+ [
可以看到PHP的工程变得异常的臃肿,因为有太多的业务需求需要开发,有太多的开发人员在同时开发,结果短期内PHP的代码工程就造成了局面。

( Y) D3 I4 H) G* y9 Y7 c4 w  a

$ [' F. O! X" {
首先谈到PHP的优势,PHP上手非常快,入门门槛相对低一些,一个新手从学习到开发生产系统的代码的周期相对较短,同时,PHP部署发布的效率也相对简单,PHP文件发到线上即可运行,不用复杂的编译、打包和启停动作,在业务前期发展阶段,PHP效率上的优势就表现的很明显。但是,上图所示,随着业务的发展,业务类型越来越多,开发的人员也越来越多,大家都往一个工程里面去写代码,势必导致PHP的工程越来越大,越来越臃肿,给后续的代码维护带来了很高的复杂性。

6 i$ p) S. ^- l: \" i+ |, s

8 m5 A5 q# _/ ]$ }8 p+ O, o; I
举个例子,对于一个开发的人员来说,如果他要做的功能和需求涉及到其他人的开发的PHP文件,本来这个功能和需求在原有的程序上改就行了,但是因为工程太大了,他可能是没有办法评估清楚说改了这一个文件,对其他的文件、接口和方法会造成什么样的影响,即使能够评估清楚,也很难保证在测试的时候把这些所有的点都能够测试到,根本没这么大的精力。所以就导致很多开发人员会不断的Control C+V,就是宁可是把需要改的文件Copy一份出来,然后在Copy出来的文件上面做开发,原来的功能不动,这样就保证了新需求可以不影响老公能,但是这个状况就会导致进一步加大了PHP工程的臃肿,实际上是一个恶性循环。再就是,如果碰到非改不可的PHP底层的文件和代码,如果评估不到位,就是导致出现各种各样的线上故障。所以,到了这个阶段,PHP代码就很难维护了,反而影响到了需求和版本的迭代速度。

3 e. t& e$ t2 J! E/ T0 X) P

! q& c4 B8 l  Z1 z4 R4 \
这种情况下应该怎样办呢?需要选择业界比较通用的方案-Java服务化,把大的工程拆分成一个个小的应用,通过服务化框架提供RPC的调用。这个阶段,从PHP转向JAVA,从单一工程转向了分布式服务架构。
- @8 B- y7 z7 u0 a7 F6 [$ e  y4 p( v$ Q
7 _; K" v2 N* E- ]' J! K7 W

1 M+ m' X( n: s$ ]6 s) \6 r
1.png
8 B" o& p% n4 s6 a5 d; v! f1 E
经过拆分后,整个架构就变成了现在的这个样子。这样看下来整个架构分了很多层,也有很多的细节,乍看上去是比刚才的架构图要复杂一些。但是这样的架构根据条理性,也会让架构里面很多的技术细节都曝露出来,更加便于管理。相对那刚才非常庞大和臃肿的PHP工程,内部的逻辑、方法和接口的依赖等等,是很难梳理清楚的。
/ [' ?' c' u* D  C

* k( d$ G6 h1 G0 d( _/ j. _" r

' {* W5 D, l) H: K
* T9 P! g7 Y. Z, O/ ?" L- m
1.png

6 {0 e& x/ q3 D* ]; Q! x( r
下面主要讲做了JAVA服务化的技术转型后,对运维带来的挑战是什么:
) E) u* k; \3 G6 P" y  x

8 ^% e% g+ x2 e( B
1、服务化应用的管理问题
; k0 d0 @8 s7 E, {$ A
1.png
5 M' n) i7 B9 m) R
" ?/ B' U4 x6 g  S7 s. [& _' a

8 a" ^' R' R$ a& a, D. S
2、服务化之后的服务治理问题" ~5 ]/ D# o9 O* o) n

+ G9 B0 c' K* ~- d: V
1.png
* n4 H+ v3 P; h" y8 B. N9 F0 U" G

% x* W4 `4 o9 }6 H: \/ R! J
1 E9 q) r6 o1 d0 M
  运维解决方案和思路
. }6 p: @4 D) X1 \3 ~& S
: `& w2 _$ g' \0 r& O
运维基本上要围绕着以下5个目标开展,效率、稳定、成本、体验和安全,重点从效率和稳定这两个方面去讲。

& f& d( X7 L" m% h3 e$ f! e% X

4 y, A2 \# Z4 B! B
6 m! ]9 v% w/ h& d3 t
1.png

8 S- R6 p3 d; f4 Z9 S+ J! ]8 T4 ]$ C
从0开始应该怎样做,一定要从标准化开始,并围绕标准化展开。关于标准化,不管是做运维平台也好,还是运维体系也好,或者运维系统也好,第一件事要做的一定是做标准化。

  y* {7 f. Y3 f

2 M) B, n8 M3 b  h9 b, E; L' m2 p! u5 x
标准化主要做三方面的工作,第一是基础软件及基础设施的标准,主要是操作系统的版本必须统一,内核参数统一,基础设施上,用KVM虚拟化技术将我们的资源做成2C2G、8C16G这样的资源模板,确保资源配置的统一。第二是应用及配置标准化,这个后面细讲。第三是技术架构标准化,技术架构这块分接入层、中间件技术、缓存、DB等,关于技术架构标准化,它的重要性和它的意义在案例中体现出来。
- j& @1 x- _9 y6 h

  b7 U2 g1 N+ J/ ]# E7 x) H

% M# C2 x0 _3 `
1.png
  X% Q/ q. [0 |6 M4 b, |9 D
& B' \& O" }1 i

8 R1 O9 y( u: M8 ]0 y
举个例子:
  K! I, E; Q- d# i# p# f
1.png
; X6 S" ]) Z8 ]$ C( S( K3 e7 Z
在做整个运维平台之前,首先将整个系统梳理一下,然后看一下整个系统里面到底有哪些基础环节和软件,应用到底有哪些应用类型。把这些东西一条一条地记下来,然后归纳总结,慢慢的就形成了左边的集团标准化,包括应用管理的标准化。基础服务的标准化,安全的标准化,稳定性的标准化,全部都制定清楚形成文档。
1 S; F% ?, E- C8 u) C# X0 S

( Z; }5 C) X: o% P
把标准化的动作做完以后,如果只是纸面上的,那它的威力是没有显现出来的,如果仅仅是以写脚本的方式去管理它,实际上还是有点笨拙,所以再往后就做了这样一个应用配置系统,目的就是把做的标准化沉淀在技术平台上面,可管理,可提供服务。以上的样例就是我针对Java的标准,它的目录,起停的脚本等,通过一个应用模板固化下来,比如实际应用过程中,典型的Java应用,是Nginx+Tomcat的运行方式,那在应用配置管理中,就会有应用模板、基础软件和应用配置文件管理几个模块来管理。
* l' Z* l$ N7 B5 }
2 L. _3 g3 s8 I$ J4 Y
% b4 P" q( c+ \+ `4 |# Z; I
1.png

9 Y# G7 K7 b, M& t" N! w% F
以上这部分,是针对标准化,最后通过应用名这个核心将上面所说的这些零散的标准项给串起来,也就是常说的以应用为核心的运维体系。
" p# Z4 B: k4 k1 Q7 U

9 x5 ~4 C0 r2 z" T( s% _
  s  B+ L9 t/ @
  案例分享
% I9 W% p9 y# P) l6 U. T6 [) A

% P: u# t: U+ {" {( n8 F$ o6 @! v) x. B: q; v: {) N$ p
一、持续交付
: w0 G0 R2 ^: h  r9 m+ A
8 g5 S7 Z8 a% Q# G& `3 m. T

; o/ C9 Z2 v$ ]
做完了标准化及标准化管理以后,遇到的比较棘手的问题就是这么多的应用应该怎样高效发布,这就涉及到持续集成和发布的问题。原来的PHP工程,只要在一个PHP的文件里面把代码写好,把文件推送到服务器上,然后最新的PHP文件就可以直接运行起来了,不用做中间环节的管控,但是对于Java应用来说整个环节就没有这么简单了,Java文件涉及到编译、二方包、三方包依赖,然后编译打包后,将软件包发布到制定的机器上,然后还要重启Java进程,最新的文件才能得以执行,期间还会涉及服务的注册和下线问题等等。

0 a/ q2 L# w! E4 G- C  h' d

' T+ e+ ~7 n2 v) \3 c
从整个过程来说,JAVA整个发布过程是要比PHP复杂很多的。所以为什么要去做持续集成,对于这个持续我的理解是怎样能够把中间环节它的效率尽量提升,减少人为的干预,通过发布的自动化,提升开发和运维的效率。
0 }4 K8 D" u9 u: \
& z" h! }, j3 o! ?! e
1.png

- V, Q* U0 [  [5 I" |- l7 n6 c9 P
接下来做的发布系统,提炼一下,发布做的事情就是,将提交后的应用代码,进行编译打包,然后发布到应用对应IP主机的指定目录下,并且做到应用服务的优雅上下线(或者叫做优雅启停)。

& Q8 f" F' T( {; G/ t! J* e

/ g( v% m1 B/ q2 E
可以抽象出发布的最重要的三步,如下:
1 m7 M" B4 j) G! x( _# s

( ~- c! D, L- r# ?; q
! [  ^$ B# J, \! e5 Q  n
1.png
下面就分阶段详细描述三个主要环节:

6 w1 Q$ W. Q, u1 U7 t( @, y

! W) ]( @$ B: p. J: H) Y' l) W% b
1、代码提交环节(分支合并管理)

9 g# p# y2 S% c6 k' f! d

6 f/ X; i( k- Z
代码管理工具是Gitlab,代码提交过程中最重要的就是对于分支合并的管理(这里又涉及到标准规范的制定),策略示意大致如下:

1 ?/ c# a. a1 d6 {: h
5 _$ P/ `; t* s6 ?; g* J
1.png
描述如下:

9 C3 n# t; o5 R& ?5 W  Y- j& Z! d$ m
9 z0 I) k' V$ b# E. E" b% n. C
1、master分支,跟线上应用代码保持同步,也就是说随时可以发布到线上进行部署运行。
; r) M8 j3 [% F5 e7 {% Y( U
+ m% `& y+ w* L) V; s0 }/ P: t
2、开发分支,通常以feature/defect来表示,比如开发一个新的需求,就会以当前master为基线,拉一个feature分支出来进行开发,同一个应用可以同时存在多个feature分支并行开发。
" E. i; \) @" Z) g2 H
# j0 S$ k+ ^  z# N9 g9 G
3、发布分支,以release表示,在发布时会将所有提交集成的代码commit合并,形成release_环境_时间戳为分支名称,比如release_dev_01_29_20_52_10 就代表该分支是在1月29号20:52:10在dev环境发布时创建的临时发布分支。
. p; ?7 T' g* `! _$ Y4 P& a, t6 b

3 z6 {0 I$ I: ~  c: A. ]# V3 ~
4、从预发进入线上时,会以当前预发环境的发布分支release_pre_xxxx为基线创建一个release_online分支,作为线上的发布分支,线上发布结束后会把release_online分支合并到master中,这也就保证了发布到线上的代码最终一定会跟master的代码保持一致。
8 I. x* C- f# N4 e" n7 w" J

. Z) g' _4 R' y$ u
2、编译构建环节

* C1 g1 e8 {6 j
+ l! v) j& X3 i. ?
以上介绍了代码提交环节,下一个环节就是要构建了,以Java为例,构建用到了两个工具,Docker和Maven。Docker主要用来提供一个干净独立的编译环境,Maven作为依赖管理和打包工具。整个构建过程如下:$ q3 |. Q2 Z3 l# k
1.png
2 t) H, J2 I- i% |$ V

$ B4 _! I' j: _$ n( a) F) |2 u3 I, m

" u+ f  E8 R! N! a5 l
以Java为例,简单描述如下:

2 C6 L& P( X' M# R8 J

6 K- k2 W5 }; o4 s
1、首先准备好JDK的编译镜像,这个镜像环境与线上环境保持一致,当有新的构建任务进来时,就创建一个对应的Docker实例进行代码编译;
( B" v- i: P# I; D2 @

0 _) T$ ~' D  o4 a) x% s
2、构建任务会根据应用配置管理中的Git地址,将代码clone下来放到指定的编译目录,Docker实例启动后,将编译目录挂在到Docker实例中;

9 F( |3 c# a/ P  I
) ?, J) Y3 n# c6 e2 ?  }+ C' R% t
3、对于Java应用,在这个Docker实例环境中,就可以执行mvn package命令打包了,最终会生成一个可发布xxx.war的软件包;
3 u4 ~4 s3 a; I* }% ~

5 Y, d! e, j) c' M$ T
4、同样的,对于C++,Go、NodeJs,也会准备好类似的编译镜像,不同的是打包时,对于C++是cmake&make,Go就是go install等等,最终也会生成一个可发布的软件包;

" s, ?. U! v/ O! K
! _8 Q8 U2 m$ z- ^1 P. I7 _
5、构建完成后,Docker实例销毁;

8 h! h& y" ^9 h

: B& b: z! @1 C; A3 p% G! T8 P
这里面Docker发挥了一个很大的作用,就是提供了干净的,互不干扰的编译环境,且对于并发打包的情况,Docker快速创建多个并行的实例出来提供编译环境,使用完销毁,这个效率上的优势也是非常大的。
8 k" Z+ ]6 S  h: {( x) \( a
1 b- |: h2 S: p  F7 b& J
6、关于配置管理,当时设计时考虑比较简单,做法是同时做三个配置文件出来,dev_pom.xml,pre_pom.xml,online_pom.xml,分别对应开发、预发和线上三个不同的环境,根据发布的环境不同,将不同的配置文件替换上去。这样做其实可扩展性不够,对于多机房、多分组的情况会有更多的配置文件创建出来,且对于有敏感信息的配置项保密也不够(不过这些配置都已经加密挪到中间件的配置中心了),更好的办法可以考虑采用阿里早已开源的auto-config方案。

5 K, ?  b( V* H2 W, T$ ~
7 _  j8 L# Y: n  N
3、部署环节
. d# z1 D7 I/ }: S5 _( o% j

1 H& D6 J  E& g' W9 G! G
以上,代码提交和编译构建完成后,就该进入发布到线上的部署环节了,也就是将代码发布到应用对应IP主机的指定目录下,并且能够优雅的上下线应用服务,貌似很简单,但是,看下图:
# `5 M; E: K* i/ W/ [
! b, k  W1 s: C9 w
7 t1 {9 t( k- l+ ?; X" B* c1 k1 C
1.png

6 y3 y9 f4 b, L2 a8 y
这个过程的环节还是比较多的,这些环节内部又会有很多的细节,所以整个部署环节是很复杂的,下面将整体思路介绍一下:

# U6 d" R1 ~$ V: G; A" H" a0 J
" H) P0 s& P5 |" c
0、从CMDB中,拿到应用-主机IP对应关系,然后再从1开始做,后面的过程可以是针对单台机器做,也可以是分批或分组多台机器同时做。(从第0步开始,原因就是上一篇文章里面说的CMDB和应用配置管理的基础要先打好,这个基础没有,下面的环节就无法顺畅地执行);
  L+ g5 Q- n7 Z3 M2 ?

* x! N# N) }4 j  \$ \2 K" X- l
1、检查每台机器上的服务是否正常运行的,如果是正常服务的,说明可以发布,但是服务本身异常,就要记录或跳过了;

; p. i3 y: n: S% O. t  [* x

# }$ ~' x% N8 S: v
2、下载war包到指定目录(应用的目录信息,应用配置管理又发挥作用了);

' E( ~+ E; x8 r6 {$ Q% \/ J

' ^8 U% d8 W( O* C9 z- S
3、将监控关闭,以免服务下线和停止产生误告警;

4 h. w! \, S9 k4 f7 H8 ]
: W) r' B3 V0 G1 a0 d$ z
4、优雅下线,包含RPC服务从LB下线或Web服务从Nginx下线(如果不提供http服务就不涉及),下线动作均通过API接口调用方式实现;
, r' B4 Z5 E$ Q& D
) t- T1 w  r+ J1 i
5、下线后自动检测无新的流量进入,停止应用,发布代码,然后启动应用(这时应用配置管理里面,启停命令等等就又发挥作用了);

( \: S! V$ f+ l1 z1 r
/ t& h4 `, {( {- {/ @* j
6、优雅上线,进行健康监测,检查进程和应用状态是否正常,如果全部监测通过,开始上线服务,开启监控;
2 F1 T  x% g0 j  L
8 e0 p/ R/ X7 w2 z) ~# W
7、分批发布,这里简单提一下,假设我们一个应用有100台主机,这个时候做发布不可能全部一把停掉,这样服务会中断,但是也不能一台台的做,这样效率又太低,所以我们可以折中分批发,比如可以分5批,每批20台,也可以分10批,每批10台,这样既可以保证在线升级,也可以保证效率能够跟的上。当然复杂一点,还有分组分批,或者按步长分批,第一批5台,第二批10台,后面每批20台等等。示例如下:
  ?; W3 e/ D6 }. J" k( q
# t. h* O, F/ b
整个过程下来我们可以看到:

5 `3 c- ~' r8 U9 Q+ U

( Z9 O( w& \2 X- A
1、基于场景入手,将业务流程梳理细致,做到细分环节,每步自动化,流程串联

0 {' {' V5 r5 V
% ?% G. i, ~- z9 l; S" G
2、上篇文章提到的CMDB和应用配置管理的内容,在这一部分无时无处不在发挥着基础的作用

% Y$ R; o- v/ s( P
$ J$ ~+ o: c* j6 x# A. F
效果:NoOps or DevOps

' u+ n0 P/ E. W& i
+ |( r( i0 X! S* z: M; y: A
发布系统上线后,整个过程已经可以做到开发全程自助发布,之前运维还在参与审批,后来审批环节也省略,在发布这个过程中,全流程NoOps。效果如下图所示:
3 T# V+ |: j! `# q% b8 m
, S4 \: _) k9 n' n/ a" O8 e$ Q
' q4 Q; a% P* s( ?$ d2 U
1.png
+ x9 F% F# d- t! f5 g/ l

& b5 ~4 Y  `% D' g2 B" C/ n* W

; t. J+ y  z$ c. e8 O, m4 v
0 i7 z2 {: S+ Y, n

! T% X+ h7 x" Z
* l0 m* C2 l: @  V: x& U
二、稳定性建设
' K4 \: |2 @0 F5 ]6 |% o3 x2 O
5 E0 p; a6 n$ ^3 y" J

5 E6 }. n% l& l  R5 w# g; T$ x
从0到1做完以后,效率问题基本得到解决,但是系统的稳定性这个矛盾马上就凸显出来了。经常遇到的问题是系统慢了,系统宕了,或者是突发流量非常大,会碰到这样那样各种诡异的问题。所以这里分享稳定性建设这方面的内容,主要分为:
' R6 `9 ?9 N9 D0 r
* I' ^* s$ b: K$ s5 ~
1.png

0 |8 M( P) J$ {5 Y

: @4 x+ E9 G7 \, H1 [& F' W. Z* M8 ?$ f
$ l" u. x- \& k+ @
主要介绍全链路跟踪系统。首先,为什么要做这个事情?

1 F9 A  p% [. u, [1 W) j5 O/ u
1.png

4 V) q# Q& N0 N9 h; N. N

; b& g, V% [/ Z* R! M

. a7 J+ w8 H' N# W0 z
这整个的全链路的架构图,在前端的应用上面会做埋点日志,然后通过Kafka放到实时日志集群里面,这样可以快速看到实时的数据,然后对于历史的数据,放到Hadoop里存储。5 O& r# l' L( a

' R  p; A% @  K" ~4 Y4 J! M
1.png

1 a" [2 ], @! c2 ]2 P! G% k! |9 ~
# Y  v8 o5 \; T5 Q
) f9 X. o7 [) f; j' }
这里要介绍关键的技术点,其中最关键的就是TraceID,当一个请求到达接入层,会在接入层生成全局唯一的TraceID,由我们自研的Nginx的module实现。然后后续的后端接口或方法调用都会把这个ID带上,这样每一次调完会成都会输出一条日志,把本次请求花费多长时间,调用哪些接口记录下来,这样通过刚才实时的Storm集群就可以计算出整个的实时请求是怎样的。

% M8 C3 |3 F6 @/ m! J2 C2 I6 [
& c" Z- z! l' W9 P
这里呼应为什么要做技术架构的标准化,这个TraceID是通过Nginx的module生成的,在ID透传的过程中,每一个请求都会从框架层面把这个ID自动带上,业务层面是不用考虑对这个ID单独做处理的,对于http请求,就是自动带上这个参数,对于RPC调用,通过分布式服务框架来处理的。所以接入层架构、分布式架构的这样一个统一的技术栈标准化之后,落地这样的稳定性方案其实就非常顺利了。假设这个标准不统一,Nginx大家有用原生版本的,有用Openresty的,有用Tengine的,或者直接用了Apache,这个module是没法统一定制的,对于分布式的框架,如果有用dubbo,HSF、Thrift的等等,也会无法统一。

) _& x) ^3 y- W1 G% w, U

$ q+ M0 u/ V" u* R
, `/ o5 N1 q- g/ @- O4 V
1.png

8 u, E0 m$ v* {
7 v7 N, ^0 a5 @& I- I, c# h
样例:

9 }$ r6 Z) e; v4 |* i4 V

) t# i1 X8 [0 G
1、发现页面慢了到底怎样去做。经常遇到的一个情况就是页面慢了或者是某个页面慢了,根据问题反馈的时间点,可以进行筛选。这个时间段内,请求超过1秒的有哪些,筛选出来后,以TraceId为入口,那接下来整个请求的过程就展示出来了。从这个界面上我们可以很明显的看到,整个请求花了1.5秒,但是下面红色的地方有一个评价的服务,单这个服务接口的调用自己花了1.3秒,肯定是这个服务出了问题,这时候可以大大缩短问题范围的缩小,根据这个IP,直接到这台主机上检查发生了什么问题,后面就可以进入到详细的问题定位阶段。

! x) `3 H# ~  |5 T# x" C
0 l, @# M* N" V( Q4 W
1.png
/ X5 p/ y9 s$ L( p7 Z8 q! X
2、调用合理性的问题。一次请求下来耗时非常长,但是看每一次的接口调用RT又是非常短,问题出在什么地方。比如下面这个这个请求花了1.8秒,但是每次请求都是了正常的,不像刚才一样,有一个请求自己占了1.3秒。这时候通过全链路可以看到,这个请求在频繁的重复的调用一个Cache接口,很显然在调用合理性上出现了问题。这时就可以把问题反馈给开发,检查下代码的逻辑,为什么这么调用,是不是应该优化下调用方式。
* b! s- E- F( R- H

6 K2 f  e" d+ Z( c6 J
1.png
" N# y2 m/ N, _' N2 ^7 a0 n( o8 c
3、链路分析。一个应用提供出去以后,一个应用又包括了很多服务化的接口,而应用仅仅是成百上千应用当中的一个,这当中有哪些应用依赖了我,然后我又依赖哪些应用的哪些服务化接口,这些应有服务的质量到底怎样等等,这就是一个服务治理的问题了。所以做了这样的一个链路依赖的整个分析,从这里里面可以看到我提供服务的运行情况,有哪些应用是依赖我的,我又依赖了哪些应用。
" W! F8 [7 x. X: ?8 D
$ W1 L+ x" d* f
1.png
) V/ T& H4 w' I
链路分析还有一个非常关键的作用,稳定性中有一个限流降级系统。关键点就是通过链路分析提炼出核心应用(交易链路)和非核心应用,对于核心应用优先保障,配置的并发数和优先级就高一些,非核心应用就会小一些,如果出现流量特别大的情况,就会考虑把非核心应用降级或限流掉,优先保障核心应用的调用和运行。
& y2 F7 ~" b6 U$ X" t, W
  e4 i4 E5 N; S4 H
举个简单例子,比如交易相关的购物车下单,如果下单应用依赖了我的服务,那它的优先级就会相对较高,毕竟下单后会马上产生收入,同时可能还有商品评价也依赖我的服务,但这个与交易无关的,那它的优先级就低一些。当我的服务和应用在峰值时(比如大促),策略就是要优先保证交易的应用,其他非核心的应用就降级降掉,或者是并发数限掉,宁可失败但是不可以影响到我整个交易的链路。所以它非常关键的价值就在这里,能够帮助我们梳理清楚核心和非核心的应用,不同的场景采取不同的稳定性保障策略。
4 e! J" o+ y# b. v5 ?! w9 T
) G8 y& _) [& {+ G" M, S# \& m
原创:赵成

. V& A, u& u7 G9 E% s# }; F
# W0 _5 I8 O! l+ I/ G5 w8 V: x* a; s5 j/ N/ }3 y

本版积分规则

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1|网站地图

Baidu

GMT+8, 2019-6-17 23:16 , Processed in 0.225226 second(s), 31 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表