请选择 进入手机版 | 继续访问电脑版

IT运维管理,ITIL,ITSS,ITSM,ISO20000-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

艾拓先锋
搜索
查看: 312|回复: 0

蘑菇街的DeVops实践

[复制链接]
来自- 日本

参加活动:0

组织活动:0

发表于 2018-10-26 16:44:32 | 显示全部楼层 |阅读模式 来自- 日本
本帖最后由 adminlily 于 2018-10-26 16:52 编辑
) _) q3 O$ m' @9 X" {  l* ~& n6 B' Z) ~
1.png
蘑菇街技术架构演进过程
& G9 [6 z9 U* K. Z* q

% c  ?/ c2 D" G
早期2011年,产品形态是导购,业务量不大的情况下,技术架构选择了相对简单的LNMP架构。通过PHP快速开发,让业务快速运转起来。所以,当时主要以开发人员为主,没有专职的运维的团队。
& w; D9 X0 R2 |( q. _+ G- ^
- Z  _! O( U) A6 r+ T" l+ o+ b+ D

# w4 p, a0 Q9 ?6 }" g) Q3 ~8 w
1.png

" ]5 K# {  i9 g" x. f, R
2013年转型做电商,整个技术架构也没有发生太大地变化,还是以LNMP架构为主。不过在业务从小到大的快速发展过程中,最容易出现瓶颈和问题的是DB的连接、缓存的连接等这种连接数的资源,蘑菇街在这个阶段也遇到的同样的问题,所以架构上的调整,主要是DB中间层和缓存中间层的增加为主,但整体上还是LNMP。2 @" z# b7 F. r$ E2 B# @, x

0 B' [) {7 Y0 F, m
, j& l: n' g9 v5 m9 V

1 @, `6 \7 A: h* d+ p
1.png
  j" ~6 ?% N$ i( h2 T6 o
随着业务发展,业务也开始变得丰富和复杂起来,带来的不仅仅是用户量、业务量这种体量上的增长,业务自身丰富度和复杂度也在发生着非常大地变化。对技术上带来的挑战和问题,如下图所示:
4 \/ e& @/ B# H/ h: n

$ W; s, [9 }) I9 \) @% f7 |% V
* l" K4 w3 F& i" ?9 z9 w. G
1.png
- n) x5 t( t- I# }, I. |
可以看到PHP的工程变得异常的臃肿,因为有太多的业务需求需要开发,有太多的开发人员在同时开发,结果短期内PHP的代码工程就造成了局面。

* S  ^0 o  _) c; @8 B* ^

) t1 _' S& U+ ?% d! V- b
首先谈到PHP的优势,PHP上手非常快,入门门槛相对低一些,一个新手从学习到开发生产系统的代码的周期相对较短,同时,PHP部署发布的效率也相对简单,PHP文件发到线上即可运行,不用复杂的编译、打包和启停动作,在业务前期发展阶段,PHP效率上的优势就表现的很明显。但是,上图所示,随着业务的发展,业务类型越来越多,开发的人员也越来越多,大家都往一个工程里面去写代码,势必导致PHP的工程越来越大,越来越臃肿,给后续的代码维护带来了很高的复杂性。

, Q: R" U' ?$ k2 J/ x
: v) ~- V3 [: t( I6 p! O% f
举个例子,对于一个开发的人员来说,如果他要做的功能和需求涉及到其他人的开发的PHP文件,本来这个功能和需求在原有的程序上改就行了,但是因为工程太大了,他可能是没有办法评估清楚说改了这一个文件,对其他的文件、接口和方法会造成什么样的影响,即使能够评估清楚,也很难保证在测试的时候把这些所有的点都能够测试到,根本没这么大的精力。所以就导致很多开发人员会不断的Control C+V,就是宁可是把需要改的文件Copy一份出来,然后在Copy出来的文件上面做开发,原来的功能不动,这样就保证了新需求可以不影响老公能,但是这个状况就会导致进一步加大了PHP工程的臃肿,实际上是一个恶性循环。再就是,如果碰到非改不可的PHP底层的文件和代码,如果评估不到位,就是导致出现各种各样的线上故障。所以,到了这个阶段,PHP代码就很难维护了,反而影响到了需求和版本的迭代速度。

! Z  E3 ^1 m- n$ Z( g
2 O# K3 J7 q% o% `7 j8 y
这种情况下应该怎样办呢?需要选择业界比较通用的方案-Java服务化,把大的工程拆分成一个个小的应用,通过服务化框架提供RPC的调用。这个阶段,从PHP转向JAVA,从单一工程转向了分布式服务架构。
; w4 p4 ?  C* k4 C3 y- N

- g4 s) P1 C7 O+ f! n# d. ~
: D1 r2 s/ |5 a& ^! G
1.png
4 `. G4 Z) Y' M8 O8 u
经过拆分后,整个架构就变成了现在的这个样子。这样看下来整个架构分了很多层,也有很多的细节,乍看上去是比刚才的架构图要复杂一些。但是这样的架构根据条理性,也会让架构里面很多的技术细节都曝露出来,更加便于管理。相对那刚才非常庞大和臃肿的PHP工程,内部的逻辑、方法和接口的依赖等等,是很难梳理清楚的。
" }/ @/ A1 H, U
7 b: H0 I$ a5 A- A$ D

9 o5 F5 j, s4 }! B% n
/ o" ?" |: F; T# s7 a2 c, N7 a
1.png

! Q5 H# V5 E4 v
下面主要讲做了JAVA服务化的技术转型后,对运维带来的挑战是什么:
; y8 s4 q" i0 t  c! `1 ~+ l

) S! r" ?* L) ~8 _$ o5 ?8 q
1、服务化应用的管理问题
" n# s; S6 C! _! M& I% u: c  u! y6 R" R
1.png
! D3 W* _( O& N) V2 e# Y4 x2 g

# U% d5 J, T  r5 O' x5 a
. a! k. i! m( u) X* A$ o7 \
2、服务化之后的服务治理问题
" V" w' b2 G/ C; U3 T0 `3 ?- c3 h

6 q4 s, A+ @* J' V
1.png

3 @0 B! H- T3 Z$ Q" B# s
2 ^. o' }; [: W& h
/ ~; X5 k/ v4 t* u; n
  运维解决方案和思路

7 }) ?* X) F6 D3 ?

$ F( G5 o" K- C# D; E) K
运维基本上要围绕着以下5个目标开展,效率、稳定、成本、体验和安全,重点从效率和稳定这两个方面去讲。

- z) ^: F7 z# B, O  W2 @, A8 Z
( z& X3 ~2 e* u; C; P

: j6 y' J, V  m7 P9 L  W
1.png

% |' I. A$ U4 e- @5 x) \
从0开始应该怎样做,一定要从标准化开始,并围绕标准化展开。关于标准化,不管是做运维平台也好,还是运维体系也好,或者运维系统也好,第一件事要做的一定是做标准化。
; ^6 x% y  u# v4 q+ J3 q+ f
+ c0 H, {# N' R0 T' h. [
标准化主要做三方面的工作,第一是基础软件及基础设施的标准,主要是操作系统的版本必须统一,内核参数统一,基础设施上,用KVM虚拟化技术将我们的资源做成2C2G、8C16G这样的资源模板,确保资源配置的统一。第二是应用及配置标准化,这个后面细讲。第三是技术架构标准化,技术架构这块分接入层、中间件技术、缓存、DB等,关于技术架构标准化,它的重要性和它的意义在案例中体现出来。

) U6 P$ x4 P+ `8 S* N# O( l

4 h" j  H/ ?3 i6 u: j( b

+ `4 F: Z0 `5 |3 H# a! U" Y
1.png
" l+ E& I3 N% s' a! I1 Q2 y3 _

1 R, M) E. ]% M& |

# U! h* ]* Z6 I6 D9 ?) g* ^
举个例子:
% B* d9 m; _5 T+ _' \6 e
1.png

: _( ?2 t$ I$ a. o: ~3 x6 i$ P3 C  A
在做整个运维平台之前,首先将整个系统梳理一下,然后看一下整个系统里面到底有哪些基础环节和软件,应用到底有哪些应用类型。把这些东西一条一条地记下来,然后归纳总结,慢慢的就形成了左边的集团标准化,包括应用管理的标准化。基础服务的标准化,安全的标准化,稳定性的标准化,全部都制定清楚形成文档。
% |+ c2 ^# d  e, l1 s3 l" b
/ @$ H3 i5 U" o8 p  T& j( x, F5 E
把标准化的动作做完以后,如果只是纸面上的,那它的威力是没有显现出来的,如果仅仅是以写脚本的方式去管理它,实际上还是有点笨拙,所以再往后就做了这样一个应用配置系统,目的就是把做的标准化沉淀在技术平台上面,可管理,可提供服务。以上的样例就是我针对Java的标准,它的目录,起停的脚本等,通过一个应用模板固化下来,比如实际应用过程中,典型的Java应用,是Nginx+Tomcat的运行方式,那在应用配置管理中,就会有应用模板、基础软件和应用配置文件管理几个模块来管理。
' C# j8 u) o, ~
7 s5 ^3 G/ u' j2 M' q, i; Y* o& O

& Z4 `$ Q7 v( Y. B
1.png
3 z7 ]9 b: O" m: v; x
以上这部分,是针对标准化,最后通过应用名这个核心将上面所说的这些零散的标准项给串起来,也就是常说的以应用为核心的运维体系。. f4 v% y. n5 e

* ]% Y( O# J8 D

$ G% E9 U  A9 ?( F0 J
  案例分享. f( |6 h4 D% X

) b6 O! V/ Q$ d: ^- a7 S+ K( r; m2 B2 z
一、持续交付
/ I# B0 E. [) h- U2 ~; P" E
% s3 Q( ?  d3 I2 q, M( z/ M" N

+ [2 J: E% R  x" T0 d
做完了标准化及标准化管理以后,遇到的比较棘手的问题就是这么多的应用应该怎样高效发布,这就涉及到持续集成和发布的问题。原来的PHP工程,只要在一个PHP的文件里面把代码写好,把文件推送到服务器上,然后最新的PHP文件就可以直接运行起来了,不用做中间环节的管控,但是对于Java应用来说整个环节就没有这么简单了,Java文件涉及到编译、二方包、三方包依赖,然后编译打包后,将软件包发布到制定的机器上,然后还要重启Java进程,最新的文件才能得以执行,期间还会涉及服务的注册和下线问题等等。

! \2 X; H$ Y! j

3 a( k3 t* ]' j2 x/ g# Y  Z% l
从整个过程来说,JAVA整个发布过程是要比PHP复杂很多的。所以为什么要去做持续集成,对于这个持续我的理解是怎样能够把中间环节它的效率尽量提升,减少人为的干预,通过发布的自动化,提升开发和运维的效率。

6 ^5 ^* ~  u: D% a& `+ G

. M) r3 k* {/ f$ W: N8 [
1.png

& p. X* p) x, k4 T
接下来做的发布系统,提炼一下,发布做的事情就是,将提交后的应用代码,进行编译打包,然后发布到应用对应IP主机的指定目录下,并且做到应用服务的优雅上下线(或者叫做优雅启停)。

% m- G( J' u1 O: K
5 `; }% Y" f% F
可以抽象出发布的最重要的三步,如下:
8 k7 y* b1 d. |! Z0 z- z

4 N& l1 Q9 z7 }( y8 P5 M9 T" [
5 _3 ^1 g% b5 R- {; ]6 R+ d
1.png
下面就分阶段详细描述三个主要环节:

0 a6 Z8 p$ c8 m$ k7 N
7 M, V& K  V7 J* t
1、代码提交环节(分支合并管理)

/ [1 r- L+ ^: _) @* s1 `0 y
' v9 x8 E4 x% V4 P+ L
代码管理工具是Gitlab,代码提交过程中最重要的就是对于分支合并的管理(这里又涉及到标准规范的制定),策略示意大致如下:
- t& D6 O, D& E1 `% H) j6 A
1 R1 m& f) |& j; ^
1.png
描述如下:
" S, g2 z/ E* z" v! j) ]; c
% b! r  o! D' n. r3 Q
1、master分支,跟线上应用代码保持同步,也就是说随时可以发布到线上进行部署运行。

( a" ^+ Z% a8 Y- e' A( {
7 Q8 m/ _" j) S. }$ w+ L$ f
2、开发分支,通常以feature/defect来表示,比如开发一个新的需求,就会以当前master为基线,拉一个feature分支出来进行开发,同一个应用可以同时存在多个feature分支并行开发。
5 G" U$ v+ A: x8 j

) o( a9 R% Q- t
3、发布分支,以release表示,在发布时会将所有提交集成的代码commit合并,形成release_环境_时间戳为分支名称,比如release_dev_01_29_20_52_10 就代表该分支是在1月29号20:52:10在dev环境发布时创建的临时发布分支。
% z7 u- M+ V' m3 |( p+ I; G

; M5 X1 K1 P+ L
4、从预发进入线上时,会以当前预发环境的发布分支release_pre_xxxx为基线创建一个release_online分支,作为线上的发布分支,线上发布结束后会把release_online分支合并到master中,这也就保证了发布到线上的代码最终一定会跟master的代码保持一致。

- C% t# k" ~# d$ w' l, j8 i8 I9 l

, v" X3 j0 \% `9 x# J, i3 T: y1 L
2、编译构建环节
; ~8 K; a: g1 F) H  E* G
" s6 `7 q5 I. B$ U! r8 z) L
以上介绍了代码提交环节,下一个环节就是要构建了,以Java为例,构建用到了两个工具,Docker和Maven。Docker主要用来提供一个干净独立的编译环境,Maven作为依赖管理和打包工具。整个构建过程如下:
9 A0 x. P/ ]1 V2 b8 g  g
1.png
' }% E! R- w4 u: K! m# V+ j, H
! e% e9 }# Z+ V" L6 t% x. P5 Y

5 T3 b5 w) q* g( x6 ]
以Java为例,简单描述如下:
" ^( h, T' y0 |) H

) q& }1 }4 n. X1 Y, p$ y
1、首先准备好JDK的编译镜像,这个镜像环境与线上环境保持一致,当有新的构建任务进来时,就创建一个对应的Docker实例进行代码编译;

4 t& U* h# T, w6 n
( }3 C( g; l8 P1 N! n# W( a! h
2、构建任务会根据应用配置管理中的Git地址,将代码clone下来放到指定的编译目录,Docker实例启动后,将编译目录挂在到Docker实例中;

1 K) ~* \3 Q& z! P7 `+ j
* u8 E; ~1 ~2 B, F7 X1 \1 U
3、对于Java应用,在这个Docker实例环境中,就可以执行mvn package命令打包了,最终会生成一个可发布xxx.war的软件包;

2 v9 l4 a0 p9 I( ?7 \. g
3 x# W# U; r( H: r% Q0 A
4、同样的,对于C++,Go、NodeJs,也会准备好类似的编译镜像,不同的是打包时,对于C++是cmake&make,Go就是go install等等,最终也会生成一个可发布的软件包;

+ I! |4 L1 q& v8 m6 O) k( B( M
" y2 b0 m/ y$ H. I/ B
5、构建完成后,Docker实例销毁;
" `: q9 v' Z5 c9 ^

2 j& \9 J& G! z/ B% q) ], G
这里面Docker发挥了一个很大的作用,就是提供了干净的,互不干扰的编译环境,且对于并发打包的情况,Docker快速创建多个并行的实例出来提供编译环境,使用完销毁,这个效率上的优势也是非常大的。
$ N  I8 ^  l+ v. R6 d+ p

6 h, S1 v6 S; x& i, ?
6、关于配置管理,当时设计时考虑比较简单,做法是同时做三个配置文件出来,dev_pom.xml,pre_pom.xml,online_pom.xml,分别对应开发、预发和线上三个不同的环境,根据发布的环境不同,将不同的配置文件替换上去。这样做其实可扩展性不够,对于多机房、多分组的情况会有更多的配置文件创建出来,且对于有敏感信息的配置项保密也不够(不过这些配置都已经加密挪到中间件的配置中心了),更好的办法可以考虑采用阿里早已开源的auto-config方案。
* o& E% c9 r4 K6 V! q6 o: N

& B" ^: m3 {+ X% v9 }( J
3、部署环节
! Q7 g+ S3 D4 V% n' _- S

" G1 x8 ]0 Q$ d  j
以上,代码提交和编译构建完成后,就该进入发布到线上的部署环节了,也就是将代码发布到应用对应IP主机的指定目录下,并且能够优雅的上下线应用服务,貌似很简单,但是,看下图:
- S2 l  l) F3 d  G" \

" s; l* U; f5 p$ K0 c: \
" c3 z0 d0 {* Q/ k6 m* Z
1.png

& o7 M% U( ~. p5 {+ K+ ?5 d8 c
这个过程的环节还是比较多的,这些环节内部又会有很多的细节,所以整个部署环节是很复杂的,下面将整体思路介绍一下:
& Q4 p; N5 y" X$ p$ p

6 m( W7 M. r3 v
0、从CMDB中,拿到应用-主机IP对应关系,然后再从1开始做,后面的过程可以是针对单台机器做,也可以是分批或分组多台机器同时做。(从第0步开始,原因就是上一篇文章里面说的CMDB和应用配置管理的基础要先打好,这个基础没有,下面的环节就无法顺畅地执行);
" }# L) c# K2 V& i

6 I) |3 `* N& d+ q7 [, ^# M6 {
1、检查每台机器上的服务是否正常运行的,如果是正常服务的,说明可以发布,但是服务本身异常,就要记录或跳过了;

; _0 i1 M, @* x: d! s; Q0 Q8 P

1 u0 N( ]! z# c( |9 i, q5 O' }( t
2、下载war包到指定目录(应用的目录信息,应用配置管理又发挥作用了);
- }4 b& H  j& C2 |
3 M3 M5 l* T( i4 u) e
3、将监控关闭,以免服务下线和停止产生误告警;

. e& }1 E4 m6 a! C

5 s" S3 C4 k% F3 j9 V) ?7 z
4、优雅下线,包含RPC服务从LB下线或Web服务从Nginx下线(如果不提供http服务就不涉及),下线动作均通过API接口调用方式实现;

. H6 J: Y8 O# d7 b5 y

8 @2 F/ N4 O' l6 w
5、下线后自动检测无新的流量进入,停止应用,发布代码,然后启动应用(这时应用配置管理里面,启停命令等等就又发挥作用了);
6 O4 u" P; b2 B4 a' K/ L
. ]! i1 o9 t% q+ O/ P
6、优雅上线,进行健康监测,检查进程和应用状态是否正常,如果全部监测通过,开始上线服务,开启监控;

& v* [4 ?" {7 T
( a3 {# W3 w" h1 K
7、分批发布,这里简单提一下,假设我们一个应用有100台主机,这个时候做发布不可能全部一把停掉,这样服务会中断,但是也不能一台台的做,这样效率又太低,所以我们可以折中分批发,比如可以分5批,每批20台,也可以分10批,每批10台,这样既可以保证在线升级,也可以保证效率能够跟的上。当然复杂一点,还有分组分批,或者按步长分批,第一批5台,第二批10台,后面每批20台等等。示例如下:
# A; k0 h! }' I) d* q% J
( H! {, M. O# \+ J/ ~' D. u; j8 }
整个过程下来我们可以看到:

+ E2 P4 `# h; R5 C) v* P
0 b* w4 @+ q( D5 X( E, _
1、基于场景入手,将业务流程梳理细致,做到细分环节,每步自动化,流程串联

8 U/ [9 g, R% r/ @6 L

! f* r# u: ~0 H  Z
2、上篇文章提到的CMDB和应用配置管理的内容,在这一部分无时无处不在发挥着基础的作用

% v1 x+ H& g: L; W9 X9 r
, m0 }& f# \& k
效果:NoOps or DevOps

/ V. C$ j( |& o9 M/ B

( |* G, R+ f0 P# P: K/ E
发布系统上线后,整个过程已经可以做到开发全程自助发布,之前运维还在参与审批,后来审批环节也省略,在发布这个过程中,全流程NoOps。效果如下图所示:
0 s/ S8 {; V+ v# ~8 D% G% h3 \) h

9 M$ V0 |4 A/ `& u/ _( k

, f, |9 J( H% l/ W- G1 v
1.png

' r: p1 ^. O2 R4 J3 _1 r

: s4 l2 d4 N/ h2 R2 _0 A

1 ]- |# i; S; _6 N, W3 |

; P" |& A( K+ W1 g1 H6 ?
- [; Y7 t8 t' N- D3 ~; s

3 e! G" l4 G  t" t8 |2 K  v5 W二、稳定性建设

& Z% ?6 T: P* ?3 t1 k# u, h+ j6 D) L4 f+ C- V  h% w. G. E7 }, `) `0 A

5 d+ i- U  }& }' B8 f
从0到1做完以后,效率问题基本得到解决,但是系统的稳定性这个矛盾马上就凸显出来了。经常遇到的问题是系统慢了,系统宕了,或者是突发流量非常大,会碰到这样那样各种诡异的问题。所以这里分享稳定性建设这方面的内容,主要分为:

; e7 i( k4 t5 i6 O
/ z* W! y$ Z( O, x4 ^- g
1.png

0 Q6 S& Q  J) x3 \  ?: n; h2 ]& S
, u1 ~$ m6 `2 v  ?% \
9 x: `  s4 O) d
主要介绍全链路跟踪系统。首先,为什么要做这个事情?
$ s2 p3 q! I; \7 h+ m  O: Y
1.png

' V$ C  B$ w& x9 r
; Z  z4 ~0 S& `% l. R5 `; I

) k. O, N0 e+ }# y$ ?
这整个的全链路的架构图,在前端的应用上面会做埋点日志,然后通过Kafka放到实时日志集群里面,这样可以快速看到实时的数据,然后对于历史的数据,放到Hadoop里存储。" P, o7 s+ J& _+ e8 Y/ [

4 x5 h) c  H7 y7 l, }
1.png
$ V8 L3 P& ?2 L) I, |6 J7 H3 I2 b
! A) G, U/ G+ }- M

) a$ Y0 F! {3 U# M
这里要介绍关键的技术点,其中最关键的就是TraceID,当一个请求到达接入层,会在接入层生成全局唯一的TraceID,由我们自研的Nginx的module实现。然后后续的后端接口或方法调用都会把这个ID带上,这样每一次调完会成都会输出一条日志,把本次请求花费多长时间,调用哪些接口记录下来,这样通过刚才实时的Storm集群就可以计算出整个的实时请求是怎样的。
  h! ~8 R9 ~( B1 u) \6 ^, e

5 G1 w9 |/ m5 U, ]; T8 j' i! [
这里呼应为什么要做技术架构的标准化,这个TraceID是通过Nginx的module生成的,在ID透传的过程中,每一个请求都会从框架层面把这个ID自动带上,业务层面是不用考虑对这个ID单独做处理的,对于http请求,就是自动带上这个参数,对于RPC调用,通过分布式服务框架来处理的。所以接入层架构、分布式架构的这样一个统一的技术栈标准化之后,落地这样的稳定性方案其实就非常顺利了。假设这个标准不统一,Nginx大家有用原生版本的,有用Openresty的,有用Tengine的,或者直接用了Apache,这个module是没法统一定制的,对于分布式的框架,如果有用dubbo,HSF、Thrift的等等,也会无法统一。

/ U4 {. b* q/ F& w; ^; v# w, L5 h

- |( |! t& F4 k. W, J! `
  z3 u4 x, b2 d3 j7 J2 e) |
1.png

" Q- i7 F0 u+ z" V# D( o* E/ t
! q0 t+ E( j- l6 b2 _: m" F6 X6 r" o
样例:
6 u& b' Y& E) X1 a9 |1 v# M2 {

0 L8 x$ t- o9 l* y" T7 p" v' s" W
1、发现页面慢了到底怎样去做。经常遇到的一个情况就是页面慢了或者是某个页面慢了,根据问题反馈的时间点,可以进行筛选。这个时间段内,请求超过1秒的有哪些,筛选出来后,以TraceId为入口,那接下来整个请求的过程就展示出来了。从这个界面上我们可以很明显的看到,整个请求花了1.5秒,但是下面红色的地方有一个评价的服务,单这个服务接口的调用自己花了1.3秒,肯定是这个服务出了问题,这时候可以大大缩短问题范围的缩小,根据这个IP,直接到这台主机上检查发生了什么问题,后面就可以进入到详细的问题定位阶段。

! S0 h* Z7 Y! [4 [& W% v7 o

. {3 I* h( ?" ~$ C9 k
1.png

- }+ Z9 Y) T1 R  s; @; \  z2 z2 k
2、调用合理性的问题。一次请求下来耗时非常长,但是看每一次的接口调用RT又是非常短,问题出在什么地方。比如下面这个这个请求花了1.8秒,但是每次请求都是了正常的,不像刚才一样,有一个请求自己占了1.3秒。这时候通过全链路可以看到,这个请求在频繁的重复的调用一个Cache接口,很显然在调用合理性上出现了问题。这时就可以把问题反馈给开发,检查下代码的逻辑,为什么这么调用,是不是应该优化下调用方式。
$ w+ _% }* x: v
; A4 o. I- o- d# {/ Z; C
1.png
6 L1 h0 e# ~* t) J) J$ i! B
3、链路分析。一个应用提供出去以后,一个应用又包括了很多服务化的接口,而应用仅仅是成百上千应用当中的一个,这当中有哪些应用依赖了我,然后我又依赖哪些应用的哪些服务化接口,这些应有服务的质量到底怎样等等,这就是一个服务治理的问题了。所以做了这样的一个链路依赖的整个分析,从这里里面可以看到我提供服务的运行情况,有哪些应用是依赖我的,我又依赖了哪些应用。

# q& e- A: x% H, ?1 |+ l

: |$ u8 e# D6 }
1.png

5 {# F$ [, Y3 _" x
链路分析还有一个非常关键的作用,稳定性中有一个限流降级系统。关键点就是通过链路分析提炼出核心应用(交易链路)和非核心应用,对于核心应用优先保障,配置的并发数和优先级就高一些,非核心应用就会小一些,如果出现流量特别大的情况,就会考虑把非核心应用降级或限流掉,优先保障核心应用的调用和运行。
' Y1 N7 R8 {$ ]) T8 A: E
! W6 n) ^) C3 w0 K& Z* U& h( R) u/ C
举个简单例子,比如交易相关的购物车下单,如果下单应用依赖了我的服务,那它的优先级就会相对较高,毕竟下单后会马上产生收入,同时可能还有商品评价也依赖我的服务,但这个与交易无关的,那它的优先级就低一些。当我的服务和应用在峰值时(比如大促),策略就是要优先保证交易的应用,其他非核心的应用就降级降掉,或者是并发数限掉,宁可失败但是不可以影响到我整个交易的链路。所以它非常关键的价值就在这里,能够帮助我们梳理清楚核心和非核心的应用,不同的场景采取不同的稳定性保障策略。
; R$ U9 `2 n- R, W( `/ w( i

' L8 q: P; g; I2 c
原创:赵成
6 K8 v! I" P9 E; r- C" o
4 U3 m3 k2 j! s' B

* ]2 y2 b5 S0 r

本版积分规则

选择云运维时代的王牌讲师-长河老师,助你轻松入门ITIL Foundation培训课程

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1|网站地图

Baidu

GMT+8, 2019-4-25 00:35 , Processed in 0.235589 second(s), 29 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表