请选择 进入手机版 | 继续访问电脑版

IT运维管理,ITIL,ITSS,ITSM,ISO20000-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

艾拓先锋
搜索
查看: 77|回复: 0

金融行业-KeyBank银行DevOps转型案例

[复制链接]
来自- 广东广州

参加活动:0

组织活动:0

发表于 2018-11-15 15:41:09 | 显示全部楼层 |阅读模式 来自- 广东广州
本帖最后由 adminlily 于 2018-11-15 15:42 编辑
' u- ^4 M& a& r3 L7 S8 u; e' V) L/ ~, I6 K8 K# P
本文根据John Rzeszotarski和Chris McFee在DOES16(DevOps企业峰会16)的演讲《Banking on DevOps》整理而成。

7 p/ m/ V# U7 l2 f  G8 s  b
4 a3 H- x( v, }) F2 ]: K7 R
背景:KeyBank是北美15家最大的银行之一,有超过190年的历史,主要服务于企业客户。总资产大约为940亿美元。Keybank银行及其子公司,提供了一系列的零售和商业银行服务,包括商业银行贷款,投资管理,金融,投资理财产品,以及个人服务等。 经过多年的发展和并购,该金融机构的IT系统变得异常复杂。

' ?8 b2 t' K: a; p7 A

1 N% Q5 P$ Z7 ~( {) `
灾难:2年前KeyBank经历了一次严重的系统停机事件,在修复该事件的过程中,由于对系统复杂度理解不足,导致更大的服务终止问题。该事件引起KeyBank高层高度重视。这也说明没有痛点企业很难下决心解决问题。

) j* K7 ~7 N- [1 ?
/ u7 ~8 X, H) B! J5 K
首先,KeyBank成立了一个4个人的资深技术小组(START),负责了解KeyBank采用的系统复杂度到底是怎么样的。
  Y% b& N& ~( a6 p* f+ m3 P1 @3 a

" P! S7 y$ x4 u3 ?, |+ U
该小组历经三个多月的时间,把银行每个主要交易事务所涉及到的硬件(服务器,网络)和软件服务都绘制到一个图示中。结果发现历经多年发展,KeyBank维护的IT系统的复杂度着实惊人:仅仅一个用户登陆(Login)行为,就要经历190个网络跃点(见下图)

, e$ l+ o  K) X% _8 ?, v6 {
* u( y( m* h4 i/ ]; L% {, Z
0?wx_fmt=png.jpg
; G$ a8 f: V+ V: u/ l. g& ]

- l+ ?$ R) h6 ?! q/ @
一个登陆动作会历经190个网络跃点

$ {$ v  ]8 n2 l- H' _
1 P3 y( L5 {. H  V3 F; Y* u
其它发现的问题主要包括:

8 e1 L7 s; s- d* K" v2 P. u) J7 g

5 X& G0 `( K0 G8 v! G) d# z
·     缺少统一配置(服务器,网络等)

, @# V  O# c+ p' ~) Q' U- b  X; {
% K$ z- }6 O1 u+ }) ^
·     缺少自动化

  _8 ^0 r. Z( h7 N

; T+ Z! f  i6 Y, D  `3 d( C
·     团队之间职责不清、缺少沟通
. S$ e8 K$ X/ h* G

7 l2 t' D% R! V/ D- G' K0 s3 o% z! d
·     不同环境迁入导致的高额技术债
& z9 I& p/ Q$ f8 P

  t3 Z/ _" f5 Q- ]9 ]/ a
这些问题使大家意识到要想类似(或更严重)的服务停止事件不再发生,需要从根本上解决这些问题。从此KeyBank开始了DevOps之旅。
1 t: Q# q# b( s7 v0 h+ ^

# d4 n1 t: I# r1 |
当然,首先这个小组要说服高层接受DevOps理念。他们用数据来说服老板们(下图):
  {2 b5 Q, C0 O! ~. K3 `

1 i1 c  d9 Y5 u& v* I" @
0?wx_fmt=png.jpg

* u6 [. y" g, b9 A; R6 `

7 e: a: C  l% p: i6 d% V) a, E9 X
给公司高层的DevOps好处分析

6 p3 c' E0 j+ _+ e- j, g

' y7 b7 M, n5 e9 x! J
基本上就是跟老板说,通过实践DevOps,可以:

: N1 a# N4 k& a$ o

- r5 T5 @  Z4 P" i# ~
·     优化50%的测试资源(想说可以减掉50%的人工吧??)

& j5 `/ x0 e" r

) M9 {$ b4 m9 t  _& S7 Q/ R* o
·     优化40%的发布和代码管理工作

. j/ S. c( f3 e3 t: j- d% F% h
, n1 h5 O9 _5 z! d
·     优化20%的基础设施工程师

8 t; B, K! g4 K% [

# `& g9 L4 T. f: c4 r
·     降低85%的产品上线周期(测设、安全、发布)!

; L/ r" x- F, u; g% V% ^* T* d

, V7 E/ d& ~/ k+ g/ E6 h  J  q
·     降低30%的新产品Defects!

, e1 _; Q! c' u
3 Y! M; `% I4 K, G# l
·     再降低50%的部署失败率!
# E5 v- Q: k7 H9 Q
8 m0 j! W8 F3 i/ i8 R
(这几个哥们够拼的,把自己都逼上绝路了)

) J4 z* `( R/ M  t# J6 k

5 n3 K' W- \- ~" q% H% D
KeyBank的高层看了还是很心动的,但是搞DevOps要花钱,再增加IT预算也不现实(刚刚出了事故)。最后他们达成一致:

, K7 y4 y% y9 S. \0 Z% z) o
7 _& f5 g& k8 F. C/ }8 s$ l: A: b
·     老板自掏腰包搞了个天使投资(估计是从现有IT预算里挤出来的)

9 m: \3 V. w* u6 U

4 j( X/ Q' t) ^! ~8 [
·     先成立一个4个人的DevOps小组(后面会说这个小组做什么),后期发展到10~12个人的规模

: J: D0 A) v7 o$ Z- M/ S

6 _+ S7 H: f, `6 w% F8 e  {
·     先找一个业务价值大的项目开始(网上银行)实践

9 y0 V/ D8 z4 E1 e: V# b9 ]
+ J- A* U" f3 X' e+ r0 c* S
这个4人DevOps小组的重点攻关方向只有三个:容器,自动化测试,持续交付。
; B" {$ S5 {! Z7 C( ~& C0 C! }7 t
& o: Z* I! @: v5 Y) q; M
关于这三个重点方向的确定,是KeyBank对该企业硬件和配置环境复杂度,测试质量和低测试效率(顺便说下,他们之前建了很多外包测试中心),还有自动化程度不足的深思熟虑的结果。当然对很多类似的企业也有很多参考价值。
. c% T0 O5 d0 e* O! a3 A

) K" K+ M9 j  m0 g) p5 j  r+ p
0?wx_fmt=png.jpg

' g2 i. Z* F, f

* {% Q  k4 }& {+ |) q% T" q
KeyBank的三个DevOps重点方向
, b( k" u* Q. U) x
/ @  S4 X/ k3 T. K9 ~' B
容器使得KeyBank可以采用Immutable Server的策略,大大简化了环境管理的复杂度。另外在Docker之上,他们也采用Kubernetes来保证高可用性,热部署,和环境的自我修复。两位倾情推荐!

4 x& \0 q# o1 u
1 V5 Y+ f- g; r# r: ^) v# C

* ^( V5 _* ?3 A& c" [
0?wx_fmt=png.jpg
  X% i( S7 i3 v" N2 W
8 o% X# a* U: u* P$ B
通过Kubernetes把Docker连接和管理起来

/ s* \: b$ m4 x! }7 J9 p+ V( Q  j
! v2 F1 K  Y8 B7 m4 _
两位继续谈到了自动化测试的重要性,也提到了转换到自动化测试需要比较长的培训和试错时间。但一切都是值得的。现在他们每个Build要运行超过5,000个测试,而执行时间只有15分钟!这在手工测试时代是不可想象的。
9 ]' v0 S7 w' O7 M( o

& [7 [0 A! h4 ^5 A% P! R3 S4 b  _
接下来是持续交付。持续交付使得整个交付周期形成一个无缝的流,也让每个不同的部门/角色都能协同在一起工作。业务现在分析人员也开始写Gherkin代码,而运维人员则写基础设施即代码的脚本。
* e+ L9 n0 @9 G: X( e' a. K$ A! u: n

! G) u! d- R" o8 q6 d% A
经过一年半的努力(并不算长),KeyBank达成了以前不敢想象的IT能力:

4 p7 |$ d7 F( s" j/ J! a
, w5 A% r: ?( O9 ^" @
比如测试执行时间,以前的测试84个场景要执行1200小时,而新的自动化测试覆盖195个场景,只需要12分钟。
3 G' w$ e! W% e" E
% J3 d# G7 w4 t" Y( f
最令他们骄傲的是,2016年KeyBank收购了First Niagara,一下子网上交易量暴增。而即使在并购后最初上线运行的前4天的高峰期,他们还热部署了10个发布到,结果没发现一个产品缺陷!更多见下图。

2 _! g) U1 k; }
! O" r. {# |" V
0?wx_fmt=png.jpg
( l+ s: M1 k8 s( \6 {, ]* {7 d& F
$ R9 m( t) s* }
只用了一年半时间,KeyBank的IT就达到了非常惊人的结果

9 t9 q$ d5 j( S( K) ]9 p2 {& C  @

  d1 f4 O" u2 J4 W* m7 J  o6 ^3 S, Y
以上就是KeyBank的DevOps转型简介。有兴趣的读者可以访问https://www.youtube.com/watch?v=xgSkva_Eq5s观看完整视频(需翻墙)。
# a6 l" i4 g5 \. I/ Y7 v- U6 j( R+ ?

7 D7 K/ |+ M' R
最后一张图送给工具控们:
4 y' X5 W/ z7 i

, w4 x" N1 {2 c5 b  ^
0?wx_fmt=png.jpg
KeyBank 的DevOps工具链
$ `4 C( L1 M' v' K. w8 {
1 W! i5 X: |$ j; k4 c9 r
' M7 O" D0 c- E: A5 q: @3 _
原创:DevOps咖啡馆
" B' p7 C; o9 r9 l5 E0 x1 g
+ Q0 C/ L8 E5 S: N% n% G5 {; z

# n: k: B( O6 G: q+ Q+ ^# w7 o; v' F
7 c# P) _( l7 F. m5 U7 c" h

" u' w2 E2 E! ^6 |& a1 ?, d! X
% r; \' _3 }+ ^5 s& N* I- o

+ d$ v8 A  x# O  K, F5 E8 J
$ E. s/ ^" |8 i4 f

本版积分规则

选择云运维时代的王牌讲师-长河老师,助你轻松入门ITIL Foundation培训课程

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1|网站地图

Baidu

GMT+8, 2018-12-15 19:55 , Processed in 0.224986 second(s), 40 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表