请选择 进入手机版 | 继续访问电脑版

IT运维管理,ITIL,ITSS,ITSM,ISO20000-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

艾拓先锋
搜索
查看: 233|回复: 0

金融行业-KeyBank银行DevOps转型案例

[复制链接]
来自- 广东广州

参加活动:0

组织活动:0

发表于 2018-11-15 15:41:09 | 显示全部楼层 |阅读模式 来自- 广东广州
本帖最后由 adminlily 于 2018-11-15 15:42 编辑 . [. @! {! u- x

9 a) z! c5 ^% M- K7 Q2 O
本文根据John Rzeszotarski和Chris McFee在DOES16(DevOps企业峰会16)的演讲《Banking on DevOps》整理而成。
; K! g4 O/ |4 N7 ]4 q( x! T. M
* b% p; b3 N6 b5 J" ], s! o
背景:KeyBank是北美15家最大的银行之一,有超过190年的历史,主要服务于企业客户。总资产大约为940亿美元。Keybank银行及其子公司,提供了一系列的零售和商业银行服务,包括商业银行贷款,投资管理,金融,投资理财产品,以及个人服务等。 经过多年的发展和并购,该金融机构的IT系统变得异常复杂。

7 h' P7 S/ F  K5 E

4 @5 v9 Z) {0 o  Q, x) }/ v. C
灾难:2年前KeyBank经历了一次严重的系统停机事件,在修复该事件的过程中,由于对系统复杂度理解不足,导致更大的服务终止问题。该事件引起KeyBank高层高度重视。这也说明没有痛点企业很难下决心解决问题。
" {4 d8 x; ]# ?0 b
4 }; b2 C  i9 i! P$ _) Z. A$ H' {
首先,KeyBank成立了一个4个人的资深技术小组(START),负责了解KeyBank采用的系统复杂度到底是怎么样的。

' c; [. H6 K: q' I/ d

* ^/ D* E* I4 v& R% B. o4 m
该小组历经三个多月的时间,把银行每个主要交易事务所涉及到的硬件(服务器,网络)和软件服务都绘制到一个图示中。结果发现历经多年发展,KeyBank维护的IT系统的复杂度着实惊人:仅仅一个用户登陆(Login)行为,就要经历190个网络跃点(见下图)
9 P1 [! H$ f: s3 n

. `* e; ^# Q; `
0?wx_fmt=png.jpg

! ?1 {. W/ d& ]  |1 y# |6 h% f

2 X" S2 Z$ Q! a3 z; W
一个登陆动作会历经190个网络跃点

4 x# F9 y7 Y% K! b+ t
5 s5 `& o4 j* q. j! o* G, d3 V
其它发现的问题主要包括:
) e6 M! s* ^9 u8 R% Q, N  h

# |3 Q: T/ a/ e) y0 i
·     缺少统一配置(服务器,网络等)
  U# P, l- I+ U8 L+ e

8 {5 d  [2 v. \. |: S& [& _# d7 U
·     缺少自动化

/ J7 s" R. t6 T: ^5 l+ D& _

7 W- O8 j3 L" x+ p* r+ M3 l* m
·     团队之间职责不清、缺少沟通
* `3 k# Q- S5 D/ c9 _

2 C2 H( x; V7 B* W# q
·     不同环境迁入导致的高额技术债
& y1 R' \) u0 M5 {. I8 H. H; H
9 m; d, N/ n! e7 _2 j3 K
这些问题使大家意识到要想类似(或更严重)的服务停止事件不再发生,需要从根本上解决这些问题。从此KeyBank开始了DevOps之旅。

( v2 C8 R5 K5 T; `8 n1 L3 Z
% Y7 R- A: r7 [) w' O$ K
当然,首先这个小组要说服高层接受DevOps理念。他们用数据来说服老板们(下图):
9 y( \. E) o/ v: z- t: [8 g& `

) b3 F, y& @$ ^$ ?5 j
0?wx_fmt=png.jpg

2 y: K0 U$ O" _6 f  N
' _5 L: U0 b3 _" \; s# {: K- i) M
给公司高层的DevOps好处分析
8 V! q  |9 L$ ?0 D

/ a9 A/ [$ H5 R  u: h; R5 \! i* @
基本上就是跟老板说,通过实践DevOps,可以:
8 u. |: h. f* O: s) W
: }( }% \' \4 X) @) E) }* m
·     优化50%的测试资源(想说可以减掉50%的人工吧??)
; e- }  P# D* m4 ?
; _% r# W! |5 B9 o( y) C
·     优化40%的发布和代码管理工作
+ B: S! {) x2 p0 ?: S) b
% U6 H$ U6 y9 ^) C3 S& c
·     优化20%的基础设施工程师
! I# L2 C7 j0 B5 E7 q  S: P

+ ^2 T8 K1 D  n. G5 d
·     降低85%的产品上线周期(测设、安全、发布)!

- Y: J  X3 Y" r6 f+ C

, Y- @4 e6 Q9 w: w  G) k
·     降低30%的新产品Defects!
2 A* b* c9 p% q: M5 `

" K) k# ~3 ~& ]. p$ _* m
·     再降低50%的部署失败率!
2 v  Y. w% \. V* h. {5 j+ y
. e$ B$ ]! L) t- M! C6 z3 |
(这几个哥们够拼的,把自己都逼上绝路了)

' J9 T3 e4 r" c0 ]2 A/ R7 ^# H

* \1 t, ?% n) o! |1 E3 Q
KeyBank的高层看了还是很心动的,但是搞DevOps要花钱,再增加IT预算也不现实(刚刚出了事故)。最后他们达成一致:
2 H3 V, O5 x, A: r
0 h0 ^1 c8 T  g4 N& Y+ j
·     老板自掏腰包搞了个天使投资(估计是从现有IT预算里挤出来的)
$ K' Q+ M  n$ a1 Q) Y; ^8 G
( V9 y9 F, O- Q, r& Y( T2 h
·     先成立一个4个人的DevOps小组(后面会说这个小组做什么),后期发展到10~12个人的规模
3 s, k9 n- `& t8 t9 H) t/ e; N

- F/ F2 ^& O9 y* c
·     先找一个业务价值大的项目开始(网上银行)实践
! M; `7 k8 a' K9 ^5 X. J6 R( ?

6 M7 ^' b2 m' G  D8 R2 @8 {
这个4人DevOps小组的重点攻关方向只有三个:容器,自动化测试,持续交付。
% X" _2 u! }8 H) S6 q$ f2 b3 H

2 V, s& F" z3 y& V. T# J& W
关于这三个重点方向的确定,是KeyBank对该企业硬件和配置环境复杂度,测试质量和低测试效率(顺便说下,他们之前建了很多外包测试中心),还有自动化程度不足的深思熟虑的结果。当然对很多类似的企业也有很多参考价值。
4 g) I. i4 _/ V1 ~! V

$ x  R5 p  H! m" O$ s
0?wx_fmt=png.jpg

3 q$ [* A+ ~. h5 u
& ~# p) r' `; X
KeyBank的三个DevOps重点方向

0 `$ N2 S2 T/ j+ v4 p! R

7 j* L) c, `, K  ]7 P
容器使得KeyBank可以采用Immutable Server的策略,大大简化了环境管理的复杂度。另外在Docker之上,他们也采用Kubernetes来保证高可用性,热部署,和环境的自我修复。两位倾情推荐!

; o* o3 n% h8 o/ O

4 ^4 _4 e" ?: R* a# v
" ^- F8 I: U. `' {* }" ~
0?wx_fmt=png.jpg

- l9 G2 E% o9 A

; Y, ]6 g3 X! ~$ U3 A
通过Kubernetes把Docker连接和管理起来

5 L' Z% _( B1 \" e

! v, m; E# ~2 W6 T) P, V
两位继续谈到了自动化测试的重要性,也提到了转换到自动化测试需要比较长的培训和试错时间。但一切都是值得的。现在他们每个Build要运行超过5,000个测试,而执行时间只有15分钟!这在手工测试时代是不可想象的。
0 b/ n/ P' \& q! p

* U$ b8 X2 E3 t: Z9 n% z6 E7 _. a
接下来是持续交付。持续交付使得整个交付周期形成一个无缝的流,也让每个不同的部门/角色都能协同在一起工作。业务现在分析人员也开始写Gherkin代码,而运维人员则写基础设施即代码的脚本。

- _8 T: \( j3 \% J& B/ c
, G9 [% v% F! I9 R7 U3 X+ l
经过一年半的努力(并不算长),KeyBank达成了以前不敢想象的IT能力:

5 h& d* q; t/ I% _! ~3 N0 F+ i
3 X% r! b" q7 O2 }
比如测试执行时间,以前的测试84个场景要执行1200小时,而新的自动化测试覆盖195个场景,只需要12分钟。
% L0 s) o& L  I, O9 D9 c
; b& b+ F1 M4 z% T
最令他们骄傲的是,2016年KeyBank收购了First Niagara,一下子网上交易量暴增。而即使在并购后最初上线运行的前4天的高峰期,他们还热部署了10个发布到,结果没发现一个产品缺陷!更多见下图。

3 m: Z, ^6 m: k" I
" [3 b+ _$ u2 ~6 {* J+ F
0?wx_fmt=png.jpg

8 [; e- }% T  H
3 V7 h* ], ^) @; m" l3 w- U
只用了一年半时间,KeyBank的IT就达到了非常惊人的结果

" p# ~! C2 Z& A) v7 M" A

1 L$ B7 @0 }+ ~( v
以上就是KeyBank的DevOps转型简介。有兴趣的读者可以访问https://www.youtube.com/watch?v=xgSkva_Eq5s观看完整视频(需翻墙)。
( k8 t" t5 B; ]" p3 v# l+ j

1 y, O, u% z5 X* I0 q
最后一张图送给工具控们:

5 h0 B5 @. ?( y4 E0 L. G
+ ]& @% h1 C# L/ y! g- X
0?wx_fmt=png.jpg
KeyBank 的DevOps工具链

/ a" v2 p1 f7 d+ m# p. I! K) ]
' s+ n0 H4 u5 n
% I. M/ t  x1 R
原创:DevOps咖啡馆

; f2 Q( z7 N5 f1 Z. ?
! U6 `; H' A" e
+ o( s# Q: t+ @/ k/ Z3 i
8 n! [* ~% Q3 G0 u; v' N6 b6 x
$ D' S  G4 y; a2 |. y
) @  [8 [( G3 i

# L; r9 @- w0 V( t- V

( r) P+ E4 l3 @# E- S/ c, _
" t" d. p- H$ n& |

本版积分规则

选择云运维时代的王牌讲师-长河老师,助你轻松入门ITIL Foundation培训课程

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1|网站地图

Baidu

GMT+8, 2019-2-24 13:42 , Processed in 0.212652 second(s), 31 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表