请选择 进入手机版 | 继续访问电脑版

IT运维管理,ITIL,ITSS,ITSM,ISO20000-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

艾拓先锋
搜索
查看: 342|回复: 0

金融行业-KeyBank银行DevOps转型案例

[复制链接]
来自- 广东广州

参加活动:0

组织活动:0

发表于 2018-11-15 15:41:09 | 显示全部楼层 |阅读模式 来自- 广东广州
本帖最后由 adminlily 于 2018-11-15 15:42 编辑 ' {! \/ o' p) U  E* O, u( P
4 V. Y) H+ a, J. B  D8 _* G
本文根据John Rzeszotarski和Chris McFee在DOES16(DevOps企业峰会16)的演讲《Banking on DevOps》整理而成。
+ s8 [8 j- o# f( i) F9 |% U# q/ Y
+ K. z6 V  z( I  s& x3 Q
背景:KeyBank是北美15家最大的银行之一,有超过190年的历史,主要服务于企业客户。总资产大约为940亿美元。Keybank银行及其子公司,提供了一系列的零售和商业银行服务,包括商业银行贷款,投资管理,金融,投资理财产品,以及个人服务等。 经过多年的发展和并购,该金融机构的IT系统变得异常复杂。

" C4 n1 _) E8 c8 C  y! d
6 @: u& ?9 r; l2 }( L0 I
灾难:2年前KeyBank经历了一次严重的系统停机事件,在修复该事件的过程中,由于对系统复杂度理解不足,导致更大的服务终止问题。该事件引起KeyBank高层高度重视。这也说明没有痛点企业很难下决心解决问题。
7 L; Y; h) G& j* C1 _( a* w
" z& N% N- \* ]
首先,KeyBank成立了一个4个人的资深技术小组(START),负责了解KeyBank采用的系统复杂度到底是怎么样的。

" x" @/ i* Z  M

5 ]9 X" \0 _9 M" |" E8 b
该小组历经三个多月的时间,把银行每个主要交易事务所涉及到的硬件(服务器,网络)和软件服务都绘制到一个图示中。结果发现历经多年发展,KeyBank维护的IT系统的复杂度着实惊人:仅仅一个用户登陆(Login)行为,就要经历190个网络跃点(见下图)
! j/ M5 W0 S/ q2 [# e7 m
; f9 }4 Z  c& P* ]; d
0?wx_fmt=png.jpg

: g5 b  s' m0 |% B" Z$ Z4 }7 F; Z& V

. d7 {* w  x" N+ R# I
一个登陆动作会历经190个网络跃点
, i9 Q7 \+ y  X0 f- I
2 y4 ]% r1 Q( ~( f
其它发现的问题主要包括:
4 b( u, N& ?. s! V: T  K
4 ~4 p; _) y6 V. e) G
·     缺少统一配置(服务器,网络等)
( j4 @$ v+ N* ^3 t/ A, ^% y
1 I( g6 L, R* {! N9 {
·     缺少自动化
+ ~% X# h+ i; r9 `
+ A4 q3 j6 c0 [% A8 C& f
·     团队之间职责不清、缺少沟通

9 v8 r- b* a& L/ o' }* H/ z0 |
- c( i  p. m; s8 J
·     不同环境迁入导致的高额技术债
" F" j) r% c' _) \% ^. c3 h: `* y  j
8 }* ]  A) [: S. a
这些问题使大家意识到要想类似(或更严重)的服务停止事件不再发生,需要从根本上解决这些问题。从此KeyBank开始了DevOps之旅。

7 V2 x' Y  |3 g* r
* [% ]3 e! g1 K
当然,首先这个小组要说服高层接受DevOps理念。他们用数据来说服老板们(下图):

. a7 d. s* R% V- b

* J7 }: v# E  m- |
0?wx_fmt=png.jpg

: R$ {  ?4 C) I6 x

/ G" j+ q4 @, A
给公司高层的DevOps好处分析
; L- N9 i7 |1 R
5 r2 A9 @/ l/ R; X. e
基本上就是跟老板说,通过实践DevOps,可以:
) k& E7 B  d- U1 q

9 O- X8 w: B+ Y' [8 ^1 x! F( ^
·     优化50%的测试资源(想说可以减掉50%的人工吧??)

( [% H% r$ T. I9 D9 F

1 n+ Q7 J* n- U' E
·     优化40%的发布和代码管理工作

, x9 G; x+ I% b/ A9 L% t
  v) Q- m% N/ l' s4 U5 A/ q
·     优化20%的基础设施工程师
) g9 U4 X- c: H  P( U) j

: n; q# z! o( W5 `+ V# B
·     降低85%的产品上线周期(测设、安全、发布)!

; G5 t7 ^  k+ `( i  l

, v! n9 o- j$ P0 O
·     降低30%的新产品Defects!

& h9 X! S2 z2 q# M1 X
; t+ Z- p1 E% q: c
·     再降低50%的部署失败率!
5 \0 E1 k/ |% i/ `/ U4 I0 i

; k4 k" R/ D& W4 x# r9 A; d
(这几个哥们够拼的,把自己都逼上绝路了)

- e: V) j% p7 E2 k' C4 \' V

9 _; D2 C8 h; y$ m' [' n/ G
KeyBank的高层看了还是很心动的,但是搞DevOps要花钱,再增加IT预算也不现实(刚刚出了事故)。最后他们达成一致:
, ~6 u; e8 N) c* l
# m$ J" y+ T2 s4 _, x6 Z9 s4 `$ W3 d
·     老板自掏腰包搞了个天使投资(估计是从现有IT预算里挤出来的)

) L0 D4 i, _; p; k% y' V7 ?3 y

/ u* B1 |( |: H4 Q- w2 ^; W
·     先成立一个4个人的DevOps小组(后面会说这个小组做什么),后期发展到10~12个人的规模
7 H+ @5 u+ v- h1 \6 W( r% a
) i6 ^$ G1 B% \, |, ~0 f9 \( I
·     先找一个业务价值大的项目开始(网上银行)实践
& B1 o+ a  d1 h. C, _7 x
4 I( [5 z; \, w4 ]
这个4人DevOps小组的重点攻关方向只有三个:容器,自动化测试,持续交付。

. ?9 V# ?. O$ I7 H* v; C9 C8 Y$ ?5 G

$ }* _$ t1 D( m* y1 P
关于这三个重点方向的确定,是KeyBank对该企业硬件和配置环境复杂度,测试质量和低测试效率(顺便说下,他们之前建了很多外包测试中心),还有自动化程度不足的深思熟虑的结果。当然对很多类似的企业也有很多参考价值。

8 g6 }* _; F" f& P% }1 S$ L- b: X

) ^+ @  ?0 s( ~
0?wx_fmt=png.jpg
0 W6 b- q% v9 U: W, L+ U
1 w* f# m# v2 T! q
KeyBank的三个DevOps重点方向

; Y9 Q6 x! n* Y% x7 A2 R

2 A& Z! {: x$ Y* P: m3 ]: r+ \
容器使得KeyBank可以采用Immutable Server的策略,大大简化了环境管理的复杂度。另外在Docker之上,他们也采用Kubernetes来保证高可用性,热部署,和环境的自我修复。两位倾情推荐!
% v" J) S6 O+ W+ q6 O" y' o

" f' y- a* L4 [# U/ {2 M
2 I5 D/ ^; S( I- l& t/ ^1 q
0?wx_fmt=png.jpg
& v5 {% @. F( z2 \
* F& v+ g- y* V* z/ Z7 `
通过Kubernetes把Docker连接和管理起来

5 w$ h4 u$ O3 ^  Y
' S4 I1 z! `2 F8 O- }& K
两位继续谈到了自动化测试的重要性,也提到了转换到自动化测试需要比较长的培训和试错时间。但一切都是值得的。现在他们每个Build要运行超过5,000个测试,而执行时间只有15分钟!这在手工测试时代是不可想象的。
% E& y7 f) f* Y4 j+ m! u# V

: s+ m2 K; q4 e
接下来是持续交付。持续交付使得整个交付周期形成一个无缝的流,也让每个不同的部门/角色都能协同在一起工作。业务现在分析人员也开始写Gherkin代码,而运维人员则写基础设施即代码的脚本。
4 Q2 \% e% U: P' V! ~2 y

0 t3 k3 n! Z' h- h9 T8 W% x
经过一年半的努力(并不算长),KeyBank达成了以前不敢想象的IT能力:
8 |1 u% T; b' ^3 n2 ^+ A
/ e* E2 f* D  h! @  q
比如测试执行时间,以前的测试84个场景要执行1200小时,而新的自动化测试覆盖195个场景,只需要12分钟。
- I8 r, I( G5 w3 A$ r( R' Q* l5 h4 b* J

6 ~/ {# u6 q/ i7 v+ Y/ d) S$ e
最令他们骄傲的是,2016年KeyBank收购了First Niagara,一下子网上交易量暴增。而即使在并购后最初上线运行的前4天的高峰期,他们还热部署了10个发布到,结果没发现一个产品缺陷!更多见下图。
( M& u4 R# ~7 `9 X& `
1 k$ `9 \/ W9 i, e& r. x8 a# b
0?wx_fmt=png.jpg
# L% S; W+ q( q( a4 q

* t1 Q" R2 ?# J. ]: T! V% I
只用了一年半时间,KeyBank的IT就达到了非常惊人的结果
3 V0 A" a6 O4 _

1 a# r; u! B5 E. E+ g2 x9 D
以上就是KeyBank的DevOps转型简介。有兴趣的读者可以访问https://www.youtube.com/watch?v=xgSkva_Eq5s观看完整视频(需翻墙)。

' Z" P# Q& R% O
3 x5 c, ]# p2 V8 H
最后一张图送给工具控们:

) U3 @# V9 }: X2 d

; ~3 c8 x: |8 k; g+ c8 `# k7 ?
0?wx_fmt=png.jpg
KeyBank 的DevOps工具链

$ N1 Y- z2 K  O' c4 J9 Z$ r

/ c, V9 ~2 j3 B/ M' o  t  U# A8 g
$ Z0 i/ }+ X) c  n
原创:DevOps咖啡馆

# N2 E$ q" w$ w
: j' V+ {0 y$ u
2 o; r% f* Q; J$ h, ?4 C- p

/ m" b9 I0 ]( t
) t- B6 s3 g/ ?4 E; e0 p2 R4 o, {3 b$ Z4 s

7 m/ S. e. m" m6 d8 ?4 R
7 `. I' X0 v% R) }; S# x4 X$ U
! l, _: v! ^3 ^' s' p

本版积分规则

选择云运维时代的王牌讲师-长河老师,助你轻松入门ITIL Foundation培训课程

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1|网站地图

Baidu

GMT+8, 2019-4-25 00:18 , Processed in 0.256472 second(s), 29 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表