请选择 进入手机版 | 继续访问电脑版

ITIL,DevOps,ITSS,ITSM,IT运维管理-艾拓先锋网

 找回密码
 

扫描二维码登录本站

QQ登录

只需一步,快速开始

查看: 2230|回复: 0

金融行业-KeyBank银行DevOps转型案例

[复制链接]
发表于 2018-11-15 15:41:09 | 显示全部楼层 |阅读模式
本帖最后由 adminlily 于 2018-11-15 15:42 编辑 # E2 l$ O+ P6 R1 R

$ ^8 t7 \  y7 i" |* M
本文根据John Rzeszotarski和Chris McFee在DOES16(DevOps企业峰会16)的演讲《Banking on DevOps》整理而成。

/ s, d7 Q* o1 |( ]- j1 y

' u$ Z9 {. c" g5 P( p
背景:KeyBank是北美15家最大的银行之一,有超过190年的历史,主要服务于企业客户。总资产大约为940亿美元。Keybank银行及其子公司,提供了一系列的零售和商业银行服务,包括商业银行贷款,投资管理,金融,投资理财产品,以及个人服务等。 经过多年的发展和并购,该金融机构的IT系统变得异常复杂。
3 e: ]5 d' B7 A2 r+ u

& l. V) I$ r: \$ T: A
灾难:2年前KeyBank经历了一次严重的系统停机事件,在修复该事件的过程中,由于对系统复杂度理解不足,导致更大的服务终止问题。该事件引起KeyBank高层高度重视。这也说明没有痛点企业很难下决心解决问题。

$ T" B- N' T# b! H& s0 ~
- c6 @4 ~$ x7 F6 Q. S
首先,KeyBank成立了一个4个人的资深技术小组(START),负责了解KeyBank采用的系统复杂度到底是怎么样的。
: l$ J6 L- K6 q& _8 h
0 d% k) @0 V7 k- E
该小组历经三个多月的时间,把银行每个主要交易事务所涉及到的硬件(服务器,网络)和软件服务都绘制到一个图示中。结果发现历经多年发展,KeyBank维护的IT系统的复杂度着实惊人:仅仅一个用户登陆(Login)行为,就要经历190个网络跃点(见下图)
& a  S+ z' p& D* s8 j* Q

, M1 ]8 T/ |# W$ Y: {
0?wx_fmt=png.jpg

- }1 W2 b) g- ?- W! l

6 R$ W" v$ j) h) e- K# J4 h
一个登陆动作会历经190个网络跃点
8 Y2 E) U. Q" T- k/ j( u+ X3 X
9 V. _/ r, `5 T# U
其它发现的问题主要包括:

. o3 e" ~; o# |$ y

7 [7 F9 C/ [- ?4 z. t4 t5 s
·     缺少统一配置(服务器,网络等)

" w& j3 `' s& W) E, K2 O' U
3 o( @* }& v: \. t( |8 p
·     缺少自动化

) F& `& I7 U- A' `! I# P

' p8 ^8 j2 ^/ L4 N
·     团队之间职责不清、缺少沟通
# m$ \* |# t& W: |/ S
' T8 T: F8 L1 f' z: N* ^: U5 F
·     不同环境迁入导致的高额技术债

8 j' h& ^6 {5 }0 d9 d. J5 U

8 m4 K- C( f7 y% f+ T! H
这些问题使大家意识到要想类似(或更严重)的服务停止事件不再发生,需要从根本上解决这些问题。从此KeyBank开始了DevOps之旅。

3 A$ X* @  W. x

& V, l% n; @* p8 t. E- {8 [/ X6 c
当然,首先这个小组要说服高层接受DevOps理念。他们用数据来说服老板们(下图):

& @( F0 d3 p& ?, e% G3 m
7 t- }( e- J$ D2 j$ Y
0?wx_fmt=png.jpg
8 s: Q& K) c) M
( P+ M) b8 g8 p" `- {3 ~9 e" r
给公司高层的DevOps好处分析

" F$ J' ^8 T2 P; i0 {, t
6 |  Z/ n; P& P4 b' a' t
基本上就是跟老板说,通过实践DevOps,可以:

: e1 y0 _7 i/ Y2 t( X
5 J, W* o# o" p" k# F
·     优化50%的测试资源(想说可以减掉50%的人工吧??)

3 v1 Y- j0 i# r/ I3 `* z8 j

  g1 ]. c% E( I
·     优化40%的发布和代码管理工作

+ \" T; I) F/ `, l# U' i- p# D

$ I. t0 `1 \7 \) `- E; J5 s! T
·     优化20%的基础设施工程师
3 g3 u8 V6 t, I: U  ?, r

9 H( ]6 M3 A. }" l- r8 z( V5 E
·     降低85%的产品上线周期(测设、安全、发布)!
3 ~7 x. K/ C1 ~3 _5 _

4 ?/ y, _$ j7 J: {
·     降低30%的新产品Defects!
4 t: s! h5 J6 p- t- Y

9 L/ K( p  D. q  t1 N5 ?+ w8 }
·     再降低50%的部署失败率!
1 V. H. {0 h: z5 d
" E! h9 n( x7 J: w* E% j4 X* F
(这几个哥们够拼的,把自己都逼上绝路了)

, c- S# `; R+ D7 ?% ~8 E
3 g' F7 i5 ~& s) i5 q2 {) [) J
KeyBank的高层看了还是很心动的,但是搞DevOps要花钱,再增加IT预算也不现实(刚刚出了事故)。最后他们达成一致:
6 v% \# {+ }& U: ]
/ A$ q1 @5 E4 K! D  F7 U# I7 F5 Z
·     老板自掏腰包搞了个天使投资(估计是从现有IT预算里挤出来的)
: ]4 m, b; A- d

; p4 s' r3 G9 b# ?3 `. x6 N
·     先成立一个4个人的DevOps小组(后面会说这个小组做什么),后期发展到10~12个人的规模
. ?7 s, I6 Y6 L, e. p
& z9 `6 M3 z9 x7 k
·     先找一个业务价值大的项目开始(网上银行)实践

2 S% s- \( ]$ t5 V" H

/ O; u, t5 m/ y: E) |% y( E9 ]
这个4人DevOps小组的重点攻关方向只有三个:容器,自动化测试,持续交付。

: f3 u. f, f" a3 d9 c

+ t4 n  l5 g8 \8 T+ R5 T8 k8 t( o
关于这三个重点方向的确定,是KeyBank对该企业硬件和配置环境复杂度,测试质量和低测试效率(顺便说下,他们之前建了很多外包测试中心),还有自动化程度不足的深思熟虑的结果。当然对很多类似的企业也有很多参考价值。
! ^% E2 p% H3 T
, s" t8 Y4 S4 `1 |$ q; j2 i
0?wx_fmt=png.jpg

: {& f$ P9 g3 J+ V
% |" q, Z- h9 ?* v. l& m4 H0 n
KeyBank的三个DevOps重点方向
2 I3 s; X+ C( _
$ O% `: J4 |: X; ~5 f0 M, B2 L
容器使得KeyBank可以采用Immutable Server的策略,大大简化了环境管理的复杂度。另外在Docker之上,他们也采用Kubernetes来保证高可用性,热部署,和环境的自我修复。两位倾情推荐!
/ H  X8 Y1 R# `2 h& ~

& F, i4 G. d+ `6 n, M! j/ t

; U. d0 G- v+ g, \, _) _1 M2 V/ R# i
0?wx_fmt=png.jpg

& o+ `$ E6 g7 K' B: W

; S1 B1 C! C4 {& P5 F3 ~
通过Kubernetes把Docker连接和管理起来

  L* p$ X- W' r8 c4 ]1 S4 L

* A1 e; Q# e3 J: \
两位继续谈到了自动化测试的重要性,也提到了转换到自动化测试需要比较长的培训和试错时间。但一切都是值得的。现在他们每个Build要运行超过5,000个测试,而执行时间只有15分钟!这在手工测试时代是不可想象的。
* g; F$ x0 Q6 V0 S
1 H+ L5 \+ j5 v* j8 o7 f0 [0 T
接下来是持续交付。持续交付使得整个交付周期形成一个无缝的流,也让每个不同的部门/角色都能协同在一起工作。业务现在分析人员也开始写Gherkin代码,而运维人员则写基础设施即代码的脚本。

& w9 F# c5 o- H7 ?9 t0 E  @' }
# n/ Q1 F. x8 p
经过一年半的努力(并不算长),KeyBank达成了以前不敢想象的IT能力:
6 A) |8 O$ w& n! Q+ g6 K" }

/ I5 i& d3 H5 ^2 v$ s" M
比如测试执行时间,以前的测试84个场景要执行1200小时,而新的自动化测试覆盖195个场景,只需要12分钟。

, F  j8 z: m% X' L
% p  ~, U4 {. s; w( s( R
最令他们骄傲的是,2016年KeyBank收购了First Niagara,一下子网上交易量暴增。而即使在并购后最初上线运行的前4天的高峰期,他们还热部署了10个发布到,结果没发现一个产品缺陷!更多见下图。
% M/ U8 b) R) R* g, Y

9 T7 Z* e; n( ]8 D2 D
0?wx_fmt=png.jpg
' [& ]" k9 v8 n+ [" W

) u! ?$ e6 T5 G& B6 ]
只用了一年半时间,KeyBank的IT就达到了非常惊人的结果

$ O+ ?) G# M8 Z/ w
4 n  ]4 o" O' Z$ e8 S
以上就是KeyBank的DevOps转型简介。有兴趣的读者可以访问https://www.youtube.com/watch?v=xgSkva_Eq5s观看完整视频(需翻墙)。

; r1 T8 I' R3 W8 p9 M

4 g- `' f7 y5 q( e6 i: c3 _" J
最后一张图送给工具控们:

0 i! n+ t5 }$ Z

( e6 b5 H2 f9 U% t$ g. y
0?wx_fmt=png.jpg
KeyBank 的DevOps工具链

& u4 v6 P! C$ j
& d3 R/ y/ g( L* {9 F- u3 ?
; o; D4 }$ u- l/ [# ?2 H8 k
原创:DevOps咖啡馆
2 c9 a) y1 ?8 }  m2 R% @
, H: z0 G& z; Y/ F" w5 a% F
  F4 y, X4 O: I$ r

  O; ~' A" C5 p9 f
6 f* e5 F5 G7 ^1 O" b: ~1 y5 G: \+ u
, a" c# O7 c( r6 s

; [# p) M' u! W; B1 ~: ]+ ~( s* R, {  |% i  a




上一篇:教你了解DevOps:从概念、关键问题、兴起到实现需求
下一篇:阿里云基于Devops实践之路
您需要登录后才可以回帖 登录 |

本版积分规则

参加 ITIL 4 基础和中级专家认证、v3专家升级、DevOps专家认证、ITSS服务经理认证报名
本站关键字: ITIL| ITSM| ISO20000| ITIL培训| ITIL认证| ITIL考试| ITSS| ITSS培训| ITSS认证| IT运维管理| DevOps| DevOps培训| DevOps认证| itop| itil4| sre| 开源ITSM软件

QQ|ITIL先锋论坛 ( 粤ICP备11099876号-1 )|网站地图

Baidu

GMT+8, 2021-6-16 14:34 , Processed in 0.172133 second(s), 30 queries .

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表