本帖最后由 adminlily 于 2018-11-15 15:42 编辑 # E2 l$ O+ P6 R1 R
$ ^8 t7 \ y7 i" |* M本文根据John Rzeszotarski和Chris McFee在DOES16（DevOps企业峰会16）的演讲《Banking on DevOps》整理而成。
/ s, d7 Q* o1 |( ]- j1 y
' u$ Z9 {. c" g5 P( p
背景：KeyBank是北美15家最大的银行之一，有超过190年的历史，主要服务于企业客户。总资产大约为940亿美元。Keybank银行及其子公司，提供了一系列的零售和商业银行服务，包括商业银行贷款，投资管理，金融，投资理财产品，以及个人服务等。 经过多年的发展和并购，该金融机构的IT系统变得异常复杂。 3 e: ]5 d' B7 A2 r+ u
& l. V) I$ r: \$ T: A
灾难：2年前KeyBank经历了一次严重的系统停机事件，在修复该事件的过程中，由于对系统复杂度理解不足，导致更大的服务终止问题。该事件引起KeyBank高层高度重视。这也说明没有痛点企业很难下决心解决问题。
$ T" B- N' T# b! H& s0 ~
- c6 @4 ~$ x7 F6 Q. S
首先，KeyBank成立了一个4个人的资深技术小组（START），负责了解KeyBank采用的系统复杂度到底是怎么样的。 : l$ J6 L- K6 q& _8 h
0 d% k) @0 V7 k- E
该小组历经三个多月的时间，把银行每个主要交易事务所涉及到的硬件（服务器，网络）和软件服务都绘制到一个图示中。结果发现历经多年发展，KeyBank维护的IT系统的复杂度着实惊人：仅仅一个用户登陆（Login）行为，就要经历190个网络跃点（见下图） & a S+ z' p& D* s8 j* Q
, M1 ]8 T/ |# W$ Y: {
- }1 W2 b) g- ?- W! l
6 R$ W" v$ j) h) e- K# J4 h
一个登陆动作会历经190个网络跃点 8 Y2 E) U. Q" T- k/ j( u+ X3 X
9 V. _/ r, `5 T# U
其它发现的问题主要包括：
. o3 e" ~; o# |$ y
7 [7 F9 C/ [- ?4 z. t4 t5 s
· 缺少统一配置（服务器，网络等）
" w& j3 `' s& W) E, K2 O' U
3 o( @* }& v: \. t( |8 p
· 缺少自动化
) F& `& I7 U- A' `! I# P
' p8 ^8 j2 ^/ L4 N
· 团队之间职责不清、缺少沟通 # m$ \* |# t& W: |/ S
' T8 T: F8 L1 f' z: N* ^: U5 F
· 不同环境迁入导致的高额技术债
8 j' h& ^6 {5 }0 d9 d. J5 U
8 m4 K- C( f7 y% f+ T! H
这些问题使大家意识到要想类似（或更严重）的服务停止事件不再发生，需要从根本上解决这些问题。从此KeyBank开始了DevOps之旅。
3 A$ X* @ W. x
& V, l% n; @* p8 t. E- {8 [/ X6 c
当然，首先这个小组要说服高层接受DevOps理念。他们用数据来说服老板们（下图）：
& @( F0 d3 p& ?, e% G3 m
7 t- }( e- J$ D2 j$ Y
8 s: Q& K) c) M
( P+ M) b8 g8 p" `- {3 ~9 e" r
给公司高层的DevOps好处分析
" F$ J' ^8 T2 P; i0 {, t
6 | Z/ n; P& P4 b' a' t
基本上就是跟老板说，通过实践DevOps，可以：
: e1 y0 _7 i/ Y2 t( X
5 J, W* o# o" p" k# F
· 优化50%的测试资源（想说可以减掉50%的人工吧？？）
3 v1 Y- j0 i# r/ I3 `* z8 j
g1 ]. c% E( I
· 优化40%的发布和代码管理工作
+ \" T; I) F/ `, l# U' i- p# D
$ I. t0 `1 \7 \) `- E; J5 s! T
· 优化20%的基础设施工程师 3 g3 u8 V6 t, I: U ?, r
9 H( ]6 M3 A. }" l- r8 z( V5 E
· 降低85%的产品上线周期（测设、安全、发布）！ 3 ~7 x. K/ C1 ~3 _5 _
4 ?/ y, _$ j7 J: {
· 降低30%的新产品Defects！ 4 t: s! h5 J6 p- t- Y
9 L/ K( p D. q t1 N5 ?+ w8 }
· 再降低50%的部署失败率！ 1 V. H. {0 h: z5 d
" E! h9 n( x7 J: w* E% j4 X* F
(这几个哥们够拼的，把自己都逼上绝路了)
, c- S# `; R+ D7 ?% ~8 E
3 g' F7 i5 ~& s) i5 q2 {) [) J
KeyBank的高层看了还是很心动的，但是搞DevOps要花钱，再增加IT预算也不现实（刚刚出了事故）。最后他们达成一致： 6 v% \# {+ }& U: ]
/ A$ q1 @5 E4 K! D F7 U# I7 F5 Z
· 老板自掏腰包搞了个天使投资（估计是从现有IT预算里挤出来的） : ]4 m, b; A- d
; p4 s' r3 G9 b# ?3 `. x6 N
· 先成立一个4个人的DevOps小组（后面会说这个小组做什么），后期发展到10~12个人的规模 . ?7 s, I6 Y6 L, e. p
& z9 `6 M3 z9 x7 k
· 先找一个业务价值大的项目开始（网上银行）实践
2 S% s- \( ]$ t5 V" H
/ O; u, t5 m/ y: E) |% y( E9 ]
这个4人DevOps小组的重点攻关方向只有三个：容器，自动化测试，持续交付。
: f3 u. f, f" a3 d9 c
+ t4 n l5 g8 \8 T+ R5 T8 k8 t( o
关于这三个重点方向的确定，是KeyBank对该企业硬件和配置环境复杂度，测试质量和低测试效率（顺便说下，他们之前建了很多外包测试中心），还有自动化程度不足的深思熟虑的结果。当然对很多类似的企业也有很多参考价值。 ! ^% E2 p% H3 T
, s" t8 Y4 S4 `1 |$ q; j2 i
: {& f$ P9 g3 J+ V
% |" q, Z- h9 ?* v. l& m4 H0 n
KeyBank的三个DevOps重点方向 2 I3 s; X+ C( _
$ O% `: J4 |: X; ~5 f0 M, B2 L
容器使得KeyBank可以采用Immutable Server的策略，大大简化了环境管理的复杂度。另外在Docker之上，他们也采用Kubernetes来保证高可用性，热部署，和环境的自我修复。两位倾情推荐！ / H X8 Y1 R# `2 h& ~
& F, i4 G. d+ `6 n, M! j/ t
; U. d0 G- v+ g, \, _) _1 M2 V/ R# i
& o+ `$ E6 g7 K' B: W
; S1 B1 C! C4 {& P5 F3 ~
通过Kubernetes把Docker连接和管理起来
L* p$ X- W' r8 c4 ]1 S4 L
* A1 e; Q# e3 J: \
两位继续谈到了自动化测试的重要性，也提到了转换到自动化测试需要比较长的培训和试错时间。但一切都是值得的。现在他们每个Build要运行超过5,000个测试，而执行时间只有15分钟！这在手工测试时代是不可想象的。 * g; F$ x0 Q6 V0 S
1 H+ L5 \+ j5 v* j8 o7 f0 [0 T
接下来是持续交付。持续交付使得整个交付周期形成一个无缝的流，也让每个不同的部门/角色都能协同在一起工作。业务现在分析人员也开始写Gherkin代码，而运维人员则写基础设施即代码的脚本。
& w9 F# c5 o- H7 ?9 t0 E @' }
# n/ Q1 F. x8 p
经过一年半的努力（并不算长），KeyBank达成了以前不敢想象的IT能力： 6 A) |8 O$ w& n! Q+ g6 K" }
/ I5 i& d3 H5 ^2 v$ s" M
比如测试执行时间，以前的测试84个场景要执行1200小时，而新的自动化测试覆盖195个场景，只需要12分钟。
, F j8 z: m% X' L
% p ~, U4 {. s; w( s( R
最令他们骄傲的是，2016年KeyBank收购了First Niagara，一下子网上交易量暴增。而即使在并购后最初上线运行的前4天的高峰期，他们还热部署了10个发布到，结果没发现一个产品缺陷！更多见下图。 % M/ U8 b) R) R* g, Y
9 T7 Z* e; n( ]8 D2 D
' [& ]" k9 v8 n+ [" W
) u! ?$ e6 T5 G& B6 ]
只用了一年半时间，KeyBank的IT就达到了非常惊人的结果
$ O+ ?) G# M8 Z/ w
4 n ]4 o" O' Z$ e8 S
; r1 T8 I' R3 W8 p9 M
4 g- `' f7 y5 q( e6 i: c3 _" J
最后一张图送给工具控们：
0 i! n+ t5 }$ Z
( e6 b5 H2 f9 U% t$ g. y
& d3 R/ y/ g( L* {9 F- u3 ?
; o; D4 }$ u- l/ [# ?2 H8 k
原创：DevOps咖啡馆 2 c9 a) y1 ?8 } m2 R% @
, H: z0 G& z; Y/ F" w5 a% F
F4 y, X4 O: I$ r
O; ~' A" C5 p9 f
6 f* e5 F5 G7 ^1 O" b: ~1 y5 G: \+ u
, a" c# O7 c( r6 s
; [# p) M' u! W; B1 ~: ]+ ~( s* R, { |% i a
| 
窥视卡
雷达卡
发表于 2018-11-15 15:41:09
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
抢沙发
显身卡