请选择 进入手机版 | 继续访问电脑版

ITIL,DevOps,ITSS,ITSM,IT运维管理-ITIL先锋论坛

 找回密码
 立即注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

查看: 1565|回复: 0

DevOps切入点的确定及操作技巧

[复制链接]
发表于 2019-12-15 15:20:48 | 显示全部楼层 |阅读模式
导读
DevOps是贯穿了业务,研发,运维的全过程,所以如何选择切入点就很重要。从目前的很多案例来看,最多的切入点是在Ops,因为运维自动化是有着最成熟的开源工具,同时也是最容易实行的,因为不牵涉到其他部门,关起门来自己玩就好。其次是从测试向两端推进,测试自身也有很多大量可以自动化的工具,同时测试环境的维护也有着Ops相似性。

5 v3 H3 l! k+ h9 f. j, X3 g

DevOps这个词已经充斥在各个技术论坛,很多企业都说要实行,但真正能落地的却不多。另外很多公司的DevOps只是停留在Ops部门,并不是真正的DevOps。DevOps是贯穿了业务,研发,运维的全过程,所以如何选择切入点就很重要。从目前的很多案例来看,最多的切入点是在Ops,因为运维自动化是有着最成熟的开源工具,同时也是最容易实行的,因为不牵涉到其他部门,关起门来自己玩就好。其次是从测试向两端推进,测试自身也有很多大量可以自动化的工具,同时测试环境的维护也有着Ops相似性。测试反馈的质量问题也可以倒逼开发进行变革。

, x5 D$ g. q2 ?' z

先介绍一下我所在公司的背景,国内第一家支付公司,有着十几年的历史。从上面大家可以看出什么呢?就是这个公司有着沉重的历史包袱。所以流程很老,思维也很老。对它的改造也会非常的困难。对公司现状进行分析之后呢,发现痛点主要是在几个方面,

1,缺乏全局的需求视图。

2,开发时间延误,质量低。

3,测试效率低。

4,上线流程漫长,失败率很高。

7 w$ M- M+ ~# o9 a' {! W

这几个痛点很多公司也都会有。我们在DevOps的白皮书里,会看到一个完整的流程应该是这样。

! ]) I' [  l% f; z2 N5 T& N9 ~

那么我们,知道模型之后,我们怎么去尝试呢。等我们开始实行后,如何确定下一步目标呢?就要用到另外一个概念,叫做成熟度模型,最早在软件CMM流程里面,就用了这样一个概念。对于DevOps的持续部署理念也是有这样一张图。

, E: M$ A( A) ^, w2 D% t3 _3 L

这里面很明确提出,在不同方面,我们的成熟度的不同阶段应该是什么样的?有了这样的一个目标之后呢?切入点如何选择?史记-货殖列传有一句话:天下熙熙,皆为利来;天下攘攘,皆为利往。我们推行DevOps不是为了赶时髦,而是为了利益。所以要找到符合下面几点的切入点:

  • 能最快改变现状。# V3 J; e0 y' @% r! ^
  • 能最快见到收益。
    ) }: C% L6 w5 N5 t$ m" h$ q& _

/ P3 ?% \' C5 ]6 T" Q

1 C8 M2 }! a7 x( t
  • 能最容易用数据说话。
    4 E) g& N9 v; Q$ H
2 `. ?! C$ h1 v9 e( e9 G! ]+ \6 _5 Q
4 |* s# w+ }9 q, v0 i5 B
  • 能花最少人力。/ O5 ^8 B0 \, a2 f# ?; H+ V" z/ Z

7 A; P% i( |: e$ K0 I- C# Y
( K6 j1 m; Z/ y$ K/ Z

互联网时代讲求的是效率,天下武功唯快不破。高层往往也是没有耐心的。所以不会给你半年时间慢慢来逐步推行。你需要的是在一个月内能让大家看到改变,看到收益。否则没有人来用你推行的东西就意味着失败。同时要是可度量的,否则有人可以完全抹杀掉你的努力。人力永远是有限的,我的大老板整天说的就是你不要影响我的业务。往往你在进行变革时是在现有人力中来挤出资源做事。反正我的老板不会大笔一挥,给你招几个人来做这件事。所以要规划好人力资源,做一个MVP(Minimum Viable Product最小化可行产品)产品出来,然后继续在上面迭代。最后一点,不要运动式的全面铺开。有些企业是可以发起运动的,例如:华为。但大部分企业文化和员工的接受度不允许你来迅速变革。我在不同公司经历的几次运动式变革都以失败告终。所以要用小刀割肉,割一刀看一下反应,没问题就继续,如果遇到了强力反抗,就要重新评估策略和做法了。


6 j# D1 w2 I  d( b

选定好初步的方向后就要继续思考:


, d: g1 b& n( x/ k
谁关心痛点
+ n3 S, L6 e$ G7 K0 R1 }* p' |+ J+ k. E5 f( C
谁会从中收益
! P2 p' O6 N3 H! Q
$ b* f1 a! h" r2 x5 Q( L; b0 o
谁会利益受损& H# u8 w( F: [6 U
谁会阻碍
4 W; z3 k" g, q+ P% L3 b3 J) Y9 J- x1 f- P3 G5 j) [- M
谁会支持1 \& e+ ]5 O8 I$ G3 N$ i
8 ^0 d8 }6 Z0 Z. e0 o2 z) m
谁是合作方7 P+ o) I# |5 A$ x
& Z" C0 M" Q- d/ }
谁是冲突方
+ A" b, I: v- z: A8 l' q' X
% M, u5 I8 |/ L! L
谁是旁观者
- I. ^0 H- k1 }1 @1 V6 m. i. X+ ]3 R" _, k( F  [! j
谁来推动
- t, [4 _. A& \+ D2 m( H/ E
2 r$ U8 y* r" v) ~  H/ Q

不同的部门之间是有壁垒的。所以当你试图去改变别人的流程、方法时必然会产生冲突。然后你要考虑的是由谁去推动这件事,是你自己,还是同盟者。例如:你是开发工程师,你能做什么呢?可能只能在小团队里推行一下SCRUM或者kanban开发,但测试都不会进入团队,最后这个仅仅是个像SCRUM的半吊子。所以推动者至少应该是中高级管理层。从开发的角度应该拉住测试及运维一起来解决各自的痛点。例如:信息不一致。测试驱动开发。这些都是需要不同部门之间的配合。而这些活动会打破部门壁垒,必然影响到有些人的利益。

0 r! T; y* T7 q: \- r

例如:有的人权力欲望很强,SCRUM团队把开发,测试,运维绑定在一个团队内就形成了矩阵制结构,直属领导的控制力必然就会被削弱,他指手画脚的机会就少了,所以就会觉得自己的利益受损。必然会阻碍你推动变革。这也是很多变革失败的原因,触动了太多的利益方。当你看了很多DevOps成功案例后肯定会头脑一热,大喊一声我们干吧。这时候你需要的是冷静的按照上面的几点思考一下,你的同盟者和冲突方的力量对比。很可能发现无法推行下去。所以这也是很多DevOps失败的原因。理想很丰满,现实很残酷。 我是很幸运的,因为研发流程由我管控,测试,配管都在我部门内。运维的管理者和我一起通过的DevOps Master认证。CTO也很支持。所以同盟者的力量比冲突方大很多。在公司内进行了几次分享,描述了美好的愿景后,成功的吸引了大家的注意力。下面就是要考虑如何落地。如果不对现有组织结构进行调整是无法达到,所以经过讨论,按照白皮书里的组织结构设计了这样的一个结构。

) S0 p$ N. x( E0 i+ y0 B3 ]

组织结构改造完成之后呢,就可以变成一个完整的流水线来进行。不过组织架构调整是个很难的事情,往往由于部门壁垒导致不能闭环。所以要先考虑谁能决定组织架构的调整,现有的流程是否需要大改,现有人员的观念是否容易改变。同时不是所有的开发内容都能变成流水线,因为某些技术限制,没有足够的人员。所以很多时候仍然需要混合新老的组织结构。

2 i+ h- x3 g5 S$ t- X) P" A4 n

很多公司有沉重的业务压力,为了稳定,管理层最看重的是不管你做什么都不能去影响业务。所以比较现实的情况就是我们需要做的事要进行试点,然后以点带面。那么首先从开发的角度来说,你就要选择一个团队来进行开发模式的改变。选择好一个契合度比较高的团队,就是产品开发测试都要能接受这样的变化,然后对他们日常的开发模式,按照DevOps进行改造。另外一点的,DevOps覆盖的流程是很长的,所以也不可能一下全部改变。所以你还是要选择一个切入点。选的这个点要很容易来看到实现效果及收益。可以分析一下不同职位上能获得的收益:


9 m7 K2 P* ?9 w2 G

公司的高管:


/ h! ~' q5 o# \6 S

  • 能了解业务需求的进展
  • 能看到研发投入
    6 H, l. J  s5 I! ]* z. t

( l' s# F0 j; q6 N/ w) S

产品:


# ?9 a$ s; F" G" C0 s, n. M7 Y

  • 需求更快速被消耗
  • 能看到需求的进展% y- b: l& Q8 R) D% W


3 T# ~# f9 f7 @1 ~5 ~0 p3 g

开发:

: A, M' K7 T# L+ I4 Z/ `

  • 不需要关注和代码无关的事务* K4 G& ?5 E0 k7 L8 N; F* H9 F

9 {0 |) K$ q6 S  }4 K6 M

测试:

. J7 a/ T1 C& j; J. _  Q

  • 更少的重复测试
  • 更好的测试覆盖率
  • 更好的沟通
    + g9 g* w6 E/ b4 a% p5 E


" I2 p9 D( a0 ^4 k0 X, \0 F

配管:

4 A0 |; r. Y" @( V6 B

  • 更少的重复劳动
  • 更少的沟通浪费) |+ k/ _6 u& I' g/ j

4 r5 A; n6 S: v6 f& ~7 {6 r) ~' L

运维:


5 Z+ a1 p' J( y& m

  • 更少的重复劳动
  • 更少的沟通浪费
  • 更快的回滚
  • 更少的发布错误
    / D% t& Y8 \# a$ g1 j" S

8 h% E' _5 e/ I$ S' A- l& J/ Y

把以上所有的内容都分析好就能确定你的第一个切入点是什么。从研发角度来看可以选择用一个管理工具把信息集中,或者推广SCRUM或kanban开发。从测试角度可以进行代码变动后的自动部署及自动化测试。从配管角度可以选择持续集成。从运维角度可以选择自动生产环境部署和回滚。我选择的切入点是管理工具、SCRUM团队、自动部署。因为原有的Redmine信息不完整,大量信息不对称的情况,计划形同虚设。配管整天手工上线,疲于奔命。开发效率低,延误情况很严重。

- ?1 o3 L; i# n6 k

在实施过程当中要注意要用利去引诱改变,不要试图立刻改变所有的现状,因为你如果改变所有现状,把所有的东西搞乱,搞乱之后,就会影响业务。影响了业务你就有了大麻烦。所有的改变必须是局部的,影响范围是可控的。

- [8 Q& F: F: D0 [3 G

要把资源向敏捷团队倾斜,要给他们提供便利。因为变革前期必然会混乱和低效率,如果不去注意改善,就会变成坏榜样。如果变革使得他们的工作更顺利,这样的就树立了一个典型,使得其他团队可以看到这么做是有好处的,然后在适当的时候你就可以一刀切,全面推行。下面给出一个例子,我把上线的窗口定义成:


4 y! P+ L5 L' |% S) J3 ~/ u

项目上线日期为工作日的周一-周四,自动上线8点45分开始工作,处理前一日完成测试的需求。
7 k. A3 u! p( h& r& L0 O( @: h8 J( b- I/ [4 ]5 Y. Z- @
敏捷项目上线日期为所有工作日,自动上线11点-17点处理测试完成的需求。
9 d3 f' R' t1 v- L. U  I0 G
/ `2 g# |0 t+ \. R, x" P" J
手工上线的需求上线日期仍然为周二到周四。
0 c" K- D+ H. y, R9 B6 @1 W1 @' F# k. `5 u9 r3 ]: g) Y

这样就吸引大家进行迁移,有些项目会主动选择敏捷开发模式。

4 C. v& x, `- q9 g

下面说一下工具选型的过程。流程软件放弃了原有的Redmine。从DevSuite,禅道,Jira中选了Jira。DevSuite适合超级大公司,看重管理审核。禅道过于简单,和其他软件集成能力弱。Jira有非常丰富的插件库,同时有非常成熟的开发接口和开发库。同时在世界范围Jira有几千家公司在用。所以最终选择了Jira。测试插件用了Kanoah Tests和JIRA Capture。版本控制在单纯git和github、gitlab中选择了gitlab。主要是比较认可gitlab flow。CI工具用Jenkins,这个基本没啥可挑的。而且Jira、gitlab、Jenkins都有插件可以互相连接起来。自动化测试使用的自己开发+SOAPUI+APPINUM等。自动化部署是自己开发。

; |/ g, s- `) C- i. z* P

下面是Jira中的一个自动上线需求的状态变迁图:

9 i& ^. x5 `% ]4 j/ r, `

/ O' e4 q! b( X5 G  f) }7 P

大部分状态都是程序在流转,开发只需要处理2个状态。测试需要处理6个状态。程序使用了Jira的Restful接口来进行操作。


4 }) e& V7 \7 N  J3 {! d. U

代码的分支使用标准的Gitlab Flow。代码单向流动。MASTER给开发用。PRE-PRODUCTION和集测环境的JENKINS集成,代码变动后自动编译部署及自动化测试。PRODUCTION分支和系统测试环境JENKINS集成,上线也从这个JENKINS直接拉最终的上线包。


3 O+ p* }9 R) B( F" q" l

一个完整的持续集成过程如下图:


- ?. D8 u" z( N2 ]1 d% U6 T

由于测试网络和生产网络是隔离的。所以自动部署分成两个部分,一端在测试环境属于配管,一端在生产环境属于运维。需求测试完成后,自动上线程序就会按照上线窗口来选择对应的需求进行上线。


3 \0 c' O! q  e) o3 T" b7 {5 T

在全部系统投入运行后,还有很多事情要持续进行。首先最难的是观念的转变,新流程经过多次培训,文档也已提供,还是有很多人两耳不闻窗外事,继续按照老一套进行。同时敏捷的方式也不是所有人能接受,思维的顽固性影响深远。其次迁移工作的工作量巨大,要逐步对老系统按计划迁移。迁移包括代码从SVN到GITLAB。Jenkins上已有脚本的迁移。测试环境的重整。Jira上流程也需要逐步完善,例如:后期我们把申请新发布单元、紧急上线审批、线上数据修复等流程也放入Jira。再增加各种数据分析和报表。最后一点就是定期对照成熟度模型,看可以进行哪方面的改进。

- z) m4 e& @1 }1 r% W, C

总结一下最关键的几条原则:

6 W, F! Y- T; U; c

要根据自己所在的位置来选择变革的范围。( c; X9 o2 d/ Z4 e$ q
- C, z- q  C( l4 w
要分析利益相关方来确定变革的阻力。8 K+ ?# c' M$ z/ q' i; n5 ~, P6 \

; w. z* ^" O- E% q- ^& ]
要根据现状和条件来选择最容易突破的地方。7 [6 N/ B- a# c! @/ p

- y/ T% u: Y- Q8 H8 T9 ?6 t
要通过利益引导来吸引大家主动改变,同时在适当的时候一刀切。
' b/ Q$ X+ y% C0 B# C
# E# z% e, h0 M) t




上一篇:易保网络:透过双十一看DevOps在保险行业的实践
下一篇:对DevOps实践的一些思考04(1.21)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

参加 ITIL 4 基础和专家认证、长河ITIL实战沙盘、DevOps基础级认证、ITSS服务经理认证报名

QQ|ITIL先锋论坛 ( 粤ICP备11099876号 )|appname

GMT+8, 2022-7-5 15:17 , Processed in 0.099001 second(s), 27 queries .

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表