工欲善其事，必先利其器——DevOps中如何管理工具包

陈小宝

背景

( s) w, s9 e. L9 p$ `, R
9 T7 u/ L+ `( ?2 L
7 c) I) O6 B3 ]3 R' D' O
7 [  k2 U5 w- w% ?+ m

作为DevOps交付流水线的开发者，为支持CI/CD中各项任务的自动化，都需要依赖多种包管理工具来下载各种相关的工具，比如针对产生最终交付件的构建过程，就需要在构建流程的第一步，自动地把相关工具，如Curl、wget、Maven、Gradle、npm等等，下载到CI服务器。这些工具的下载，通常都需要依靠对应的公网服务器和包管理工具来支持。而这样通过公网来下载工具，有时会遇到稳定性的问题，也就是所谓的环境问题，导致工具下载失败，进而导致构建任务的失败。因此，我们需要引入新的技术来克服这些问题，保证工具包下载的稳定和可靠。

1 l) U8 F+ V- O

' z, b$ _- J7 w) C& r
  B* Z3 R5 E! X5 R, I- U% s
+ S- L7 K- c; d

工具包管理的痛点 ——缺乏稳定性

6 z2 A8 M1 w: w7 s* J/ |
$ J, z9 e- c! G" ]% i, X$ F

; U' }  T+ I$ n8 T, R# C$ G

通常，我们会使用各种各样的包管理工具来帮助我们下载和管理这些工具包，如Windows上的Chocolatey，Mac/Linux上的Homebrew，还有npm、Yum、Debian、Docker等等。可是，有时我们通过这些包管理工具来下载工具包时，会碰到意外的5xx服务器错误。而更多的时候，通过这些包管理工具来下载会非常的慢。这些问题在我们使用自动化构建工具（如Travis CI、Jenkins、Gitlab CI，等等）来实现持续集成CI的时候，会被成百上千倍地放大。一种解决办法就是在碰到这些环境问题时，通过手动运行构建的方式进行补救，当然，这只是指标不治本。同时，在网络访问有限制的时候，如很多金融企业都会采用的网络隔离，根本不可能去下载这些公网服务器上的工具包。

5 y. q& b8 q* `  U* e/ X
# O$ Q: e$ G( O4 y

! m" E3 k' t. W

解决方案 ——使用JFrog Artifactory的远程仓库

* }& l/ ]0 b& R; \
$ G4 `8 z% u# Q+ H0 D1 L

: o' _% {; ~, B# Y8 O! ], A3 j

JFrog Artifactory作为全语言制品仓库，其远程仓库可以作为公网服务器的本地代理和缓存。当我们通过其远程仓库来下载所需的工具包时，Artifactory首先检查在本地的缓存中是否已经存在。如果有，直接返回该工具包；如果没有，Artifactory将会代理到公网服务器去下载相应的工具包，并缓存到本地，以供后续的下载使用。

利用Artifactory的远程仓库作为下载前述工具包的代理和缓存，能够使得DevOps流程中的各个环节，如前面描述的持续集成流程，更加的迅速和稳定。在有网络隔离要求的环境中，如金融企业的研发/生产环境，Artifactory可以帮助技术人员建立自己的企业级单一可信源。

下面，我们将通过示例为大家一一展示，Artifactory的远程仓库是如何为不同种类的工具包提供服务的。

& ?5 V" A2 a9 B# ?5 l5 N
, t" M* N7 k- \+ M$ p
. a8 d$ a4 n/ C# y9 ]& S, \& x& O

4 y7 E8 r0 H& C6 t  @$ L

示例一 ——Chocolatey

4 N1 K  U) k( P3 A& x


5 z: K' X& j9 N

当使用Choco为Windows系统下载Gradle的时候，我们经常会碰到类似下面这样的503错误，从而导致构建失败：

; j6 Y: P0 r/ j2 L

解决的方法：我们在Artifactory里定义一个Nuget类型的远程仓库，利用它作为通过Choco包管理工具下载的来源。
: a5 s" F6 T/ @/ K6 V; C

第一步：配置Artifactory远程仓库

在Artifactory里创建一个Nuget类型的远程仓库，其主要参数如下：

• 仓库名：choco
•   Url：https://chocolatey.org
  
  

第二步：安装Choco包

• 用匿名安装的命令
  
  

choco install <package-name> -s <artifactory-url>/api/nuget/choco

• 使用带用户认证的方式
  
  " e  Z+ C- s1 D% t  r

choco install <package-name> -s <artifactory-url>/api/nuget/choco

      -u <artifactory-user> -p <artifactory-password>

示例二 ——Homebrew

1 h5 p2 i7 p! ^
+ x9 n/ E4 s( C7 x! [
8 l& a1 l9 M1 A! v; u
  V8 c5 u2 ^6 G$ G+ w: f

和Chocolatey类似，也可以用Artifactory来支持Brew的下载：

; M, Z1 N6 u3 N& G0 R* z

第一步：配置Artifactory远程仓库

在Artifactory里创建通用（Generic）类型的远程仓库：

• 仓库名：homebrew
• Url：https://homebrew.bintray.com
  
  - i6 X, Y2 A5 g+ r. j3 r) L

第二步：设置

“HOMEBREW_ARTIFACT_DOMAIN”环境变量

• 匿名访问：
  
  

setHOMEBREW_ARTIFACT_DOMAIN=<artifactory-url>/homebrew

• 带用户认证的访问：
  
  ! ?  E' g6 W! E# C' t' H( J

setHOMEBREW_ARTIFACT_DOMAIN=<artifactory-user>:<artifactory-password>@<artifactory-url>/homebrew

第三步：安装

之后再通过  brew install命令安装，就会访问Artifactory的本地缓存了。

1 i  k* c0 q( s" G
8 c/ A" v+ a/ U

: w! v  {* @: {- X( O, E, I' e

示例三 ——Yum

, T7 @$ z/ |- v& s7 b' M  J5 a
  Y8 }3 S5 }5 ~! W
% @# S8 u; ]) C' o8 w' p% G
, O9 C, A7 w* }2 V, C* f

本节将介绍如何利用Artifactory的远程仓库来使用Yum下载RPM包。

第一步：配置Artifactory远程仓库

在Artifactory里创建一个RPM类型的远程仓库：

• 仓库名：yum
• Url：http://mirror.centos.org/centos/<version>/os/<architecture>
  
  # }: X; }# R1 s. D" b

   例如：http://mirror.centos.org/centos/7.6.1810/os/x86_64

; w6 `4 I9 b1 l" ?  p8 C! w% p

第二步：创建yum的配置

创建下述文件：

/etc/yum.repos.d/artifactory

• 匿名访问时，文件内容为：
  
  6 j  o+ r3 i% ~: D* u

[artifactory]HERE
: Z  H% F) O3 |) lname=artifactory

baseurl=https://<artifactory-url>/yum

enabled=1
; A8 e9 r& H& u: qgpgcheck=0

• 带用户认证时，文件内容为：
  
  

[artifactory]
5 V! h& i+ S9 ~# d# @. F; N: @name=artifactory

baseurl=https://<artifactory-user:<artifactory-password>@<artifactory-url>/yum

enabled=1
gpgcheck=0

之后正常使用yum命令就可以从Artifactory的本地缓存下载RPM包了。

1 l- p0 b2 J/ O2 N
/ T6 e. \0 [$ j0 _

示例四 ——Docker

- s: t7 T- b! i& ?5 t

$ F, d4 O% R% b

本节将介绍如何利用Docker命令从Artifactory的远程仓库来下载Docker镜像。

: r1 a+ u: M, N6 ~

第一步：配置Artifactory远程仓库

在Artifactory里创建Docker类型的远程仓库：

• 仓库名：docker
• Url：https://registry-1.docker.io/
  
  

" e! Y! L; V$ i

第二步：登录

用下述命令登录Artifactory的Docker仓库：

Docker login <your docker domain>

其中<your docker domain>的写法可以参考Artifactory中docker仓库对应的”Set Me Up”显示的设置。

1 w  l( E" k. b; R  o2 V0 ~' ?

第三步，拉取镜像

执行下述命令，从Artifactory的缓存拉取Docker镜像：

docker pull <your docker domain>/<docker image>:<docker tag>

当然，针对Docker应用，你可以使用JFrog提供的免费版镜像中心——JCR（JFrog Container Registry，https://jfrog.com/container-registry/），来管理自己的Docker镜像。

; Z$ g; L' |" J. b+ t7 W+ ^& @$ k% {6 Q
0 u' S( ^. o8 b" O8 f9 A/ I

3 n; I/ ^& S# ~- h- X; p- {, F
2 i/ O7 J9 M7 B7 C9 m6 ^7 I

总结

; c6 [2 s) U( y2 M! a
' ~" o$ O1 Z% j. u- t; W
8 j/ {0 [, W3 a2 d9 q, r5 k
$ m# A; x6 T2 ]9 n7 `% n

在DevOps流程当中，我们需要下载很多工具包，来支持整个流程的自动化运转。然而。直接从外网下载这些工具包，经常会碰到环境问题，进而影响整个DevOps流程的效率和可靠性。

Artifactory通过其远程仓库的设置和全语言制品支持的能力，能够帮助我们建立各种工具包的本地源，从而使得DevOps的流程更加迅速和稳定。本文还列出了几种典型类型工具包的配置方法。（高欣）

+ W6 [  H+ a! I" l7 _4 G. S; l