请选择 进入手机版 | 继续访问电脑版

IT运维管理,ITIL,ITSS,ITSM,ISO20000-ITIL先锋论坛

 找回密码
 微信、QQ、手机号一键注册

扫描二维码登录本站

QQ登录

只需一步,快速开始

艾拓先锋
搜索
查看: 81|回复: 0

云时代的宝典:AWS云平台下的开发运维DevOps

[复制链接]
来自- 巴西

参加活动:0

组织活动:0

发表于 2018-11-18 15:38:33 | 显示全部楼层 |阅读模式 来自- 巴西
本帖最后由 adminlily 于 2018-11-18 15:44 编辑 3 K: t* N; \! Z- s- X0 s, g, b
/ H3 B- r. J- q" F4 V$ l* R
客户分享
) S3 T% I% p- v: ]$ E1 L
3 D+ V8 o" r5 @, w, y' c$ \# E

% i# \$ F$ `6 C9 _! n7 m" J
musical.ly公司成立于2013年,是一家互联网创业公司致力于打造全球化的娱乐社交平台。其开发和运营的音短视频musical.ly和视频直播平台live.ly已经成为欧美国家的主流移动社交网络,在全球超过 20 多个国家和地区的App Store总榜上排名第一,其用户规模仅次于Snapchat、Instagram、Twitter和Facebook等老牌社交应用,成为欧美 13~20 岁年轻人最喜爱的移动社交应用之一。目前, musical.ly的音乐短视频社交平台的日活用户数已经超千万,用户总数过1.5亿。

( Y6 N$ K. R; U1 D# T! k
9 E2 j, R+ D4 {7 z% H/ [" j7 l1 s
从一台Amazon EC2 、几百位用户起步,经过短短的三年, musical.ly的日活用户数就超过了千万,同时使用的Amazon EC2数量也超过了2000台。在寻找业务方向、尝试在不同领域开展业务的过程中, AWS云平台给 musical.ly提供了充足的灵活性。

0 ?6 N- n6 f# d* i# S4 w2 R

0 s) G2 `$ ?) P$ X0 j
在运营系统中, musical.ly采用:

$ V8 D# W( b7 R
0 T4 n1 x7 X. q( W8 Z' g% m/ n
(1)Amazon EC2作为主要的计算资源以支撑前端应用;

+ C2 }. w7 \+ o

- F1 ^4 `  ]- y
(2)Amazon S3作为统一的存储以放多媒体资料及系日志信息;

/ l9 G5 ]4 w8 `
- ~& W. s9 G8 E8 w
(3)Amazon CloudFront用来进行全球化的内容分发,降低访问时延以提升用户的使用体验;

: C! `$ j  V  Z

5 g: _6 O1 C# @  ^
(4)Amazon EMR作为灵活开关的大数据处理平台来完成必要分析任务;
8 Q( z6 S0 M7 i) W. O: Y3 V

1 X7 q4 i; V" d* D$ w! n) N1 U! m
(5)AWS Lambda、用于完成对新户的推送服务。
- h( I+ U1 Z! D7 m, J# [

4 i  J" ]) U  t1 L$ j- e
这些产品的使用极大地降低了musical.ly自己的应用开发工作量,在系统可靠性、稳定方面也远超过自己搭建的系统。

  @3 a) K. w, O5 r6 v/ w5 z7 A# e
: }/ N5 ]0 `4 @
目前,musical.ly所使用的AWS云平台产品包括Amazon EC2、Amazon S3、Elastic Load Balancing、Amazon CloudFront、Amazon Route53、Amazon Kinesis 、Amazon ElastiCache、Amazon EMR、Amazon VPC等,打造出一个稳定、可靠、响应迅速的全球化娱乐社交平台。

$ J$ t6 m! w2 P! q* t

* r: q( ]! E" j) Y& D; i
选择AWS云平台带来的好处主要体现在三个方面。首先AWS云平台提供的各项服务稳定性和可靠非常高,在系统运行的三年多来,从未出现过因云服务不稳定而导致的系统中断。其次是 AWS云平台提供了非常全面的云服务,这使得 musical.ly可以随着业务的增长随时调用新服务来添功能和扩展系统。例如, musical.ly平台最初并不具备大数据分析和处理能力,但随着用户量的激增海信息,为用户提供更有针对性的就成musical.ly的紧要任务。有了AWS云平台提供的Amazon EMR、Amazon Lambda等服务,musical.ly就能够快速地完成产品的迭代更新和功能扩展,节省了大量时间成本。还有就是AWS优异的技术支持服务帮助musical.ly节省了大量的人力成本。
$ S- ^8 @3 O; X' j6 Z* R4 i1 F/ Y
$ t1 _7 x( Y( `) h6 o6 ^( I) M
1.png

4 L  O" T6 V* D7 O: D
一天内代码发布多次,迭代创新。我们希望用户聚焦业务创新,不用把时间浪费在搭建环境上。所以我们需要基于公有云方式的开发运维工具。
5 w" W* F0 }9 x( I( X
, b+ C9 v( @/ V% `8 Y

0 W. N; S4 r8 L
怎么样实现DevOps/ v3 E' N4 r8 t( d1 K$ {* c
6 d% U) o+ r: d  ~! J6 i5 j

! }; c8 a, [) ^2 G- z
# t7 K! i3 b9 a1 I, y9 B- o
1.png
/ i1 I  f/ g8 d+ O
如上图所示,最下面已经提供了平台层Platform,再往上就有了API,它的API全面程度非常广。AWS还提供了各种各样版本语言的SDK,然后是一些框架,最上面是核心的code代码。

4 G* ?0 J  \6 x/ G, P. y
! x* k8 A7 Z6 i! K& R! M# Y' j6 U
针对每一个层面,亚马逊都提供了一些列甚至是托管的服务,可以帮用户直接解决一些问题。
2 w& E0 K5 y: [- |' n
" Q2 f' T' I, {$ i2 Y# x& t
亚马逊电商怎么做DevOps?
5 m- l; Y( v2 s. |- d% }
3 [( E( A% s1 l' z( Q$ f) Z
& o: O( p6 O) e7 Y" h5 h
7 q  F2 y& v+ D5 l" h$ }- W! B& A8 l
1.png

" C' Y: X' E* a- R# t
最早期我们也是一个单体的架构,现在演变到如何更好地去做微服务化,甚至都不用使用服务器进行管理。
8 s. Q1 `4 A6 ?' x0 i
5 q9 X2 k" B' `( R
AWS Code Services
% m, v' I+ p4 O7 E/ g+ p  Z0 {0 i' M3 J. \( S5 c0 i3 U, r' d* v

: k! y7 Y2 f3 r: m/ F9 f7 H/ h( h
- b, K/ b- L( ]: P! _
1.png

2 Y0 E# X8 Q- D" A2 f
上图在基本所有的互联网公司都是通用的。从最开始的开发、代码的托管,到代码的构建、测试,再到部署、搭建、监控,从而实现整个过程的自动化。
4 N/ J7 e$ o+ d; B6 A- z
: W  x. n3 N/ @8 w6 p2 a
自动化部署服务——AWS CodeDeploy# J( ?* l2 L  |1 N2 h2 H/ V
& {0 [8 p  }% V' U& K, ^4 P
2 N2 n5 C6 F4 b, @. o+ c) r$ c
; j! F3 ]# c6 D# \, X) x3 p5 [
作为DevOps和微服务的深入践行者,Amazon在内部积累了许多持续集成、交付和部署的自动化工具和平台。其中, Apollo作为代码部署的自动化平台,每年进行超过5000万次部署。
+ m! Q: ^0 C; [2 P) ]
9 g6 q/ p# J- `. \5 v; `

- I) }" U$ @3 ~
为了能够让广大开发者和企业用户使用到功能丰富且久经考验的代码部署平台,在Apollo的经验基础上,AWS发布了自动化部署服务——CodeDeploy。

; y& m+ R& O9 k& U3 ], f; B# e

. ~) w- ~% [: }* h1 ]! A
AWSCodeDeploy旨在帮助用户完成应用的快速部署,按照用户指定的策略将代码部署在一组EC2服务器上。用户策略可以包括集群部署速度、部署事件通知、警报处理策略等。此外,CodeDeploy还可以和弹性负载均衡(Elastic Load Balancer)、自动扩展组(Auto Scaling Group)等服务结合,完成无缝升级和动态部署。

, d: |' S4 H% x& X8 m* Z
  s! R9 o& `/ W. X" E
AWS CodeDeploy——代码部署( w/ B0 h7 f$ Z; C  I1 [. D+ e2 h

- ?! K. x3 [* P7 D6 F+ t6 w
7 f! b6 o9 \- |3 `) u0 m/ o
4 g% t, h+ o9 {
1.png

9 G1 m0 R* l' f! V/ b$ Q
CodeDeploy这个服务与我们的开发人员和运维人员比较贴近,目前,这个服务在由光环新网运营,亚马逊AWS中国(北京)区域也是可用的。它有两个重要的概念,一个是application,另一个是deployment groups。在deployment groups可以定义成多个环境,比如有开发环境、测试环境,还有生产环境。
' Y6 \9 J* c+ m) q2 |
+ S4 c+ J, [0 _3 w$ n6 @
怎么使用CodeDeploy服务进行部署——此处用tomcat举例
* q  C) _8 G3 L# P% h* R4 E9 R0 q$ P. V+ C+ {) [# k5 D0 `
1.png

' a6 I/ j6 F9 f0 e6 A
准备代码,此处用 tomcat应用举例。解压代码,在工程目录里添加scripts目录和一个appspec.yml。例如上图这样的目录结构,scripts里面放部署时使用的脚本,appspec.yml文件定义代码部署到哪个,用什么用户在什么阶段执行什么脚本。

& [/ Y' N# J, W' U

! g5 o# O' I9 W- r7 t, @& N, K
1.png
" @4 g. x, X( z- D8 T" ?5 X: f
首次部署,需要安装依赖软件和环境,之后做代码更新时就不需要了。
4 q7 {. r" L" v" Q1 @

* _  [8 i- `7 r4 q! M$ I
AWS基础设施DevOps Services
, ?2 s* E& J" u5 U- i. b7 l6 R6 w4 z* c
* \4 j' D- H% m( t

" j4 Z4 w) {; l' i( \* Z% Y" X/ s
1.png
! T; [" K9 V- ]! S2 E& M
* v( b! n# \( \' ^, i
我们有一些基础设施层面的服务。ElasticBeanstalk是一个类似于容器概念的服务,要起一个环境的时候可以直接用ElasticBeanstalk进行托管。
# k$ U$ Z' q  ?5 [3 @9 D
- @- p0 b3 Y6 ^8 U
CloudFormation——一键部署所有云端资源
& q2 R8 m* C# G' \7 G4 D
+ J6 l+ E- G2 I- l' d) r
& P5 ^$ b  P! @, u5 t
) I1 [4 D- F9 `' m
CloudFormation是一个JSON的文件,把模版定义好后放到CloudFormation做一次部署,所有需要的资源可以一键创建好。
2 `6 e! s, w+ n" L( O  P0 H

' F- b; ~: [* V0 n
1.png

! y' p; O. j. ]' C
初创企业支持计划3 C2 b4 u  J- f
2 }+ P/ v; {( y! Z) t" A) c

; F  k* |; p5 }8 L6 W) i
3 w  d2 U4 n! Z3 o3 t1 c
AWS为初创企业提供支持上云的云创计划到后续为云创成员专设的GTM全方位支持。

( @+ \. g' q3 Q8 b! E: e
7 B( h& O* g  E- n
GTM(go-to -market)支持计划:
( `3 f3 y0 d: b6 C
) c. @8 P/ o0 ?  K, g1 o
帮助硬件类初创企业在全球市场快速部署渠道;
2 D! O' ~' d; }3 q% B
& Y0 s! M, y; R# _. _3 I/ s3 w
独享推广页面,支持影音视频内容播放;
7 d4 {$ O+ X$ y: l
% c& r8 d$ f, `% b9 O
享受亚马逊物流、客服及支付等全方位支持;

5 c9 L/ j* x, L" f6 m, W

3 ^% Y" \$ L4 o: X
云创计划成员可获得2,500美元Facebook广告 credits,以及AlexaFund投资的优先推荐资格;

# `6 a. `( ]7 }; V* e8 t
: [" O& W, k) b9 @5 l
AlexaFund是亚马逊旗下专注于声音科技的早期投资基金(基金规模1亿)

$ B8 o% g$ Z9 ?3 _
1.png

, L; ~- U* D* o$ K

4 `% Y* V) h2 P4 u) ]% V4 {% W5 n
8 p0 W. f3 T8 L
今天的分享就到这里,谢谢大家!
) m" I/ G/ h2 F: T- S. J( @* `

2 X: W1 A/ C- Y$ C" T
原创:毛郸榕

  r9 A3 P8 Y% G( k3 g& f
7 L# c3 H, W! R' F- C0 M( x- b+ L# e6 N

本版积分规则

选择云运维时代的王牌讲师-长河老师,助你轻松入门ITIL Foundation培训课程

QQ|小黑屋|手机版|Archiver|艾拓先锋网 ( 粤ICP备11099876号-1|网站地图

Baidu

GMT+8, 2018-12-15 20:02 , Processed in 0.229692 second(s), 31 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表