아마존과 함께하는 클라우드 컴퓨팅 데이

2016.11.09

경기창조혁신센터

Amazon Developer Day

Keynote Session

IT 혁신의 새로운 기준 클라우드 컴퓨팅 (황인철 상무 / AWS 영업총괄)

AWS 신규 Service의 95%는 고객 feedback 기반으로 생성

AWS는 보안, 규제준수, Latency를 가장 중요시합니다.고객의 자국에 Region이 있을 때 보안과 규제 준수를 지키기 쉬우며 Latency가 가장 낮기 때문에 계속해서 Region을 늘리는 중입니다.

미래 에쎗도 AWS를 사용 중입니다. 움직이지 않을 것 같던 금융권도 cloud를 도입하는 중입니다.

넷플릭스 개발자 Blog 참고하세요

Session1

AWS에서 Serverless 환경 구현하기 (김필중 매니저 / AWS Solutions Architect)

부제 : 작은 서비스 만들기

자료 : http://www.slideshare.net/awskorea/aws-68890357

< Background 지식 >

1) Lamda

-함수를 만들어서 uploading만하면 event가 있을때 자동으로 processing, 

- 이벤트에 응답하는 코드를 작동시키는 serverless 컴퓨팅 서비스

- 사용자 정의 커스텀 로직으로 AWS 서비스 확장

- 처리된 요청과 동작한 컴퓨팅 시간만큼만 비용 청구

2) NoSQL 데이터 베이스 / Amazon DynamoDB

- 완전 관리형, 수 ms의 지연, Massive 하며 seamless 한 확장성, 낮은 비용

3) Auto Scaling (자동확장)

- 사용자 정의 조건(ex : 트래픽, CPU 사용률 등)에 따라 EC2 인스턴스를 자동으로 확장 및 축소

- 비정상적이거나 연결이 안되는 인스턴스를 교체하여 애플리케이션의 고가용성을 유지

4) Object 저장소 / Amazon S3

- 어떤 것이든 저장, 확장 가능 ,99.999999999% 내구성, Static 웹 사이트 호스팅 서비스 가능, 사용(저장)한 만큼만지불

5) 콘텐츠 배포 / Amazon CloudFront

- 콘텐츠 베포 네트워크(CDN)

- 이미지, 동영상, 파일, 웹 페이지 등 전송

 - 정적/동적 콘텐츠 캐싱 및 가속

- 업로드 가속(PUT, POST, HTTP 지원)

- 실제 전송한 만큼 과금

6) 스트림 처리/ Amazon Kinesis

-실시간 스트림 처리

- 손 쉬운 사용

- S3, Redshift, DynamoDB와의 통합

- Batch 성으로 하지 말고 게임의 탱커처럼 모든 data를 받음

서버없는 아키텍쳐 : 완전 관리형, 개발자 생산성, 지속적인 스케일링 이라는 장점이 있습니다.

올림픽때 치킨 배달 급상승, 예약 시스템 연말 콘서트 예약 등 탄력적으로 운영 가능

front - logic - db 의 아키텍쳐를 front - AWS API Gateway - AWS Lambda - Amazon DynamoDB로 변경

Auto Scaling의 기준을 잡기힘듬

Kinesis / 받은 Data를 알아서 S3 & Elastic Search에 저장

https://goad.io/ => Goad 설치 가능

- 부하 Test 필요

- 분석 : S3로 추출후 다양한 방법으로 분석, 다른 데이터 수집기와 다르게 S3에 적재해줌

Session2

클라우드를 통해 내 서비스 무한대로 확장하기 (박철수 매니저 / AWS Solutions Architect)

자료 : http://www.slideshare.net/awskorea/aws-68890266

기능에 따라 instance 분리 : instance 마다 확장기능 있음 -> 서비스 단위로 기능 확장 / Microsercie : 내부 서비스를 분리하여 coupling 낮춤, API로 통신

- load balancing - request 분배

ELB는 auato health? scaling 기능 가지고 있음

수평적 확장 - 하나의 ELB에 여러 수천대 instance

수직적 확장

<성능 비용 최적화>

웹의 부하를 낮추자 - AWS 블로그/LoadTestingOnAWS / 

- 정적 contents를 S3,cloudfrond(CDN service)로 이전 - autoscaling 하면 instance가 생겼다 사라졌다하는데 session 저장하면 안된다.

- web service의 session 정보를 줄이자. - DynamoDB와 ElasticCache(in-menory 관리형 캐시 서비스, 자주쓰는 query) 활용

- 동적 콘텐츠에도 cloud front 활용

auto scaling - cloudwatch metric을 통해 확장 구동

*1천만 사용자

DB의 write를 peration에 대한 부하 해결 방안

DB 연합(페더레이션)

수평적 확장(샤딩)

NoSQL 이전 / join이 필요 없는 데이터 들은 비싼 RDB 사용할 필요 없음

Partner Session

메가존과 함께하는 클라우드 컴퓨팅 (여현구 매니저 / Megazone Solutions Architect)

부제 : HPC on AWS

자료 : http://www.slideshare.net/awskorea/aws-69073312

High Performance Computing 고성능 컴퓨터 = 슈퍼 컴퓨터

옛날에는 과학, 공학에서 HPC가 사용됬다면 현재는 IoT, Big Data 분석, mobile 등 다양한 분야에서 사용됨

AWS에서 HPC를 사용하는 장점

무제한 확장성, 효율적인 클렌터 인프라 관리, 동시 진행해야하는 작업에 대한 공동작업률 향상, 온디맨드 병렬 클러스터, 빠른 결과 도 출, 유연한 가격 책정으로 저렴한 비용 절감

AWS HPC 적용 서비스 : EC2,EBS,S3,Auto Scaling, AWS Cloud Formation, Amazon Cloud Watch, UPC(네트워크 환경 구성)

spot instance : 특정 시간대에 많은 core가 필요한 HPC 환경에 적합한 sport instance에 대해 입찰을 통해 demend 보다 90%정도 저렴하게 비용 절감 가능.

- On-demand : 장기 계약 없이 시간당 과금으로 사용한 만큼만 과금되는 구조. Spicky한 이벤트성 워크로드, 일반적인 온디멘드 모델

- Reserved : 1년 혹은 3년의 장기 계약으로 one-time free가 포함되며 이를 통해 Discount를 받는 가격 모델, 3년 RI 적용 시 인스턴스에 따라 On-Demand 대비 76% 절감

- Sopt : AWS가 보유한 Capcity 중 사용하지 않고 있는 부분에 대해 입찰을 통해 고객에게 최대 90% 저렴하게 사용가능, HPC와 같은 워크로드에 적합

Session3

새로운 비즈니스 창출을 위한 빅데이터 활용 (김일호 매니저 / AWS Solutions Architect)

자료 : http://www.slideshare.net/awskorea/aws-68890427

DW : Amazon Redshift

Big Data의 핵심은 storagae , 데이터를 잃어버리지 않는 것.

수십억 데이터에 대한 query 수행할 때 DW

s3 - file system 으로 data 저장

케네시스 : log streaming

computing 자원은 issue가 생겨도 다시 할 수 있다.

AWS의 모든 서비스는 API를 제공 / console에서 직접 click 안해도 java, 닷넷등의 응용 프로그램에서 API call을 통해 data를 넣을 수 있다.

EMR (elastic map reduce )

빅데이터 분석 과정

1)데이터 생성(generation)

2)저장 ( collection & storage)

source - log 생성

affregation tool - log 수집

data sink - log 저장

hot data : access 가 많고 빨리빨리 누적됨

kinesis - 광고, 게임

ex) 내가 게임에서 자꾸 죽을 때 바로바로 log를 stream으로 넘겨서 분석하면 이사람에게 방어구를 홍보해서 사게하자. 이렇게 할 수 있다. 이런 것은 batch성으로 일주일 후에 정보 알아봤자 무쓸모니까.

안전하게 데이터를 모아야한다

3)분석& 저장(analytics & computation)

4)output 고민 ( sharing & collaboration)

- dashboard, report 같은 것으로 볼 수 있어야 한다.