EKS Distro는 Amazon EKS에서 배포한 것과 동일한 Kubernetes 오픈소스 지원 배포판이다. 올해 출시 된 EKS Anywhere의 기반이 되는 소스이다. (EKS Anywhere에 대한 기대가 크다. On-Prem에서도 AWS를 사용할 수 있으니, Cloud로의 전환 및 Hybrid 운영이 훨씬 편리해진다.) Public Cloud로의 전환이 이루어지고 있지만, 모든 워크로드를 전환시킬 수 없다. 분명히 On-Prem 장비에서 운영해야 하는 워크로드들이 존재한다. AWS 역시 이러한 고민을 아래 EKS Anywhere 서비스가 나오는 것 아닐까 싶다. EKS Distro는 오픈소스이므로 AWS의 지원은 받을 수 없고, 커뮤니티를 통해 도움 받아야 한다. 본문에서는 AWS EC2에서 E..

1. 설명 1.1 Kinesis Data Streams Amazon Kinesis Data Streams는 데이터를 실시간으로 수집하고, 저장하여 데이터를 사용(소비) 할 수 있는 상태로 만든다. Kinesis Data Streams 아키텍처는 다음과 같다. Producer는 지속적으로 Kinesis Data Streams에 데이터를 푸시하고, Consumer는 실시간으로 데이터를 처리한다. Shard는 Stream에서 고유하게 식별되는 데이터 레코드 시퀀스이다. Stream은 1개 이상의 Shard로 구성된다. 각 Shard는 고정된 용량을 제공하고, Stream의 총 용량은 해당 Shard의 용량의 합계가 된다. 데이터 속도가 증가하면 Stream에 할당된 Shard 수를 늘리거나 줄일 수 있다(리샤..

1. 설명 1.1 Storage gateway 기능 및 종류 AWS Storage Gateway는 온프레미스 환경과 AWS 스토리지 인프라 사이의 연결을 서비스한다. Storage Gateway는 3가지 종류로 선택할 수 있다. 파일 게이트웨이 : NFS 또는 SMB에서 S3에 대한 파일 인터페이스를 지원한다. 볼륨 게이트웨이 : 온프레미스 볼륨 데이터 전체를 저장하고, AWS에 특정 시점의 스냅샷을 주기적으로 저장한다. 테이프 게이트웨이 : 가상 테이프 라이브러리(VTL) 인터페이스를 통하여 테이프 기반 백업을 지원한다. 1.2 Storage gateway 작동 방식 아래는 파일 게이트웨이의 배포를 나타낸 것이다. 게이트웨이용 VM 이미지를 다운로드하여 게이트웨이의 사용을 준비한다. (EC2에 구성 가..

1. 설명 Redshift는 클라우드 데이터 웨어하우스이다. 데이터 작업을 빠르고 간단하게 수행하고, AWS 에코시스템에 손쉽게 연결할 수 있도록 한다. Redshift를 사용하는 일반적인 프로세스는 다음과 같다. 사용할 데이터를 S3에 적재하고, Redshift에 로드하여 데이터를 분석한다. 본문에서는 샘플 데이터(미국 항공사 데이터)를 S3에 적재하고, 이를 로드하여 데이터를 분석한다. 2. Redshift 구성 및 연결 Redshift 클러스터를 구성한다. 클러스터 식별자와 노드 유형, 노드 수를 입력한다. 데이터베이스를 구성한다. 데이터베이스 이름, 마스터 계정 이름 및 비밀번호를 입력한다. 구성할 VPC 및 보안그룹을 지정하고, 클러스터를 생성한다. 클러스터의 속성을 확인하고, 생성을 기다린다...

1. 서비스 설명 DataSync는 온라인 데이터 전송 서비스로, AWS 스토리지에서 송수신되는 대량의 데이터 복사를 간소화, 자동화할 수 있게 한다. NFS, SMB 파일 서버, Amazon S3, Amazon EFS 또는 Amazon FSx for Windows File Server 간에 데이터를 복사할 수 있다. 2. 구성 방법 2.1 EC2 Agent 구성 EC2에 Agent를 설치한다. AMI를 이용하여 Agent를 설치할 수 있다. (AMI명은 ami-035a164051e598dd5이다.) 리소스가 존재하는 리전에서 AMI를 이용하여 EC2를 생성한다. AWS에서는 Agent 설치 권장사항이 존재한다. (볼륨 80GB, m5.2xlarge or m5.4xlarge) 2.2 Endpoint 생성..

본문에서는 CloudWatch Alarms과 Lambda를 이용하여 사용자에게 리소스 상황을 Slack으로 notification을 하도록 구성한다. 1. 사전 준비 1.1 Slack Webhook URL 생성 Slack에서 'incomming webhooks'을 검색하여 설치한다. notification을 받을 채널을 선택한다. Webhook URL을 생성한다. 이 주소는 추후 Lambda에서 사용된다. 다음과 같이 curl 명령으로 해당 주소에 테스트 메세지를 보내면, 수신되는 것을 확인할 수 있다. 1.2 AWS Key 생성 AWS CLI를 통해 키를 생성하고 KeyId를 저장한다. aws kms create-key --region ap-northeast-2 해당되는 KeyId와 Slack URL를..