Amazon Kinesis Data Streams, Kinesis Data Firehose 이용하여 로그 데이터 수집/저장

1. 설명 1.1 Kinesis Data Streams Amazon Kinesis Data Streams는 데이터를 실시간으로 수집하고, 저장하여 데이터를 사용(소비) 할 수 있는 상태로 만든다. Kinesis Data Streams 아키텍처는 다음과 같다. Producer는 지속적으로 Kinesis Data Streams에 데이터를 푸시하고, Consumer는 실시간으로 데이터를 처리한다. Shard는 Stream에서 고유하게 식별되는 데이터 레코드 시퀀스이다. Stream은 1개 이상의 Shard로 구성된다. 각 Shard는 고정된 용량을 제공하고, Stream의 총 용량은 해당 Shard의 용량의 합계가 된다. 데이터 속도가 증가하면 Stream에 할당된 Shard 수를 늘리거나 줄일 수 있다(리샤..

2020.05.04