Page History
| Info |
|---|
오늘날 우리가 인터넷에서 서비스를 사용하는 방식은 다운로드하거나 혹은 데이터 전송을 비롯한 많은 스트리밍 데이터 인스턴스를 포함하고 있습니다. TCP의 데이터를 전송하고 수신하는 방식이 일치하기 때문에 소비자가 소비하기위해 읽는 동안만 존재하는 일시적인 개념을 스트림이라고 표현할수 있습니다. 액터 또한 스트림을 다루는것으로 볼수 있습니다. 스트림은 생산자와 소비자사이에 지속적으로 발생하는것이며 쌓아두지 않고 바로 소비하고 원활한 흐름을 위해 중재할 필요가 있다란 것입니다스트림처리에 대해 중재할 무언가가 필요하다란것입니다. |
스트림처리가 필요한 이유
...
그림예: Akka에서 발생한 스트림데이터를 바로 소비하여 Kafka로 흘러보내는 전략 ( Sink대상은 하둡이 될수도 있습니다.)
우리의 서비스는 생산자로부터 끊임없는 데이터가 발생하게 되며, 그것이 집결되어 대량의 데이터가
쌓인 지점을 빅데이터라고 가정해봅시다. 스트림처리의 반대가 패치(일정시간 모아둔데이터를 한꺼번에 처리)이며
패치전략은 수행되는 동안 많은 메모리와 CPU를 사용하며 그것을 소비하기전 어느 저장공간에 모두 담아야합니다.
또한 소비를 위해 중앙저장장치에 이중 부하를 주게되며 결론적으로 빅데이터 처리 반영이 패치시간에 의존적이게 됩니다.
아카 스트림 전략은 생산자로 부터 데이터가 발생하면(Source) 그것을 오랫동안 담아두지않고
바로 소비를하고 (Sink) 실시간으로 활용할수 있다란 점입니다. 이것은 AkkaStream의 기능을 떠나서
빅데이터 처리를 위한 중요한 중간 과정입니다.
AkkaStreams
...
스트림처리 설정을 공식화하고 직관적이고 안전한 방법을 제공하기위해
...
서로 다른 스트리밍 구현이 상호 운영될수 있도록하는 Reactive Streams의 프로젝트의 기대치와 일치합니다.
스트림처리가 필요한 이유
그림예: Akka에서 발생한 스트림데이터를 바로 소비하여 Kafka로 흘러보내는 전략
우리의 서비스 데이터는 생산자로부터 끊임없는 데이터가 발생하게 되며, 그것이 집결되어 대량의 데이터가
쌓인 지점을 빅데이터라고 가정해봅시다. 스트림처리의 반대가 패치(일정시간 모아둔데이터를 한꺼번에 처리)라고
가정해봅시다. 패치전략은 수행되는 동안 많은 메모리와 CPU를 사용하며 그것을 소비하기전 어느 저장공간에 담아야하며,
또한 소비를 위해 중앙저장장치에 부하를 주게되며 결론적으로 데이터 반영이 패치시간에 의존적이게 됩니다.
아카 스트림 전략은 생산자로 부터 데이터가 발생하면(Source) 그것을 오랫동안 담아두지않고
바로 소비를하고 (Sink) 실시간으로 활용할수 있다란 점입니다.
설치
...
패키지 이름 : Akka.Streams