Page History
| Info |
|---|
오늘날 우리가 인터넷에서 서비스를 사용하는 방식은 다운로드하거나 혹은 데이터 전송을 비롯한 많은 스트리밍 데이터 인스턴스를 포함하고 있습니다. TCP의 데이터를 전송하고 수신하는 방식이 일치하기 때문에 소비자가 소비하기위해 읽는 동안만 존재하는 일시적인 개념을 스트림이라고 표현할수 있습니다. 액터 또한 스트림을 다루는것으로 볼수 있습니다. 스트림은 생산자와 소비자사이에 지속적으로 발생하는것이며 그것이 다운로드 서비스이든,영화스트리밍 서비스이든 대용량의 데이터를 우리의 어플리케이션이 가진 메모리와 네트워크대역으로는 순간적으로 처리할수가 없습니다. 스트리밍은 항상 생산자와 소비자로 구분되어 있으며 어떻게 생산자와 소비자의 다양한 속도차이를 고려하여 잘처리하느냐에 대한 고민이 필요합니다. akka-stream은 스트림처리에 제약을 거는 방법을 제공하여 이러한 문제에대한 해법을 제공하며 나아가 스트림을 사용하여 외부 시스템과의 통합하는 방법도 제공합니다쌓아두지 않고 바로 소비하고 원활한 흐름을 위해 스트림처리에 대해 중재할 무언가가 필요하다란것입니다. |
스트림처리가 필요한 이유
...
그림예: Akka에서 서비스에서 발생한 스트림데이터를 바로 소비하여 다양한방법으로 처리하여 Kafka로 흘러보내는 전략
( Sink대상은 하둡이 자신의 서비스일수도 있고 다른 대상이 될수도 있습니다.)
우리의 우리의 서비스는 생산자로부터 끊임없는 데이터가 발생하게 되며, 그것이 집결되어 그것을 집결하여 대량의 데이터가
쌓인 지점을 빅데이터라고 가정해봅시다. 스트림처리의 반대가 패치배치(일정시간 모아둔데이터를 한꺼번에 처리)이며라고 가정하면
배치전략은 패치전략은 수행되는 동안 많은 메모리와 CPU를 사용하며 그것을 소비하기전 어느 저장공간에 모두 담아야합니다담아야하고 다시 꺼내는 방법을 사용합니다.
또한 소비를 위해 중앙저장장치에 이중 부하를 주게되며 결론적으로 빅데이터 처리 반영이 패치시간에 의존적이게 됩니다이것은 결론적으로 생산에 걸리는 주기가 길어지며 부하가 집중될뿐아니라, 메모리자원을 완전하게 소모할수도 있습니다.
아카 스트림 전략은 생산자로 부터 데이터가 발생하면(Source) 그것을 오랫동안 담아두지않고
바로 소비를하고 (Sink) 실시간으로 활용할수 있다란 점입니다. 이것은 AkkaStream의 기능을 떠나서생산활동으로 이어나가는 것입니다. 또한 그속도를 안정적으로 조절할수 있다란 것입니다.
빅데이터처리는 여기서 설명하는 주제에 포함이 되지 않으나, 스트림 파이프라인 구성은 빅데이터 처리를 위한 중요한 중간 과정입니다.
...
Akka Streams는 내부적으로 Reactive Streams 인터페이스를 사용하며, AKKA를 사용하는 최종 사용자를 대상으로 제공되며
두 인터페이스는 다르지만 서로 다른 스트리밍 구현이 상호 운영될수 있도록하는 Reactive Streams의 프로젝트의 기대치와 일치합니다.
설치
...
패키지 이름 : Akka.Streams
AKKA에서는 이러한 스트림처리를 위해 별도의 API를 제공합니다.
실습
...
| Children Display |
|---|