오늘날 우리가 인터넷에서 서비스를 사용하는 방식은 데이터 전송을 비롯한 많은
스트리밍 데이터 인스턴스를 포함하고 있습니다.
그것이 다운로드 서비스이든,영화스트리밍 서비스이든 대용량의 데이터를 우리의
어플리케이션이 가진 메모리와 네트워크대역으로는 순간적으로 처리할수가 없습니다.
스트리밍은 항상 생산자와 소비자로 구분되어 있으며 어떻게 생산자와 소비자의 다양한 속도차이를
고려하여 잘처리하느냐에 대한 고민이 필요합니다.
akka-stream은 스트림처리에 제약을 거는 방법을 제공하여 이러한 문제에대한 해법을 제공하며
나아가 스트림을 사용하여 외부 시스템과의 통합하는 방법도 제공합니다.
스트림처리가 필요한 이유
그림예: 서비스에서 발생한 스트림데이터를 다양한방법으로 처리하여 Kafka로 흘러보내는 전략
( Sink대상은 자신의 서비스일수도 있고 다른 대상이 될수도 있습니다.)
우리의 서비스는 생산자로부터 끊임없는 데이터가 발생하게 되며, 그것을 집결하여 대량의 데이터가
쌓인 지점을 빅데이터라고 가정해봅시다. 스트림처리의 반대가 배치(일정시간 모아둔데이터를 한꺼번에 처리)라고 가정하면
배치전략은 그것을 소비하기전 어느 저장공간에 모두 담아야하고 다시 꺼내는 방법을 사용합니다.
이것은 결론적으로 생산에 걸리는 주기가 길어지며 부하가 집중될뿐아니라, 메모리자원을 완전하게 소모할수도 있습니다.
아카 스트림 전략은 생산자로 부터 데이터가 발생하면(Source) 그것을 오랫동안 담아두지않고
바로 소비를하고 (Sink) 생산활동으로 이어나가는 것입니다. 또한 그속도를 안정적으로 조절할수 있다란 것입니다.
빅데이터처리는 여기서 설명하는 주제에 포함이 되지 않으나, 스트림 파이프라인 구성은 빅데이터 처리를 위한 중요한 중간 과정입니다.
AkkaStreams
스트림처리 설정을 공식화하고 직관적이고 안전한 방법을 제공하기위해
AKKA Sterames API는 다음과 같은 기능을 제공합니다.
고정된 유형의 요소 전송에대한 정적전송 보장
데이터를 일부 CPU를 통해 스트림으로 순차공급
안정적인 전송을위한 오버플로방지및 손실보정
안정적인 처리를위해 생산자의 속도를 늦출수 있는 방법
Reactive Streams
여러 기업들이 모여 Reactive Streams에 대한 표준을 정의 하였습니다.
Reactive Stream은 구현체가 아니라, 이것을 구현하기위한 스펙입니다. ( http://www.reactive-streams.org/ )
이것에 대한 스펙은 네트워크상의 비동기처리 ,비 블로킹,이벤트 기반 데이터 처리등에 대한 다양한 공통 스펙을
표준화 하는것입니다. 그리고 이것은 개발 플래폼,시스템경계가 틀려도 공통적으로 소통및 적용할수
있는 구현 방향 목표를 제시 하는것입니다.
Akka Streams는 내부적으로 Reactive Streams 인터페이스를 사용하며, AKKA를 사용하는 최종 사용자를 대상으로 제공되며
두 인터페이스는 다르지만 서로 다른 스트리밍 구현이 상호 운영될수 있도록하는 Reactive Streams의 프로젝트의 기대치와 일치합니다.
설치
패키지 이름 : Akka.Streams
AKKA에서는 이러한 스트림처리를 위해 별도의 API를 제공합니다.