여러가지 대용량 소스에서, 수집및 집계처리를 된 정보를 분산처리하는 시스템 도메인 목적없이 이러한 구조가 필요할때를 대비하여 구현시도기능 목표:다양한 잡(배치/실시간/크롤)에의한 데이터 수집및 집계처리분산 데이터 동일성유지실시간 반영 가능구조저장소의 분산화를 통한 대량 서비스연동예정 SpecSpring BatchJPA Curd RepositoryH2 Local DBAkka ActorKafka/Spark/Hadoob 등메시지 전송을 위해 Kafka같은게 없거나 쓸만한 로컬Db가 없어 로우패킷을 설계하거나 파일을 byte단위로 핸들링 하던때는위와같은 아키텍쳐를 그려내면 몽상가 취급을 받았을것이나...,요즘은 몇가지 잘쓰이는 오픈 기술들을 이해하고 적절히 배치하여 상호 연동하게 하는것이 비교적 수월해졌다.어떠한 기술을 사용하기 위해 각기다른 불편한 셋팅 과정과 귀찮니즘만 극복하면 될듯하다.개발 예정 Link:All-inOne Batch
올인원 스마트 배치
여러가지 대용량 소스에서, 수집및 집계처리를 된 정보를 분산처리하는 시스템
도메인 목적없이 이러한 구조가 필요할때를 대비하여 구현시도
기능 목표:
연동예정 Spec
메시지 전송을 위해 Kafka같은게 없거나 쓸만한 로컬Db가 없어 로우패킷을 설계하거나 파일을 byte단위로 핸들링 하던때는
위와같은 아키텍쳐를 그려내면 몽상가 취급을 받았을것이나...,
요즘은 몇가지 잘쓰이는 오픈 기술들을 이해하고 적절히 배치하여 상호 연동하게 하는것이 비교적 수월해졌다.
어떠한 기술을 사용하기 위해 각기다른 불편한 셋팅 과정과 귀찮니즘만 극복하면 될듯하다.
개발 예정 Link:
All-inOne Batch