You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 10 Next »

Azure 의 EventHub를 셋팅하고  .Net Core Akka-Kafka Stream으로 연결을 시도해보았습니다.

전반적인 느낌은, KAFKA의 기능을 흡수한 KAFKA-SASS 였으며 

KAFKA의 셋팅과 토픽관리를 Azure 포털로 간편하게 할수 있었습니다.


AkkaKafkaStream기를 선택한 이유는, 스트림기에 연결하는 클라이트역시 그에 준하는

스트림 처리능력이 있어야한다는 지론입니다.

Event Hub소개

Event Hubs는 구성 또는 관리 오버헤드가 거의 없는 완전 관리형 PaaS(Platform-as-a-Service)이므로 비즈니스 솔루션에 집중할 수 있습니다. Apache Kafka 에코시스템을 위한 Event Hubs는 클러스터를 관리, 구성 또는 실행할 필요가 없는 PaaS Kafka 환경을 제공합니다.


주요 아키텍처

  • 이벤트 생산자: 이벤트 허브에 데이터를 보내는 엔터티입니다. 이벤트 게시자는 HTTPS 또는 AMQP 1.0 또는 Apache Kafka 1.0 이상을 사용하여 이벤트를 게시할 수 있습니다.
  • 파티션: 각 소비자는 메시지 스트림의 특정 하위 세트 또는 파티션만 읽습니다.
  • 소비자 그룹: 전체 이벤트 허브의 보기(상태, 위치 또는 오프셋)입니다. 소비자 그룹을 사용하면 각기 별도의 이벤트 스트림 보기가 표시되는 애플리케이션을 사용할 수 있습니다. 소비자는 자신의 속도로 자신의 오프셋을 통해 독립적으로 스트림을 읽습니다.
  • 처리량 단위: Event Hubs의 처리량 용량을 제어하는 미리 구입한 용량 단위입니다.
  • 이벤트 수신기: 이벤트 허브에서 이벤트 데이터를 읽는 엔터티입니다. 모든 Event Hubs 소비자는 AMQP 1.0 세션을 통해 연결합니다. Event Hubs 서비스는 사용할 수 있게 되면 세션을 통해 이벤트를 제공합니다. 모든 Kafka 소비자는 Kafka 프로토콜 1.0 이상을 통해 연결합니다.


개념적 맵핑

항목(Topic) 만들기

가격



생성

자세한 정보 : https://docs.microsoft.com/ko-kr/azure/event-hubs/event-hubs-create


모니터링



SAS 정책추가


Akka.net Kafka Stream 연결하기

종속성

    <PackageReference Include="Akka" Version="1.4.12" />
    <PackageReference Include="Akka.Streams" Version="1.4.12" />
    <PackageReference Include="Akka.Streams.Kafka" Version="1.1.0" />
    <PackageReference Include="Akka.Cluster" Version="1.4.12" />




참고링크


  • No labels