Real time performance counters

어플리케이션에서 생성하는 정보를 분석하고,모니터링 하기 위해서 다음과 같은 방법을 가장 많이 사용합니다.

로그를 적재한다. ( Nlog,Log4j등등 모듈)
로그를 통합한다. ( 엘라서틱 로그 스태쉬)
로그를 데시보드화하고 분석한다 ( 키바나등 )

하지만, 너무나 큰 대용량 처리횟수에대해 실시간성으로 모니터링을 하고 싶다고 하면

Matrix를 활용 합니다. 시간별 CPU변화량,네트워크 변화량 등에 일반적으로 사용되고 있으며

매 이벤트마다 로그를 기록하는 방식이아니고, 증분의 값을 주기적인 시간에 측정함으로

대용량 실시간 카운팅을 측정하는데 효율적입니다.

대용량 처리 이벤트 방법 선택

자체 큐시스템을 가지고 있는 액터의 스펙을 살펴보겠습니다.

링크 : https://akka.io/

초당 5천만 메시지를 커버 할수 있으며, 실시간 모니터링 객체(이벤트를 받아주는)로 사용하기 충분한 스펙을 가지고 있습니다.

네트워크로 확장시, 액터는 Netty에 기반한 고성능 TCP 프로토콜을 사용하며,Netty 자체는 단일서버 160만tps의 성능을 낼수 있습니다.

Akka Remote의 추상화로 인해 TPS 저하는 일어날수 있지만, 당장 더 빠른 모듈을 찾기는 어려워 보입니다.

Netty 참고 성능표 : https://github.com/ronenhamias/netty-perf-testing/wiki/Netty-3-Throughput-test

Akka를 사용하지 않는 기존 시스템은 변경없이, 도메인 이벤트 카운팅 모니터링 기능만을 빌트인해보겠습니다.

액터 모니터링 시스템 탑재하기

using Akka.Monitoring;
using Akka.Monitoring.ApplicationInsights;
using Akka.Monitoring.Datadog;
using Akka.Monitoring.PerformanceCounters;
using Akka.Monitoring.Prometheus;

var MonitorTool = Environment.GetEnvironmentVariable("MonitorTool");
var MonitorToolCon = Environment.GetEnvironmentVariable("MonitorToolCon");

switch (MonitorTool)
{
	case "win":
		var win = ActorMonitoringExtension.RegisterMonitor(actorSystem,
			new ActorPerformanceCountersMonitor(
				new CustomMetrics
				{
					Counters = { "akka.custom.metric1", "akkacore.message" },
					Gauges = { "akka.messageboxsize" },
					Timers = { "akka.handlertime" }
				}));
		break;
	case "azure":
		var azure = ActorMonitoringExtension.RegisterMonitor(actorSystem, new ActorAppInsightsMonitor(appConfig.MonitorToolCon));
		break;
	case "prometheus":
		// prometheusMonotor 를 사용하기위해서, MerticServer를 켠다...(수집형 모니터,Agent탑재)
		// http://localhost:10250/metrics  - 여기서 제공되는 metrics의 포맺과 호환되는 여러종류의 데시보드들과 연동하여 시각화가능합니다.
		metricServer = new MetricServer(10250);
		metricServer.Start();
		var prometheus = ActorMonitoringExtension.RegisterMonitor(actorSystem, new ActorPrometheusMonitor(actorSystem));
		break;
	case "datadog":
		var statsdConfig = new StatsdConfig
		{
			StatsdServerName = MonitorToolCon
		};
		var dataDog = ActorMonitoringExtension.
			RegisterMonitor(actorSystem, new ActorDatadogMonitor(statsdConfig));
		break;
}

대표적인 매트릭스 기반 모니터링 시스템인, 윈도우 성능 프로파일러 / 애져 AppInsight / Promethes /DataDog 3가지 모두 연동가능하며

다양한 연동 라이브러리는 누겟에 지속적으로 추가됩니다.

윈도우 성능 프로파일러 : 로컬에서 극단적인 퍼포먼스 검증시 활용( 물론 개발장비가 윈도우여야함)
Azure AppinSight : 성능 프로파일을 Azure 클라우드 데시보드로 통합하고자 할때
Phomethes : 오픈 진영의 성능 프로파일러 데시보드와 연동을 할때 ( Grafana , DataDog등과 연동이 가능해집니다.)

기존 액터 시스템에 모니터링 툴을 탑재함으로, 모든 구현된 기존 액터 객체(모니터링 액터)들은 모니터링 기능을 탑재하게 됩니다.

카운팅 이벤트 발생

// 사용부 : 10만 이벤트 발생
for (int i = 0; i < 100000; i++)
    MonitorActor.Tell(value);

// 구현부 : 카운팅 이벤트를 발생할수 있음
ReceiveAsync<string>(async msg =>
{
    int auto_delay = random.Next(1, 100);  //1 이벤트를 임의로 지연 ( 특정 도메인기능 수행한다고 가정 )
    await Task.Delay(auto_delay);
    Context.IncrementCounter("akka.custom.metric1");  // 1단위로 증가
    Context.IncrementCounter("akka.custom.metric2",100); // 특정 단위로 증가(만약 100개 벌크 처리받았다고 하면 100카운팅 증가를 한번에할수 있습니다.)
});

특정 네임스페이스("akka.custom.metri1") 에 이벤트가 발생할때마다, 카운팅을 추가할수 있습니다.

본 샘플 프로젝트에서는, 10만 이벤트를 1분이내에 처리하도록 구현되었으며

100만 이벤트도 3분이내에 유실없이 측정 가능함을 테스트가 되었습니다.

이벤트 하나에 대응을 바로하여도 액터 메시징 큐는 충분한 성능을 가지고 있으나

모니터링 시스템이 일반적으로 10초주기로 증분값을 수집하기 때문에, 이벤트마다 매번 메모리값을(IncrementCount) 증가할 필요는 없습니다.

조금더 고성능을 위해 특정 시간이내에 집계된 카운팅을 증가하겠다고 하면