Page History
Test Results Summary
LoadTest의 고뇌
한번도 ( 한번도 못할수도 있지만 한번하면 한번만 하고 싶은 로드 테스트 과정 )
LoadTest's agony (a load test you might want to do once, but not once)
- RampUp/Down Time을 설정하여 피크타임까지 사용자를 실제 시나리오와 유사하게 늘리고 뺌 -
By setting the RampUp / Down Time, users can be increased to the peak time, similar to the actual scenario.
- 목표 TPS만큼 테스트가 안되면 테스트 통과 실패 -
Failed test if target TPS is not tested
- TPS가 높아도 목표 사용자수가 안되면 테스트 통과 실패 -
Test pass failure if TPS is high but the number of target users is not enough - 목표한 API 허용 에러률(1%)보다 목표한 API 허용 에러률(1%)보다 높아도 테스트 통과 실패 (스크립트 오류및 테스트 노드장비 문제일수도 있음) -
Test pass failure (possibly a script error and test node equipment problem) even higher than the targeted API tolerance error rate (1%)
- 로드 테스트를 너무 많이해서 DB FUll이 나서 테스트 통과 실패 -
Too many load tests, DB FUll and test fail - 알수없는 이유로 여러개의 노드중 1개의 노드가 Crash되어도 테스트 통과 실패 ( 에러율이 1%보다 높아짐)
- 에러율이 낮아도 짧은기간에 에러 집중되면 테스트 통과 실패
- -
If one of the nodes is crashed for unknown reasons, the test fails (the error rate is higher than 1%). - 에러율이 낮아도 짧은기간에 에러 집중되면 테스트 통과 실패 -
If the error rate is low but errors are concentrated in a short period of time, - 테스트를 모두 통과해도, 테스트를 모두 통과해도, 평균 허용치 CPU(80%)사용율을 특정시간동안 지속되면 테스트 실패 -
If the test passes all but the average tolerance CPU (80%) utilization lasts for a certain amount of time, the test fails - 코드수정및 스케일 아웃처리로 모든 로드 테스트를 통과해도, 이미 통과한 QA Sign OFF를 다시 받아야함, 이과정중 Codefix가 발생하면 다시 로드 테스트 수행 수행 -
If you pass all load tests with code modification and scale-out processing, you must re-receive the QA Sign OFF that has already passed. If Codefix occurs during this process,
- 서버가 대용량 처리가 안정화 되어 ,장시간 테스트시 결국 분산 테스트툴보다 더 오래 버팀 서버가 대용량 처리가 안정화 되어 ,장시간 테스트시 결국 분산 테스트툴보다 더 오래 버팀 (분산 테스트툴을 주기적으로 리셋해야되는 상황발생) -
The server has stabilized large-scale processing, and after a long period of testing, it eventually runs longer than the distributed test tool (a situation where the distributed test tool periodically needs to be reset)
- 이모든 장벽을 다통과해도 테스트 시나리오때 누락된 테스트항목으로 문제발생 ( 사용자 플래폼 변경에 따른 레거시 → 신규서비스 전환 테스트 미스) - 레거시 테스트 시나리오까지 작성하기 어려움테스트항목으로 문제발생 ( 사용자 플래폼 변경에 따른 레거시 → 신규서비스 전환 테스트 미스) - 레거시 테스트 시나리오까지 작성하기 어려움 -
Problems with missing test items in test scenarios even if all the barriers are passed through (legacy → new service conversion test due to user platform change) - difficulty in creating legacy test scenarios
- 이쯤되면 노하우보다 예지력이 생겨서 HotFix , 신규서비스(html5) 전환 성공 ,
...
- -
At this point, know-how is more predictive than HotFix, new service (html5) conversion success,
Daily LoadTest
스크립트자체 검증과 서버검증을 통과할떄까지 수행
...
-
Performs until it passes script self-validation and server validation
Expand | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
...