You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 50 Next »

JPA는 SQL문을 통해 어플리케이션을 작성했을때보다, 수많은 귀찮은 일을 하지 않아도된다는것을

실습을 통해 파악을 하였습니다. 하지만 실제 그것이 어떠한 SQL문을 수행하는지

또한 그 SQL문이 성능적으로 문제가 없는지 데이터베이스를 병행해서 공부해야하는 과제가 있습니다.

실행계획을 예상하고 측정하는것은 아주 광범위한 주제입니다.

데이터베이스를 공부했을때 성능에 관련된 실행계획은 SQL과 더불어 JPA에서도 이해해야하는 항목으로 생각됩니다.

실행계획 고려하기

SQL문을 해석하고 , 원하는 데이터 집합을  IO에서 빠르게 가져오기위한 노력으로

DB엔진은 구문분석후 효과적인 결과를 내기위해 실행계획을 세우게 되며

이것은 각각의 데이터베이스마다  차이가있습니다.

SQL문에서 이러한 실행 계획에대한 옵션을 직접 할수 없을뿐더러, 전적으로 DataBase에게 위임하게 됩니다. 

즉, JPA도 이러한 실행계획에 관여할수 없으며 이러한 실행계획을 확인하는 방법은 SQL문을 실제

실행하여 어떻게 작동되는지 확인하는것입니다.

이름명령어
Oracleset autotrace traceonly
MSSQLSET SHOWPLAN_TEXT_ON
DB2EXPLAIN ALL WITH SNAPSHOT FOR SQL 구문
PostreSQLEXPAIN SQL 구문
MySQLEXPLAIN SQL 구문


JPA Query Method TO SQL

JPASQL

studentList = findByGroupInfoName("학생")

SELECT * FROM user ui left join spring.group_info gi

on gi.group_id = ui.group_id and gi.name="학생"

JPA에 익숙하다면, 자신이 작성한 함수 인터페이스가,

어떠한 SQL문으로 변환되어 작동이 될지  예측할수도 있지만, JPA를 믿지 못하겠다고 가정해봅시다.

이럴때 아래옵션을 통해, 함수호출시마다 SQL문을 확인할수가 있습니다.

이것을 켜는 이유는 JPA가 어떠한 엉뚱한 SQL문을 만들어낼지?

불필요하게 중복호출을 하지 않는지?(사실 이게 가장 중요합니다.)  또는 그 SQL문이

제대로된 실행계획을 가지고 실행이되는지 검증을 하기 위함입니다.


JPA-SQL문 Trace

  • spring.jpa.properties.hibernate.show_sql=true
  • spring.jpa.properties.hibernate.use_sql_comments=true
  • spring.jpa.properties.hibernate.format_sql=true


어플리케이션의 JPA테스트코드와 SQL 실행을 Trace한 예

 JPA를 통해 작성된 인테페이스를 통해 어플리케이션에서 작동되는 실제 쿼리를 수행을 간단하게 할수가 있으며

어플리케이션 레벨에서 쿼리에관련된 TestCase 작성을 쉽게하고 또한 실제 작동되는 SQL문도 체크할수 있습니다.

소모적 반복적 SQL문 작성시간을 줄이고, 수많은 케이스를 유닛테스트로 전환될수 있을 가능성을 확인할수 있으며

이것은 데이터중심에서 메시지중심으로의 설계를 가능하게합니다. 

SQL문은 약간의 조건만 바뀌어도 쿼리를 새롭게 작성해야하며( 똑똑한 공통 SQL빌드가 없다고 가정)

그리고 약간의 기능차이로 인해 매번 새로운 SP를 DBMS에 등록하고 관리해야합니다.

형상관리가 비교적 쉽지 않은 SP를 장기간 운영하면, 심각하게는 30%이상이 사용되지 않는 코드가되며

그누구도 사용되지 않는 코드를 정리하지 못한채 존재하게 됩니다.  


JPA가 직접 SQL문을 수행합니다. 여기서 수많은 논쟁이 발생할수 있습니다.

  • A : SQL문을 어플리케이션에서 Type세이프(QueryDSL)하고 효율적인 방법으로 사용할수 있는 방법을 도입하였으며 DB호출을 방지하기위해 분산처리시켰습니다. 그런데 작동을 안합니다.
  • B: 쿼리튜닝에 관여할수 없으며 DBMS에서 관리할수 없으니, SELECT 권한이 없습니다.어플리케이션은 SP로만 사용해주세요 SP방식이 무조건 성능이좋습니다.
  • A : 운영 데이터가 꼬인것같습니다. A,B테이블에서 X조건이되는 게 문제인듯보입니다. 다른사람이 만든 SP에서 뭔가 잘못된거같습니다. 데이터 검증부탁드립니다.
  • B: 제가 왜 여러분이 만든문제를 일일이신경쓰야합니까? 알아서 찾으십시오
  • A : 형상관리가되는 어플리케이션을 통해 문제를 자동으로 찾고싶습니다. 어플리케이션에 Select권한을 주십시오
  • B: 정책상 어플리케이션이 쿼리를 하면 안됩니다. 운영처리해야하니... 개인계정을 추가하고 임시 Select권한을 드릴테니 직접 문제를 찾으십시오
  • A: 이문제를 찾는 SP를 작성하였습니다. 직접 호출하여 문제를 분석할테니 개인에게 SP실행권한을 주십시오
  • B: 정책상 개발자에게 SP 실행권한을 줄수 없습니다. 정상 디플로이된 어플리케이션을 통해 실행하십시오


개발자가 직접 운영DB에 접근을 해야하는 문제와 ,어플리케이션은 SP로만 작성되어야한다란 문제에서 충돌 과정입니다.

다소 극단적으로 상황을 만들어 냈지만.....이것은 DBMS의 차이로 정채이 그렇게되어야 한다고 결론내리는 DBA분도 계십니다.

MSSQL은 SP방식이 올바른거임, 오라클은 SP안쓰는게 올바른거임

본질적인 차이는

  • MSDBMS에서는 SP를 관리하는툴이 시각적으로나 튜닝적요소로 발전을 해왔고
  • 오라클에서는 성능개선점을 쿼리튜닝에 포인트를 두면서 발전을 해왔습니다.

그래서 어플리케이션에서 MSDB를 사용하면 SP를 사용해야하고 오라클을 사용하면 쿼리방식을 사용해야했습니다.

이것은 데이터 중심적 개발도 아니고... DBA중심적 개발방식입니다. 결코 오라클이나 MS가 결정한 사항이 아니란것입니다.


사실 JAVA진영은 오픈진영이기때문에 표준으로 자리잡는데 까지 시간이 오래걸립니다.

JAVA ORM 스펙정의는 10년이상 진행해왔고..,이제는 안정적으로 자리를 잡았으며

JPA로 완성단계이 이르렀습니다.


MS도 살펴보면 LINQ와 함께 ORM(Entity라이브러리) 의 스펙정의및 라이브러리화는

이미 오래전에 진행되었고 Asp.net에 EnterPrise Entity 를 자연스럽게 통합하고

Asp.net 개발자는 SP개발을 EnterPrise 라이브러리를 통해 SP맵핑을 사용해왔습니다.

그렇기때문에 MSSQL은 SP로만 사용해야해 라고 오판하고 있습니다. 사실 MS진영에

ORM을 LINQ와 함께 사용하는것은 JAVA에 JPA를 추가하는것보다 훨씬 쉽습니다.

이미 내장화가 되어있으니까요... EnterPrice Entity 는 말그대로 ORM을 구현하겠다란 네이밍입니다.

https://msdn.microsoft.com/en-us/library/aa937723(v=vs.113).aspx


실행계획 조사하기

Trace된 SQL문을 그대로 복사하여, 실행계획을 조사합니다. 매번 이러한 과정을 거칠필요는 없을듯보이며

SQL방식이던 JPA방식이던..., 성능에 의심이가는 부분에대해서는 개발방식과는 별개로 측정되고 분석되어야하는

사항입니다.


실행계획 콘솔모드

실행계획 시각화

참고:DB Management Tool에 따라서 실행계획 시각화기능을 제공하기도합니다.(MSSQL)


실행계획의 출력포맺은 DB마다 다르지만 공통적인 요소가 있습니다.

  • 조작대상 객체
  • 객체에 대한 조작의 종류
  • 조작 대상이 되는 레코드 수
  • 호출 계층


순차 풀스캔 VS 인덱스 스캔

엔티티의 설계

@Entity
public class User {
	private String name;

	@ManyToOne
	@JoinColumn(name = "GROUP_ID",nullable = true)
    private GroupInfo groupInfo;
}
ManyToOne은 JPA에서 관계도 형성을 하는 어노테이션으로서 실제 데이터베이스에서는
아래와같이 테이블생성시 외래키 설정및 인덱스 설정이 자동으로 수행되게 됩니다.
KEY `FKa36i4ekojwk70bxen390i6tek` (`group_id`) USING BTREE,
CONSTRAINT `FKa36i4ekojwk70bxen390i6tek` FOREIGN KEY (`group_id`) REFERENCES `group_info` (`group_id`)

순차풀스캔

JPASQL
findByName("Minsu")SELECT * FROM user where name = 'minsu2';

Name필드에는 아무런 인덱스가 없기때문에, minsu2를 찾기위해 순차적으로

끝까지 조회를 해야합니다. (중복 사용자포함)

데이터량이 많아질시 탐색시간이 같이 선형적으로 증가합니다.


인덱스 스캔

JPASQL
findByGroupId(1)SELECT * FROM user where group_id = 2;

인덱스가 설정된 필드는, 이미 특정 탐색 알고리즘을 위해 데이터 분류가 되어 있습니다.

이경우 모두 순차 비교검사 할필요는 없이, 탐색 회수를 줄일수 있습니다.

적은량의 데이터에서 탐색시 효과가 없을수 있으나,  데이터량이 늘어남에따라 효과를볼수가 있습니다.

인덱스가 걸려있다고 항상 인덱스 스캔이 되는것은 아닙니다.

원하는 데이터를 뽑기위해 SQL문은 더 복잡해질수 있으며 실행계획은 DBMS가 세우며

옵티마이져 통계에의해  어떠한 테이블에서 풀스캔이 더 효율성이 좋다고 판단되면

인덱스를 무시하고 풀스캔이 진행될수도 있습니다. 이것은 실행계획을 조사하면

나오는 Tip으로 (Mysql은 Extra) 알수가 있습니다.


인덱스 최상위 Type은 페이지 물리적 재배열여부에따라 클러스터와 논클러스터로 나뉠수 있으며

동일 데이터라고 해도 스캔의 횟수가 달라질수 있습니다.

클러스터 인덱스 VS 논클러스터 인덱스
비교클러스터 인덱스논클러스터 인덱스
차이물리적으로 행을 재배열물리적으로 재배열 하지않음
스캔 방식

페이지크기작음
선택도
  • 30% 이내에
  • 키값이 이미 페이지단위로 정렬이 된상태이기때문에 7,8,9를 찾기위해 IO접근 1번발생
  • 3%이내
  • 7,8,9를 찾기위해 페이지 2,3를 두번 접근하는 IO 발생



페이지 논리갯수테이블당1테이블당 249

지정방법

(DB마다 다를수있음)

PRIMARY KEY에서만 사용될수 있습니다.

정정: 테이블당 유니크한키로 한번만 지정가능합니다. PRIMARY KEY에 걸려버렸다고

치면...이후 다른키에 또 걸수 없습니다.


( 기본이냐 옵션이냐의 차이는 DB마다다름)

명시해서 지정
키의이점

데이터 값의 범위가 크며, 키에따른 Order규칙이

키가 조인에 자주사용됨


장단점
  • 조회수가 수정수보다 월등히 많을때
  • 빈번한 업데이트에서 재인덱싱이 일어나기때문에 분리
  • 데이터 추가에따른 인덱싱페이지의 구조변화가 없기때문에 데이터 추가에 유리
  • 데이터량이 많아짐에따라 인덱스페이지가 파편화되기때문에 검색은 불리해질수 있음








선택도와 실행계획의 분리 추가 참조사이트

스캔 범위/방식에따른 실행계획 전략

성능을 위한 스캔 범위 Type은 3가지정도로 요약할수 있습니다.

  • 이중루프(Nested Loops) : 한쪽테이블을 읽으면서 결합조건에 맞는 레코드를 다른쪽에서 모두 찾음
  • Sort Merge : 결합할 두 테이블을 정렬을 하고 순차적으로 결합
  • Hash : 결합 키값을 해시로 맵핑


어느것이 항상빠르며,실행계획이 고정이된다라고 볼수 없으나

Sort Merge가 되는방식이 일반적으로 성능에서 안정적입니다.(편차가 크게 없이 빠름)


스캔범위및 실행 계획이 복잡해지지 않게 하기 위한 가장 간단한 규칙이지만,

우리가 원하는 집합을 만들다보면 이 규칙을 깨트리기 쉽고, 쿼리능력자에따라 차이가 날수있습니다.

  • 스캔 범위 줄이기
  • 조인을 덜 복잡하게 만들기

참고 : https://community.modeanalytics.com/sql/tutorial/sql-performance-tuning/



우리가 원하는 집합을 만들기위해, 2개의 테이블만 조작하여 JOIN문을 사용하면 좋겠지만

실제는 그렇지 않습니다. 

JPA 튜닝 포인트

JPA에서는 실행계획이 틀어지고, 예측하기 어려운 튜닝포인트를 쿼리가 아닌

OOP중심, 즉 어플리케이션서 관여할수 있는 계층을 하나더 추가하였습니다.


JPA에서 이루어지는 성능에 관련된 기능을 간단하게 설명을하면...

User user1 = findByName("Minsu");
User user2 = findByName("Minsu");
user1.GetName()
user2.GetName()

위와같은 코드는 일반적인 SQL/SP 호출 어플케이션에서는, 두번의 Select문을 DB에게 요청을 하였을것입니다.

JPA에서는 , 동일 트랙잰션에서 위와같이 동일처리라고 판단되는 사항에대해

SELECT SQL한번만 조회를하고, DB 호출없이 오브젝트 재사용전략을 택합니다.

DB에서는 상황에따라 옵티마이져가 불필요한 IO를 접근하지 않고, 메모리를 재활용할수 있는 상황입니다.

JPA 어플리케이션 레이아웃에서는, SQL호출 자체도 하지 않겠다는 의미입니다.

SQL호출을 하지 않는다란 말은 다음과정이 내포되어있기때문에 호출횟수에따라 아주 큰 비용이 될수도 있습니다.

SQL문요청 → 네트워크 전송 → DB엔진이 구문분석 → IO Read → 네트워크로 결과 반환 

JPA의 이러한 캐시처리같은 메카니즘이 사용 중복 호출실수를 잡으려고 이렇게 작동되는것은 아니며

어플케이션 레이아웃에서 관여할수있는 성능에 관련된 몇가지 JPA컨셉을  추가로 학습을 해야합니다.

매번 SQL문을 호출하고 즉시 답을 얻는 방식과 달리, 아래와같은 몇가지 컨셉이 존재합니다.


Read전략

  • 즉시읽기( Eager loading) : 
  • 지연읽기 ( Lazy loading ) :

영속성 전이 전략

  • ALL : 부모의 변화가 자식에게 모두 전가
  • PERSIST : 부모의 영속화 될때 자식도 영속화가됨
  • MERGE : 트랜젝션이 종료되고 변경사항이 merge()수행시 변경사항적용
  • REMOVE : 부모삭제시 연관된 자식도 삭제
  • REFRESH : 부모가 변경되면 자식도 변경
  • DETACH : 부모가 DETACH되면, 연관된 ENTITY도 DEATCH되어 변경반영 죽시 안됨
  • orphanRemoval : 연관관계가 끊어진 자식을 자동으로 제거


JPA는 객체지향과 데이터모델링 사이에 간극을 최소화하고 편리한 방식임에는 분명하지만

개발 난이도를 줄였다라고 판단할수는 없을듯 합니다. 

오히려 SQL/SP 중심적으로 개발했을때는 신경쓰지 못한 부분에대해

더 깊이 RDB를 이해하고 JPA의 추가적인 영속성 특성을같이 잘 활용해야 사용측면에서도

성능 측면에서도 실무에 적용이 될것으로 기대해봅니다.


논란의 소지가 있지만, JPA를 학습하면서 느낀점입니다.

  • JPA(ORM)은 SQL문을 모르고 RDB를 이해못해도 편리한 개발을 하기위해서 존재하는것이 아니다.
  • 객체관점에서 데이터를 접근하려면 ERD를 완전하게 이해하고 그것을 Entity에 반영을 해야한다.
  • 선행단계가 되고나면.., 반복적인 SQL문작성을 안해도되기때문에 좀더 디테일한 메시지 중심 설계가 가능해진다.
  • MyBatis를 ORM이다라고 정의할수도 있지만, 정확하게 JAVA ORM 표준 스펙에 들지 않는다. ( ORM이아닌 SQLMapper라고 정의하기도합니다.)


SPRING BOOT를 통해 자연스럽게 JPA를 권장해서 접근이 쉬운기술이다라고 오판을 하였지만

기존에는 일반적으로 성능의 대부분의 문제를 쿼리튜닝및 데이터중심적 설계로 해결을 하였습니다.

하지만 ORM에서 성능문제는 어플리케이션에서 OOP의 영속성을 관리해야하며 최종 RDB에 저장되기때문에

성능 해결포인트가 다른곳에 있으며 이것을 이해하는것은 RDB와 JPA내부에서 작동되는것을 둘다 알아야됨을 의미합니다.

http://wonwoo.ml/index.php/post/997



이 부분은 개념과함께 구체적인 사용사례가 필요한 부분이며, 샘플을 좀더 준비할예정입니다.



  • No labels