Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.
Info

조금더 복잡한 쿼리를 ORM으로 시도해보겠습니다. Let's go

Table of Contents
outlinetrue

...

  • district를 얻기위해 , 데이터베이스에게 일을 시키지 않습니다. 어플리케이션이 분산해서 연산할수 있음을 의미합니다.
  • 조회가 100개가되었다고 해서, getDistrict() 를 호출하지 않으면(사용하는곳이없으면), 어플리케이션내에서 변환 연산조차 발생하지 않습니다.  ( Lazy컨셉,호출이 필요하지 않으면 사용하지 않겠다.)
  • 다양한 자바 함수사용이 가능합니다.

위와같이 변환할수있다고 하더라도, SQL문의 CASE문은 여러요소에사용되는 식이기때문에,

...

SQL에서 조건문처리는 JAVA의 CASE문과 작동방식은 동일하지만 아주 큰차이가 있습니다.


Note

CASE문을 변환하다, 본의 아니게 CASE의 본질에대해 고민해보았습니다. ( 정답은 아닐수 있습니다. )


SQL문에서 CASE는 식입니다. SQL문은 절차식 언어가 아니기때문에 반환값이 항상있으며 다양한 요소에 결합이 될수 있습니다.

JAVA에서 CASE는 문장입니다. 문장의 중간에 포함될수 있으며 절차식 흐름을 변경만하고 값자체를 반환하지는 않습니다.

절차식에 익숙해져 있다고하면 SQL에서는 성능좋은식을 만들기가 어렵습니다.

어플리케이션 내에서도 람다식을 활용하여 리스트와같은 데이터를 필터처리한다면 SQL과 비슷한 사고방식으로 데이터가공처리가 될것입니다. 

...

Warning

UNION과같이 JPQL이 지원하지 않는 명령문에서 JPA에서 바람직하게 어플리케이션의 엔티티와

맵핑하는 기능은 활용 할수 없어보입니다.

어렵게 맵핑할수 있는 방식도 있지만 ( UNION JPA ENTITY ECLIPSE LINK 등으로 검색하면 됩니다.)

준비해야할 코드들이 너무 많습니다.


UNION 은 특성상 ,모든 테이블을 합쳐서 처리하는 배치성에서 많이 사용되곤 합니다.

모든것을 간단하게 합할수 있지만 데이터량에 따라 메모리풀의 위험성을 가지고 있으며,

이부분에 대한 튜닝을 위해 어렵고, SQL문 작성능력및 트랜젝션처리가 요구되기도 합니다.


JPA에서는 대량의 데이터를 안전하게 부분처리를 하는 패턴을 간단하게 설계할수 있으며

아래 아티컬을 참조합니다. 물론 이주제는 배치와 연관된내용으로 UNION과는 직접적인 상관어없습니다상관은없습니다.

https://memorynotfound.com/hibernate-jpa-batch-insert-batch-update-example/

...

Note

합집합,교집합은 순서가 다르다고 결과가 달라지지 않습니다. ( 드라이븐 시작조건에 의해 성능이 달라질순 있어도 - 실행계획에의해 순서에따라 성능이 다를수 있습니다.  )

하지만 차집합은 빼는것이기때문에 교환법칙이 성립되지않기때문에 순서에 유의합니다.

교환법칙

A +B = B + A : 같음으로 교환법칙 성립

A - B = B - A : 같지 않다.

...

다중DB 환경설정 에서 두가지 DB를 설정하여 운영하는 방법을 정리하였으니 참고하세요 

여기서 윈도우란 의미는 OS윈도우와 상관없으며, 특정 구간을 ROW단위로 중간집계할수 있는기능으로

논리적인 방식으로 윈도우 파티션되었다라고 이해하면 될것같습니다.


Group ByPARTITION BYGroup ByPARTITION BY
SELECT t.address,count(*) FROM address t GROUP BY addressSELECT name,address,COUNT(*) OVER(PARTITION BY address) FROM address

자르기 기능과 동시에 집계기능이 수행되어 원래의 데이터에서

요약 집계 처리가 됩니다.

GroupBy와 비교를 하면, 집계기능을 사용하기위해 요약처리가 안되고

레코드수를 그대로 유지하면서 원하는 집계수를 볼수가 있으며

자르기 기능만 수행되었다라고 보시면됩니다.

이해를 돕기위해 색상으로 데이터를 사각형 분리를하였으며

논리적으로 파티션 혹은 자른 사각형이 윈도우같다고 하여 윈도우처리

되었다라고 표현됩니다.


나이 많은순으로 랭크를 내고자 한다고하면, 윈도우함수인 RANK()를 활용하면 간단하게 구할수있습니다.

이 기능은 Group BY및 서브쿼리와 결합하여 구현하거나 어플리케이션내에서 랭킹을 부여하는

방법으로 구현 할수도 있겠으나,DB가 지원한다고 하면 윈도우함수 사용이 권장됩니다.


postgresql기준으로 더 자세한 윈도우함수 종류와 사용방법을 살펴볼수 있습니다.

https://www.postgresql.org/docs/10/static/functions-window.html

...

Code Block
languagejava
themeEmacs
titleRank수행하기
	public void RankTest() {		
	     int[] score = {Integer.MIN_VALUE};
	     int[] no = {0};
	     int[] rank = {0};	
	     List<AddressAgeRank> ageRankList =  
				addressRepo.findByAgeBetween(10, 90).stream()
				.sorted((a,b) -> b.getAge() - a.getAge() )
				.map(p -> {
		             ++no[0];
		             if (score[0] != p.getAge()) rank[0] = no[0];
		             return new AddressAgeRank(p.getName(),score[0] = p.getAge(),  rank[0] );					
				})
				.collect(Collectors.toList());
	     
	     ageRankList.forEach(item ->{
	    	 System.out.println(item.toString());	    	 
	     });	    
	}
Expand
title결과



쿼리를 사용하지 않고, 우리가 원하는 랭킹처리를하였습니다.

항상 권장되는 방식은 아니며, SQL 영역에서는 SQL문작성을 못해서

어플리케이션에서 절차식 으로 처리하는 사고방식을 초보라고 언급하기도 합니다.

하지만 이것은 SQL방식과 유사한 식을 사용한 선언형방식이며

실제 데이터베이스 내에서 윈도우 랭크함수가 작동될 구현체를

어플리케이션에서 유사하게 구현을 하였습니다.

단일 성능에서 DBMS가 더 빠르냐? 어플리케이션이 분담하여 처리하느냐? 는 각각 다른문제이며

단순하게 DBMS에서 수행할수 있는 영역을 어플리케이션이 절차식으로 풀었다고 초보로 정의하는것은 바람직하지 않습니다.

(thumbs down) 랭킹처리 문제는, 쿼리방식은 랭킹처리된것중에 필요한것만 취할수 있는반면

어플리케이션에서는, 쿼리로 1차 범위 제한을 적절하게 한다고 해도 원하는 랭킹을 얻기까지

더많은 결과셋이 필요할수 있다란것이 단점입니다.

SQL문 학습과 함께, 어플리케이션에서 데이터 가공을 람다식으로 하는것은 절차식 사고방식을 벗어나

SQL작성과 비슷한 선언형 사고방식을 하는것으로 람다식을 같이 연습하는것을 추천합니다.

결론은 원하는 값을 얻기위해 가장 짧고 깔끔한 SQL문을 작성하는 노력을 함과 동시에

어플리케이션에서 연산을 옮겨왔을시 아주큰 이점이 있는지? 고민을 하는것입니다.

Note
title

...

ORM은 전통적인 방식에서 대안인가?

ORM은 쿼리를 모르는 사람이 편리하게 사용할수 있는 툴일까? 로 시작하여

비교적 쉬운 데이터 모델은 ORM을(SQL PART-A) 통해 무난하게 학습진행되었지만

제가 원하는 진정한 변환은 SQL-PART2였으며 여기서 문제가 발생하였습니다.


이것의 변환을 위해 DB학습을 더해야했으며 표준적이지 않지만 해결방법을찾아야했습니다.

ORM은 DB를 이해하고 OOP로 변환하고 일치시키려는 컨셉을 가지고 있기때문에

DB와 OOP 연마를 함께해야하며 평균이상 더 해야한다란 결론에 도달하였습니다.


그러고도 복잡한 쿼리에대한 성능문제 예를 들면 N+1의 문제를 해결해야합니다.

ORM N+1 문제를 검색하면, 엄청난 량의 각기 다른문제를 검색할수 있으며

이것을 해결하는 표준적인 방법이 없으며  ORM을 사용하는 각각의 프레임워크마다 해결방식이 다릅니다.


ORM에 도전하기위해서는 기존개발 패러다임이 바뀌어야하고 다음과같은 더 고난이도의 해결해야할 과제가 있음을 알게되었습니다.

  • 데이터 모델을 OOP로 완벽하게 표현하는것은 불가능하다. ( DB의 관계를 OOP의 상속으로 모두 해결할수 없습니다. )
  • 데이터 마이그레이션은 항상 일어나는일이며, 이에대한 해결방식을 ORM 솔류션이 제공해야한다.
  • DB 성능의 책임이 어플리케이션쪽에 어느정도 있으며, 결국 분산 처리라는 과제를 어플리케이션도 함께해야한다.
  • 전통적인 CRUD 개발방법은 어느정도 안정성검증및 문화가 형성되어있으며, NOSQL이 이것을 모두 대처하는것은 아니며 여전히 중요합니다.
  • ORM과 별개로 웹개발에서 OOP 가 실종되어간다. ORM은 DbRelation을 OOP로 표현하려는것이 본질이다.  OOP는 학습하지 않으면서 ORM이 쉬운길이라 생각하고 선택하려한다. 이것이 안티패턴이다.
  • OOP 를 ORM과 함께 부활하려는 구체적인 패러다임의 구현체가 DDD+CQRS 이며,  개발문화의 변화및 수준높은 개발능력을 요구합니다. "ddd cqrs orm" 키워드로 검색을 해보면  꽤 높은수준의 DB 이해와 OOP활용 능력이 요구됨을 알수 있다.