Page History
...
| Warning |
|---|
RDB에서 SQL문을 통한 집계처리의 방법은 DataFrame을 사용하여 SPARK에서도 중요한 컨셉이며 중요한 데이터의 소스가 RDB이기때문에 대부분 RDB에 있기때문에 이것을 버리고 생각하는것은 있을수 없는일입니다. RDB의 한계를 단점으로 지적하였지만, 사실 그 한계까지 분석/통계에 대해 이용해본 경험이 부족하기 때문이기도합니다. 대용량데이터라는 추상적인 개념에 가려져 SQL문을 쓰지않겠다, RDB를 이용하지 않겠다란 잘못된 해석을 해왔는데 SPARK를 연구하면서 RDB의 SQL문을 같이 병행해서 학습을 해야할필요가 있으며 ( 의미있고 원한는 데이터가 무엇이냐? 명확한 질의를 한다란것은 어려운주제입니다.) 다만 성능처리문제는 쿼리최적화가 아닌 Spark이 포함한 아키텍을 전반적으로 이해해야하는것으로 역시 어려운 주제입니다. |
...