Page History
...
Warning | ||
---|---|---|
| ||
RDB에서 이용되는 SQL문을 통한 집계처리의 방법은 , Spark내에서도 DataFrame을 통해 동일하게 중요한 요소이며 중요한 데이터의 소스가 대부분 RDB에 있기때문에 이것을 버리고 생각하는것은 있을수 없는일입니다. RDB의 한계를 단점으로 지적하였지만, 사실 그 한계까지 분석/통계에 대해 이용해본 경험이 부족하기 때문이기도합니다. 대용량데이터라는 추상적인 개념에 가려져 SQL문을 쓰지않겠다, RDB를 이용하지 않겠다란 잘못된 해석을 해왔는데 SPARK를 연구하면서 RDB의 SQL문을 같이 병행해서 학습을 해야할 필요를 느끼게되었으며 - 의미있고 원하는 데이터가 무엇이냐? 명확한 질의를 한다란것은 어려운 주제이며 , 이것을 연습하는 가장좋은것은 SQL문입니다. -NoSQL : NotOnlySQL - SQL문만을 쓰지않겠다(O) , SQL문을 안쓰겠다 (x) , Not Used SQL( X) 맵리듀스라는 개념에 가려져, SQL문을 쓰지 않겠다란 선언으로 알고 있었습니다만 아주 큰차이가 있으며 위 차이를 구분하는데 아주 오랜시간이 걸렸습니다. 다만 빅 데이터는 왜 비관계형이어야 하는가? 이 주제는 RDB를 다시 공부하게 하는 좋은 주제입니다. 참고URL : https://blog.outsider.ne.kr/519 필자는 데이터분석 전문가가 아님을 밝혀두며, 전문가가 제공한 쿼리를 어떻게 이용하고 빠르게 어플리케이션을 통해 전달할까? 메시징 처리에 조금더 중심을둔 미들웨어 개발자이며 SPARK이 데이터 분석처리, 메시징처리 둘의 컨셉을 통합하는 바람에 학습해야할 경계를 넘어야하며, 귀찮아졌네라고 생각하는 개발자중에 하나입니다.
|
...