Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

spark 객체는 분산컴퓨팅을위해 여러개를 선택할수도 있으나, 여기서는 로컬 객체 하나만 사용하겠습니다.

spark를 설치하고 셋팅하는방법은 다양하니.. 여기서 언급하지는 않겠습니다.pyspark 는 쥬피터 notebook에서 불러온 객체이며 , sc객체를 불러오는 spark객체 

여기서는 도커의 all-spark-notebook 을 이용하였습니다.  - Docker 설치 참고

샘플데이터

데일리 호텔에서 200개 데이터 획득

...