Page History
...
Request를 통해 크롤링하기
- 크롤링된 데이터를 , 원하는 Json으로 변환하기
SPARK의 분석대상 소스 : 분석대상의 소스 제약이 없다고 보시면 되며, 분석방법은 일괄적이다라고 보시면됩니다.분석결과역시 다양한 방식으로 저장이 가능하며
1차분석 결과를 다시 분석소스로 사용이가능합니다. 여기서는 단순하게 엑셀로 Export하겠습니다.
엑셀은 분석결과를 가장 심플하고 강력하게 재필터링 할수 있는 툴의 하나입니다.
- RDB( MSSQL, 오라클,MYSQL)
- KAFKA (실시간 스트림)
- NOSQL기반 DB(하둡등등등)
- 로그기반(간단한 전송시스템 필요)
- 크롱링 데이터 바로 소비
- 파일기반(엑셀,CSV등등등)
기본 사용
Json List객체를 Spark 병렬처리용 RDD로 변환
...