spark 예제 돌려보기

공식사이트인http://spark.apache.org/docs/2.2.0/quick-start.html#interactive-analysis-with-the-spark-shell 로 가서 예제를 따라해보자

우리가..eclipse에서 메이븐을 사용했던것처럼 sclal는 sbt를 사용한다.

sbt는 http://weejw.tistory.com/38에서 사용해본적 있다.

$echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
$sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823
$sudo apt-get update
$sudo apt-get install sbt

sbt를 설치했다면 공식사이트 http://spark.apache.org/docs/2.2.0/quick-start.html#self-contained-applications

문서에 나와있는데로 Simplecode.scala파일과 bulid.sbt 두개의 파일을 만들어준다.후에 sbt package를 해주면 조금 기다리라고 나온다..

좀 기다리다보면..  아래처럼 뭘 막 다운 받는다 아마 디팬던시 아닐까 !!

그리고나면 아래와 같이 초록색으로 이쁘게 나온다!

여기에 있다고 친절하게 알려주고 있다. /home/weejw/spark/sparkcode/target/scala-2.11/simple-project_2.11-1.0.jar

공식 문서에 있는데로 애플리케이션을 실행해보면!!

어맛 내가 환경변수 설정을 안했었나...

$sudo nano ~/.bashrc

export SPARK_HOME=/home/weejw/spark/spark-2.2.0-bin-hadoop2.7
export SPARK_SUBMIT=/home/weejw/spark/spark-2.2.0-bin-hadoop2.7/bin/spark-submit
export PATH=$SPARK_HOME/bin:$PATH

source ~/.bashrc

YOUR_SPARK_HOME/bin/spark-submit \
  --class "SimpleApp" \
  --master local[4] \
  target/scala-2.11/simple-project_2.11-1.0.jar

으악 경로를 미처 보지 못했다. 그래도 실행이 되는건 확인되었다 ㅎㅎㅎㅎ

목이 아프니 오늘은 집을 가야겠당 ^0^

아무튼 spark 실행해보기 완료!