spark를 설치해보자
나는 일단 우분투에서 spark를 사용해볼 것이다... window는 가상머신을 이용하면 될 듯 함..
일단 sparkR을 쓰기위해 spark를 먼저 설치하기위해.. 가상환경을 설치해서 사용을 시작해보겠다.. 가상환경이란거에 익숙해져보기위한..
1.자바 설치 ( 자바는 많이들 설치했을거라 생각.. ) http://weejw.tistory.com/63 여기서 설치 방법 다시
$ apt-add-repository ppa:webupd8team/java
$ apt-get update
$ apt-get install oracle-java8-installer
2.스칼라 설치 * 스칼라 최신 버전을 확인할 수 있는 곳--> https://www.scala-lang.org/download/
$ cd /usr/local/src
$ wget http://www.scala-lang.org/files/archive/scala-2.11.8.tgz
$ mkdir /usr/local/src/scala
$ tar xvf scala-2.11.8.tgz -C /usr/local/src/scala/
$ nano ~/.bashrc
bashrc 파일에 아래와 같이 경로 추가
export SCALA_HOME=/usr/local/src/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
$ source ~/.bashrc
3.스파크 설치 * 스파크 최신 버전을 확인할 수 있는 곳 -->http://spark.apache.org/downloads.html
$ sudo apt-get install git
$ wget 주소 마음대로~
다음 주소에서 마음에 드는 링크를 확인할 수 있다 https://www.apache.org/dyn/closer.lua/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz
$ tar xvf spark-1.1.0.tgz -C /usr/local/src/
bashrc 파일에 스칼라와 마찬가지로 환경변수 설정을 해준다
export SPARK_HOME=/usr/local/src/spark-1.6.1
export PATH=$SPARK_HOME/bin:%PATH
추가 )) 경로 이렇게하면 시작/종료 도 간편한 >>PATH=$PATH:$SPARK_HOME/sbin:$SPARK_HOME/bin
$ sbt/sbt assembly
sbt에서 막혔다.. sbt가 무엇인고 하니
스칼라를 위한 빌드 툴이라고 한다 simple build tool
설치방법 : http://www.scala-sbt.org/0.13/docs/Installing-sbt-on-Linux.html
$ run-example SparkPi 10
$ spark-shell
< 새로운 기록 >
아래와같이 spark 사이트에가서하면 최신버전을 받을 수 있다 http://spark.apache.org/downloads.html
멍청기록..
+2.waiting.. (생략) lock 은 해당 파일을 제거하면 넘어간다
+3.getting org.... 하면서 갑자기 아무 반응이없는데 이건 그냥 기다리면 된다
+4.run-example할때... 호스트 네임 불일치.. 오류는 http://weejw.tistory.com/44
출처url