도커에서 spark를 설치해 보자

어제..나의 우분투는 저세상으로 갔다.. 그래서 그런일이 다신 일어나지 않도록 도커를 써서 작업해야겠다..후

우선 도커 설치는 예전에 한번 작성한 적이 있다. http://weejw.tistory.com/3

https://hub.docker.com/ 도커 허브에서 자기가 원하는 것을 받아도 된다. 인터넷 보니 pulls가 많은 것을 받으세요 하시는 분도 있고 어떤분은 starts가 많은 걸 받으세요 하시는 분도 있고, 동시에 같이 구축되는 모듈..? 이 많은것을 선택하세요 하는 분들도 있었다. 자기맘이 이끄는대로 받으면 될 듯 하다.. 

나는 https://hub.docker.com/r/sequenceiq/spark/ 이걸 받기루 했다! 설명도 너무 친절하다. 내가 따로 작성해 둘 게 없을정도 ..

자기가 원하는 os가 있다면 상단의 Dockerfile의 내용을 보면 운영체제나 다른 정보들도 많이 적혀있다!

아주 잘된당 ㅎㅎ

버전이 1.6이다 큰 차이가 없다고도 하는데, 어떤 사람은 또 성능이 월등히 좋아졌다한다 api 사용도 쉬워지고

그러므로 다시 이미지를 찾쟈.. https://hub.docker.com/r/jupyter/all-spark-notebook/

이 이미지는 scala 2.11.x spark 2.2.0 hadoop 2.7 python 2,3 conda R 3.3등등... 다양하게 포함하고 있어 좋은 것 같다.

위의 경로에도 자세하게 적혀있지만 한번 어떻게 쓰는지 알아보자

우선 기본 사용법은




docker run -it --rm -p 8888:8888 jupyter/all-spark-notebook

을 쉘에 입력하면 링크가 생기고 링크로 들어가면 쥬피터노트북 홈이 나와서 코딩을 할 수 있다. 이렇게하면 쥬피터로 할 수 있고

위의 사이트에서 알아보니 local에서도 python,R,scala,...등 local에서도 코딩이 가능 한 것 같다

메서스나..이런건 잘몰라서 나중에 한번 더 알아봐야겠다