-
방법은
1. 가상머신을 설치한다
2. 가상머신 3개를 만든다
2-1.coreOs 초기설정을 해준다.
3.가상머신에 spark를 설치한다
1.가상머신을 설치한다
https://www.virtualbox.org/wiki/Linux_Downloads
들어가서 보니 i386,amd64 이런게 있었다..이게뭐지? 하고 검색해보니 아래와 같은 내용을 알 수 있었다.
It is common to find x86 called i386, or occasionally IA-32. x86-64 is commonly called x64 or amd64, and less often IA-32e, EM64T, or Intel64.++ 그냥 우분투 소프트웨어 센터가서 검색해서 설치해도된다...(띠용)
2.가상머신 3개를 만들건데
https://coreos.com/os/docs/latest/booting-with-iso.html 여기서 iso 를 받자
그래서 가상머신 3개를 만든다
2-1여기에 coreos를 설치하고 설정하자
이분이 아주 자세하게 설명해주셨다 ㅎㅎ http://pyrasis.com/book/DockerForTheReallyImpatient/Chapter15/01
++에러노트
만약에 swith boot fail에러가 뜨면 메모리크기를 1024로 잡아주면 해결된다.
++
1)우선 가상머신이 켜지면
$ openssl passwd -1 > cloud-config.yaml
을 입력해서 사용할 비밀번호를 설정
2)vi 편집기를 이용해서 위에서 생성한 yaml파일을 수정해준다 ( 이때 초기에 이상한 문자열..해시값?이 있는데 지우면 안됨 비번으로 써야함 )
#cloud-config는 꼭 첫번째 줄에 써주자
나중에 안 사실인데 yaml은 tab을 사용해선 안된다.
그리고 띄어쓰기 잘해야한다
ㄱ.-sudo -docker는 -와 문자열사이에 띄어야한다
ㄴ.콜론뒤에도 띄어쓰기해야한다
3)sudo coreos-install -d /dev/sda -C stable -c cloud-config.yaml 으로 하드에 설치해준다
4) 장치->cd/dvd장치>가상 드라이브에서 디스크 꺼내기 로 강제마운트 해제 후 sudo reboot으로 재부팅해준다
3개 다 했다 ㅎㅎ 기분이 매우좋다
3.이제 각 노드에 docker를 이용해 스파크를 설치해준다
$docker pull gettyimages/spark
ㅎㅎㅎ 잘설치되었다.
4.마스터/슬레이브 관계를 만들어보자
4-1.마스터노드를 지정해준다 (난 코어1로 할꺼당)
$ docker swarm init
https://docs.docker.com/engine/swarm/swarm-tutorial/add-nodes/
를 참고해보니 mac이나 window가 아니면 주소를 지정해줘야 하는 것 같다
Note: If you are using Docker for Mac or Docker for Windows to test single-node swarm, simply run
docker swarm init
with no arguments. There is no need to specify--advertise-addr
in this case. To learn more, see the topic on how to Use Docker for Mac or Docker for Windows with Swarm.$docker swarm init --advertise-addr <MANAGER-IP>
그럼 토큰이 나오는데 그 토큰으로 워커노드에서 조인할 수 있다.
만약 토큰을 모르는 경우가 발생하면 ( 나는 화면해상도가 잘려서 아무리해도 알 수 없었떤.. )
$docker swarm join-token worker
를 치면 토큰이 나온다.
이때 나온 토큰을 워커 노드에 치면 연결할 수 있다.
$docker node info
$docker node ls
로 노드의 정보를 알 수 있다.
도커스왐은 난 실패했다..다음에 다시 시도해봐야겠다..
대신 다른 방법을 시도했다. 스왐을 쓰지말고 그냥 네트워크 설정으로..
출처 url
https://kycfeel.github.io/2017/03/27/Docker-Swarm%EC%9C%BC%EB%A1%9C-%EA%B3%A0%EB%9E%98%EC%97%AE%EA%B8%B0/'2017년 > Spark' 카테고리의 다른 글
R과 알고리즘 (0) 2017.08.18 sparkR을 공부해보자 [Scaling R Programs with Spark] (0) 2017.08.12 도커에서 spark를 설치해 보자 (0) 2017.07.13 RDD(Resilient Distribured DataSet)란? (0) 2017.07.12 spark를 설치해보자 (0) 2017.07.11