위지원의 데이터 일기 🐈
Home
  • 분류 전체보기 (563)
    • ✎ 2025년 (4)
    • 2024년 (16)
    • 2023년 (6)
    • 2022년 (35)
      • Developement (22)
      • Error (9)
    • 2021년 (68)
      • ERROR (9)
      • 알고리즘 (11)
      • 개발공부 (21)
      • Data (15)
      • 21.下 (12)
    • 2020년 (164)
      • 코테 (84)
      • Development (29)
      • 정처기 (41)
    • 2019년 (27)
    • 2018년 (89)
      • English Speaking (8)
      • Error (12)
      • C, Java, FileSystem (13)
      • DataBase (15)
      • Java (2)
      • 지식 (16)
      • Go (3)
      • spark (9)
      • 영어 (5)
      • 알고리즘 (6)
    • 2017년 (143)
      • Error (17)
      • machine learning (16)
      • Spark (20)
      • Database (19)
      • Python (17)
      • Spring (9)
      • etc. (10)
      • 백준 (5)
      • Google Platform (12)
      • web Development (7)
      • Docker (3)
      • Linux (8)
Home
  • 분류 전체보기 (563)
    • ✎ 2025년 (4)
    • 2024년 (16)
    • 2023년 (6)
    • 2022년 (35)
      • Developement (22)
      • Error (9)
    • 2021년 (68)
      • ERROR (9)
      • 알고리즘 (11)
      • 개발공부 (21)
      • Data (15)
      • 21.下 (12)
    • 2020년 (164)
      • 코테 (84)
      • Development (29)
      • 정처기 (41)
    • 2019년 (27)
    • 2018년 (89)
      • English Speaking (8)
      • Error (12)
      • C, Java, FileSystem (13)
      • DataBase (15)
      • Java (2)
      • 지식 (16)
      • Go (3)
      • spark (9)
      • 영어 (5)
      • 알고리즘 (6)
    • 2017년 (143)
      • Error (17)
      • machine learning (16)
      • Spark (20)
      • Database (19)
      • Python (17)
      • Spring (9)
      • etc. (10)
      • 백준 (5)
      • Google Platform (12)
      • web Development (7)
      • Docker (3)
      • Linux (8)
블로그 내 검색
포트폴리오

위지원의 데이터 일기 🐈

데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Girl이 되는 그날까지🏃‍♀️ 화이팅!

  • 🖥 깃블로그
  • 🌍 위키원
  • 📑 내맘대로 스크랩
  • 💌 메일
  • 2017년/Spark

    버츄어박스에 coreOs+Dockerswarm+spark 를 깔아보자

    2017. 7. 21. 03:14

    by. 위지원

    방법은


    1. 가상머신을 설치한다

    2. 가상머신 3개를 만든다

    2-1.coreOs 초기설정을 해준다.

    3.가상머신에 spark를 설치한다



    1.가상머신을 설치한다


    https://www.virtualbox.org/wiki/Linux_Downloads

    들어가서 보니 i386,amd64 이런게 있었다..이게뭐지? 하고 검색해보니 아래와 같은 내용을 알 수 있었다.

    It is common to find x86 called i386, or occasionally IA-32.  x86-64 is commonly called x64 or amd64, and less often IA-32e, EM64T, or Intel64.


    ++ 그냥 우분투 소프트웨어  센터가서 검색해서 설치해도된다...(띠용)


    2.가상머신 3개를 만들건데

    https://coreos.com/os/docs/latest/booting-with-iso.html 여기서 iso 를 받자


    그래서 가상머신 3개를 만든다


    2-1여기에 coreos를 설치하고 설정하자

    이분이 아주 자세하게 설명해주셨다 ㅎㅎ http://pyrasis.com/book/DockerForTheReallyImpatient/Chapter15/01


    ++에러노트

    만약에 swith boot fail에러가 뜨면 메모리크기를 1024로 잡아주면 해결된다.

    ++


    1)우선 가상머신이 켜지면

    $ openssl passwd -1 > cloud-config.yaml

       을 입력해서 사용할 비밀번호를 설정


    2)vi  편집기를 이용해서 위에서 생성한 yaml파일을 수정해준다 ( 이때 초기에 이상한 문자열..해시값?이 있는데 지우면 안됨 비번으로 써야함 )



    #cloud-config는 꼭 첫번째 줄에 써주자


    나중에 안 사실인데 yaml은 tab을 사용해선 안된다.

    그리고 띄어쓰기 잘해야한다

    ㄱ.-sudo -docker는 -와 문자열사이에 띄어야한다

    ㄴ.콜론뒤에도 띄어쓰기해야한다




    3)sudo coreos-install -d /dev/sda -C stable -c cloud-config.yaml 으로 하드에 설치해준다


    4) 장치->cd/dvd장치>가상 드라이브에서 디스크 꺼내기 로 강제마운트 해제 후 sudo reboot으로 재부팅해준다




    3개 다 했다 ㅎㅎ 기분이 매우좋다


    3.이제 각 노드에 docker를 이용해 스파크를 설치해준다

    $docker pull gettyimages/spark



    ㅎㅎㅎ 잘설치되었다.


    4.마스터/슬레이브 관계를 만들어보자


    4-1.마스터노드를 지정해준다 (난 코어1로 할꺼당)


    $ docker swarm init


    https://docs.docker.com/engine/swarm/swarm-tutorial/add-nodes/

    를 참고해보니 mac이나 window가 아니면 주소를 지정해줘야 하는 것 같다


    Note: If you are using Docker for Mac or Docker for Windows to test single-node swarm, simply run docker swarm init with no arguments. There is no need to specify --advertise-addr in this case. To learn more, see the topic on how to Use Docker for Mac or Docker for Windows with Swarm.


        $docker swarm init --advertise-addr <MANAGER-IP>



    그럼 토큰이 나오는데 그 토큰으로 워커노드에서 조인할 수 있다.

    만약 토큰을 모르는 경우가 발생하면 ( 나는 화면해상도가 잘려서 아무리해도 알 수 없었떤.. )


    $docker swarm join-token worker 


    를 치면 토큰이 나온다.


    이때 나온 토큰을 워커 노드에 치면 연결할 수 있다.


    $docker node info

    $docker node ls 

    로 노드의 정보를 알 수 있다.



    도커스왐은 난 실패했다..다음에 다시 시도해봐야겠다.. 


    대신 다른 방법을 시도했다. 스왐을 쓰지말고 그냥 네트워크 설정으로..

    http://weejw.tistory.com/77





    출처 url
    https://kycfeel.github.io/2017/03/27/Docker-Swarm%EC%9C%BC%EB%A1%9C-%EA%B3%A0%EB%9E%98%EC%97%AE%EA%B8%B0/


    '2017년 > Spark' 카테고리의 다른 글

    R과 알고리즘  (0) 2017.08.18
    sparkR을 공부해보자 [Scaling R Programs with Spark]  (0) 2017.08.12
    도커에서 spark를 설치해 보자  (0) 2017.07.13
    RDD(Resilient Distribured DataSet)란?  (0) 2017.07.12
    spark를 설치해보자  (0) 2017.07.11

    잠깐만요~! 읽으신김에 이런 글들은 어떠세요? 👀

    • R과 알고리즘 2017.08.18
    • sparkR을 공부해보자 [Scaling R Programs with Spark] 2017.08.12
    • 도커에서 spark를 설치해 보자 2017.07.13
    • RDD(Resilient Distribured DataSet)란? 2017.07.12
    맨 위로
전체 글 보기
Tistory 로그인
Tistory 로그아웃
로그아웃 글쓰기 관리

열정! 열정! 열정! 🔥

Designed by Nana
블로그 이미지
위지원
데이터 엔지니어로 근무 중에 있으며 데이터와 관련된 일을 모두 좋아합니다!. 특히 ETL 부분에 관심이 가장 크며 데이터를 빛이나게 가공하는 일을 좋아한답니다 ✨

티스토리툴바

티스토리툴바