데이터를 사랑하고 궁금해하는 기록쟁이입니다! 😉 Super Data Engineer가 되는 그날까지🏃‍♀️ 화이팅!

2017년/Spark

버츄어머신에 센트오에스 설치 센트오에스 설치 *아래 3가지 설정 -설치 대상-네트워크 및 호스트명-사용자 자바 다운로드 $wget --no-cookies[띄어쓰기]--header[띄어쓰기]"Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz 이후과정은 버전 잘 변경해서 .. $chmod 755 jdk-9.0.1_linux-x64_bin.tar.gz$tar xvzf jdk-9.0.1_linux-x64_bin.tar.gz$ln -s jdk-9.0.1 java ( 심볼릭 ..

2017. 11. 2. 19:24

2017년/Spark

시작하세요! 하둡 프로그래밍 빅데이터 분석을 위한 하둡 기초부터 YARN까지 - 정재화 지음을 보고 공부한내용 혹시라도 이걸 성공하고 싶어 오신분을 위해 http://ledgku.tistory.com/74 이분것을보시는걸추천합니다.. 흐귝 하둡 개발 준비 1.실행 모드 결정3가지가 있음-독립 실행(로컬모드) : 기본 실행모드 ,맵리듀스 디버깅용 -가상 분산 : 하나의 장비에서함 , 보통 하둡 초보자들이 이렇게해서 공부 -완전 분산 : 여러대의 장비에 하둡설치 2.리눅스 서버 준비-네임노드-보조네임노드,데이터노드 : 실제 서비스용도면 보조네임노드만 단독인게 좋음 -데이터노드-데이터노드 VirtualBox dp 책에 있는데로 CentOS를 설치했다. http://isoredirect.centos.org/ce..

2017. 11. 1. 00:04

2017년/Spark

흠.. 어제 하둡설정한게 뭔가 이상한갑.. 갑자기 스팤이 안된다. 그래서 hadoop설정파일을 일단 지우고 sparksql을 해보려한다. SparkSession 엔트리 포인트가 되는 스파크 세션을 생성한 후 데이터를 읽어보자 예제를 똑같이 따라해서 데이터 프레임의 내용을 보니 나이와 이름이 적혀있다. 실제로 이 데이터 프레임은 아래에 존재한다. 스파크설치경로/examples/src/main/resources/people.json 쿼리문 실행해보기 아무런 문제 없이 잘된다.ㅎㅎ 이 외에도 쿼리문을 직접 날려서 사용할 수 있다. 사용하기전 createOrReplaceTempView를 이용하여 SQL임시보기로 등록해야한다. 하지만 위와 같은 임시보기는 세션이 종료되면 사라진다. spark application..

2017. 10. 20. 19:42

2017년/Spark

spark 로 하는 고속 빅데이터 분석과 처리 -홀로 카로 지음 을 보고 공부하고 spark공식 문서에서 코드 예제를 돌려봄 1.스파크 설치와 클러스터 설정 설치는 이미 해봤다. http://weejw.tistory.com/38 스파크 구동 1.stand alone https://spark.apache.org/docs/latest/spark-standalone.html 1.1 마스터 서버시작 $./sbin/start-master.sh 독립 실행형 마스터 서버를 시작할 수 있다. 주소창에 http://localhost:8080/ 를 입력하고 들어가면 아래와 같은 화면이 나온다. 이제 slave를 실행시켜보자 위에 보면 "spark://weejwPC:7077"이 있는데 이 주소를 잘 기억하자 1.2 슬레이브..

2017. 10. 19. 19:13

2017년/Spark

준비물 JDK,ssh,rsync $sudo apt-get install default-jdk 자세한건 http://weejw.tistory.com/63 $sudo apt-get install ssh rsyn 하둡 사이트 http://hadoop.apache.org/releases.html $wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.8.1/hadoop-2.8.1.tar.gz$tar -xvzf hadoop-2.8.1.tar.gz $sudo mv hadoop-2.8.1 /usr/local/hadoop$sudo nano ~/.bashrc export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$H..

2017. 10. 19. 16:59

2017년/Spark

공식사이트인http://spark.apache.org/docs/2.2.0/quick-start.html#interactive-analysis-with-the-spark-shell 로 가서 예제를 따라해보자 우리가..eclipse에서 메이븐을 사용했던것처럼 sclal는 sbt를 사용한다. sbt는 http://weejw.tistory.com/38에서 사용해본적 있다. $echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list $sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A..

2017. 10. 18. 02:10

2017년/Spark

아주 좋아보이는 싸이트를 찾아서 이 야밤에 공부를 해본다 https://www.tutorialspoint.com/spark_sql/spark_sql_quick_guide.htm 스파크는.. hadoop은 spark를 구현하는 방법중 하나이며 spark는 MapReduce모델을 확장하여 대화형 쿼리 및 스트림 처리를 비롯한 다양한 유형의 계산에 효율적으로 사용,이전 글[링크]에서 알아봤듯이 in memory cluster computing방식으로 속도를 빠르게 함 http://www.itworld.co.kr/news/97026를 보고 spark와 hadoop에 대해서 더 알아봤다. 1.하둡과 스파크는 다른 일을 한다. 하둡은 근본적으로 분산 데이터 인프라스트럭처로 범용화 된 서버의 클러스트와 함께 다양한 ..

2017. 10. 18. 00:08

2017년/Spark

HDFS -HDFS는 하둡 파일 시스템으로 대용량의 데이터를 분산 된 서버에 저장하고 빠르게 처리할 수 있게 하는 블록 구조의 파일 시스템**블록은 파일을 저장하는 단위로 메모리에서 I/O 작업을 한번 거칠 때 읽거나 쓰는 단위 -저사양 서버를 이용해서 스토리지를 구성할 수 있어 기존 대용량 파일 시스템에 비해 장점을 가짐 HDFS는 Name Node(Master)와 Data Node(Slave)로 이루어진다. -Data Node는 클라이언트가 HDFS에 저장하는 파일을 로컬 디스크에 유지한다.-파일은 실제 저장되는 1.로우데이터 2.메타데이터 두가지이다. -Name Node는 아래 4가지를 수행한다. 메타 데이터 관리데이터 노드 모니터링 : 데이터 노드가 네임 노드에게 3초마다 하트비트 전송 (안보내면..

2017. 10. 11. 16:36