하둡2.0 설치해보기

버츄어머신에 센트오에스 설치

센트오에스 설치

*아래 3가지 설정

-설치 대상

-네트워크 및 호스트명

-사용자

자바 다운로드

$wget --no-cookies[띄어쓰기]--header[띄어쓰기]"Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz

이후과정은 버전 잘 변경해서 ..

$chmod 755 jdk-9.0.1_linux-x64_bin.tar.gz

$tar xvzf jdk-9.0.1_linux-x64_bin.tar.gz

$ln -s jdk-9.0.1 java ( 심볼릭 링크 생성)

출처: http://weejw.tistory.com/142 [위지원의 블로그]

$wget --no-cookies[띄어쓰기]--header[띄어쓰기]"Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz

이후과정은 버전 잘 변경해서 ..

$chmod 755 jdk-9.0.1_linux-x64_bin.tar.gz

$tar xvzf jdk-9.0.1_linux-x64_bin.tar.gz

$ln -s jdk-9.0.1 java ( 심볼릭 링크 생성)

출처: http://weejw.tistory.com/142 [위지원의 블로그]

$cd /usr/local

$wget --no-cookies[띄어쓰기]--header[띄어쓰기]"Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz

$tar xvzf 파일명.tar.gz

$ln -s 압축해제된 파일 java ( 심볼릭 링크 생성)

하둡 다운로드 (하둡 사이트 http://hadoop.apache.org/releases.html )

$su

$yum install wget

$wget http://apache.mirror.cdnetworks.com/hadoop/common/stable2/hadoop-2.8.2.tar.gz

$su hadoop

$tar xvfz hadoop.gz파일

$ln -s hadoop.gz파일 hadoop

환경변수 설정

$su

$vi /etc/profile

export HADOOP_PREFIX=/home/hadoop/hadoop

export PAHT=$PATH:$HADOOP_PREFIX/bin

export JAVA_HOME=/usr/local/java

export PAHT=$PATH:$JAVA_HOME/bin

$source /etc/profile

확인

$hadoop

$java

머신 복제

버츄어 머신에서 3개 더 (sname,data1,dat2) 복제한 다음에 네트워크 설정

하둡 환경 설정 (hadoop파일/etc/hadoop)

1.hadoop-env.sh

JAVA_HOME=/usr/local/java

2.hdfs-site.xml

3.core-site.xml

4.mapred-site.xml

5.masters

namenode

6.slaves

snamenode

datanode1

datanode2

실행

$./bin/hadoop namenode -format

$./sbin/start-all.sh

$jps

워드카운트 예제 실행

$hdfs dfs -mkdir /user

$hdfs dfs -mkdir /user/사용자이름

$hdfs dfs -mkdir /user/사용자이름/conf

$hdfs dfs -put NOTICE.txt /user/root/conf

$yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount conf output