[Hadoop] Hadoop 설치& 기초

내가 해야할 것

 

1. 데이터에 대해서 제대로 정의할 줄 알 것

2. 면접에 나오는 용어 정리 해볼 것

 

 

# Hadoop 할 때 체크 할 것

1. 자바 설치가 되었는가

java -version

 

2. JAVA_HOME 설정 되어 있는지 확인

echo $JAVA_HOME

- which java

- vim ~/.bashrc

- export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

- source ~/.bashrc

- echo $JAVA_HOME

 

# 하둡 설치

1. 하둡 설치

- cd ~

- wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz 

- tar xvfz hadoop-3.3.6.tar.gz

- mv ./hadoop-3.3.6 ./hadoop

 

2. 하둡 구성파일 받기

하둡 설정 파일.zip

0.00MB

 

- workers 파일 오픈 -> datanode3추가

- cd /home/hadoop/hadoop/etc/hadoop

여기에 파일 넣기

- vim hdfs-site.xml

-> 복제 3으로 변경

 

- mkdir ~/data

 

# host 설정

sudo vim /etc/hosts

ip 주소 client

ip 주소 namenode

ip 주소 datanode1

ip 주소 secondnode

ip 주소 datanode2

ip 주소 datanode3

 

# keygen

- ssh-keygen -t rsa

- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

- chmod 600 ~/.ssh/authorized_keys

- ssh localhost

 

# Hadoop 설정

vim ~/.bashrc

export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin

 

source ~/.bashrc

 

# 하둡 명령어 실행 해보기

hdfs

 

 

# 실행 순서

namenode에서 

- hadoop namenode -format

 

# 하둡 실행 순서

namenode : start-dfs.sh

secondnode : start-yarn.sh

namenode : mr-jobhistory-daemon.sh start historyserver

 

주소 : namenode ip주소:50070

 

# 하둡 종류 순서

secondnode : stop-yarn.sh

namenode : mr-jobhistory-daemon.sh stop historyserver

namenode : stop-dfs.sh