[sqoop] file 보내기, 백업sql 저장, sqoop

file을 보내주는데 scp를 활용한다.

scp ./subway.sql hadoop@hyul-server:/home/hadoop

 

hadoop@hyul-server에 들어가 백업file를 열어준다.

mysql -uroot -p비밀번호 hivedb < ~/subway.sql

 

다시 mysql로 로그인을 한 뒤 확인하면

mysql -uroot -p비밀번호


show databases;
use hivedb
show tables;

저장이 된걸 확인할 수 있다.

 

 

이제 sqoop을 설치할 것이다.

wegt https://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz

tar xvfz sqoop-1.99.7-bin-hadoop200.tar.gz
mv ./sqoop-1.99.7-bin-hadoop200 ./sqoop

 

 

환경설정 추가

# bashrc
export SQOOP_HOME=/home/hadoop/sqoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$HIVE_HOME/bin:$Z    EPPELIN_HOME/bin:$SQOOP_HOME/bin

 

cd /home/hadoop/sqoop/conf
vim sqoop.properties

100번째 줄 수정
org.apache.sqoop.repository.jdbc.url=jdbc:derby:/home/hadoop/sqoop/repository/db;create=true

 

cd ~/hadoop/etc/hadoop
vim core-site.xml

<property>        
	<name>hadoop.proxyuser.hadoop-user.hosts</name>       
	<value>hadoop</value>
</property>
<property>       
	<name>hadoop.proxyuser.hadoop-user.groups</name>        
	<value>hadoop</value>
</property>

추가

 

# container-executor 수정 
vim container-executor.cfg

allowed.system.users=hadoop

 

# 폴더 생성 
sudo mkdir /var/lib/sqoop2

vi ~/.bashrc

export SQOOP_SERVER_EXTRA_LIB=/var/lib/sqoop2/
추가
source ~/.bashrc

# find 명령어 사용하기 
# find 위치 -name 검색이름 
cd /home/hadoop/hadoop
find ./ -name "*.jar"

# find / -name "*.jar" 2>/dev/null
find ./ -name "*.jar" 2>/dev/null > result.txt

vim result.txt

 

# chown 
# 파일의 소유자 변경 
sudo chown -R hadoop:hadoop /var/lib/sqoop2/

# 파일 복사 
cp -R /home/hadoop/hadoop/share/hadoop/client/*.jar /var/lib/sqoop2/
cp -R /home/hadoop/hadoop/share/hadoop/hdfs/*.jar /var/lib/sqoop2/
cp -R /home/hadoop/hadoop/share/hadoop/hdfs/lib/*.jar /var/lib/sqoop2/
cp -R /home/hadoop/hadoop/share/hadoop/common/*.jar /var/lib/sqoop2/
cp -R /home/hadoop/hadoop/share/hadoop/common/lib/*.jar /var/lib/sqoop2/
cp -R /home/hadoop/hadoop/share/hadoop/mapreduce/*.jar /var/lib/sqoop2/
cp -R /home/hadoop/hadoop/share/hadoop/yarn/lib/*.jar /var/lib/sqoop2/
cp -R /home/hadoop/hadoop/share/hadoop/yarn/*.jar /var/lib/sqoop2/