Hyul_code

file을 보내주는데 scp를 활용한다. scp ./subway.sql hadoop@hyul-server:/home/hadoop hadoop@hyul-server에 들어가 백업file를 열어준다. mysql -uroot -p비밀번호 hivedb < ~/subway.sql 다시 mysql로 로그인을 한 뒤 확인하면 mysql -uroot -p비밀번호 show databases; use hivedb show tables; 저장이 된걸 확인할 수 있다. 이제 sqoop을 설치할 것이다. wegt https://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz tar xvfz sqoop-1.99.7-bin-hadoop200.tar.gz..

DB 백업은 중요한 부분 중 하나이다. mysqldump -u아이디 -p비밀번호 hivedb > ~/workspace/hivedb.sql 이 명령어는 백업을 하는 것이다. mysqldump -u아이디 -p비밀번호 hivedb ~/workspace/{today}.sql") crontab -e 여기로 가서 00 18 * * 5 /home/hadoop/..

ssClient에서 ssh namenode start-dfs.sh ssh secondnode start-yarn.sh ssh namenode mr-jobhistory-daemon.sh start historyserver ssh namenode jps ssh secondnode jps ssh datanode3 jps hdfs dfs -mkdir /encore wget https://gutenberg.org/cache/epub/100/pg100.txt hdfs dfs -put ./pg100.txt /encore cd /home/hadoop/hadoop/share/hadoop/mapreduce hadoop jar ./hadoop-mapreduce-examples-3.3.6.jar grep /encore /re..

내가 해야할 것 1. 데이터에 대해서 제대로 정의할 줄 알 것 2. 면접에 나오는 용어 정리 해볼 것 # Hadoop 할 때 체크 할 것 1. 자바 설치가 되었는가 java -version 2. JAVA_HOME 설정 되어 있는지 확인 echo $JAVA_HOME - which java - vim ~/.bashrc - export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 - source ~/.bashrc - echo $JAVA_HOME # 하둡 설치 1. 하둡 설치 - cd ~ - wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz - tar xvfz hadoop-3.3.6.tar...