Hyul_code

file을 보내주는데 scp를 활용한다. scp ./subway.sql hadoop@hyul-server:/home/hadoop hadoop@hyul-server에 들어가 백업file를 열어준다. mysql -uroot -p비밀번호 hivedb < ~/subway.sql 다시 mysql로 로그인을 한 뒤 확인하면 mysql -uroot -p비밀번호 show databases; use hivedb show tables; 저장이 된걸 확인할 수 있다. 이제 sqoop을 설치할 것이다. wegt https://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz tar xvfz sqoop-1.99.7-bin-hadoop200.tar.gz..

Character Stream (source code) Front End -> Lexical Analyzer (scanner) (Token stream) -> Syntax Analyzer (parser) (syntax tree) -> Semantic Analyzer (Annotated Syntax tree) Back End -> Intermediate Code Generator (intermediate representation) -> Machine-Independent Code Optimizer (intermediate representation) -> Code Generator (Target-machine Code) ->Machine-Dependent Code Optimizer

- 객체를 사용하는 코드에서 생성 부분을 떼어내 추상화한 패턴이다. - 객체 생성을 캡슐화한다. - 상속 관계에 있는 두 클래스에서 상위 클래스가 뼈대를 형성한다. - 하위 클래스에서 객체 생성에 관한 구체적인 내용을 담는다. - 느슨한 결합, 생성 방식에 대해 전혀 알 필요가 없기 때문에 유연성이 높다. - 생성 코드가 따로 떼어져 있어 코드 리팩터링을 할 때 한 곳만 고칠 수 있으니 유지 보수성이 증가된다. - 확장성이 높아진다. - 매서드에 대한 메모리 할당을 한 번만 할 수 있는 장점이 있다. // 제품 인터페이스 public interface Product { void doSomething(); } // 구체 제품 클래스 1 public class ConcreteProduct1 implement..

- 싱글톤 패턴은 하나의 클래스에 오직 하나의 인스턴스(하나의 클래스에서 생성된 객체) 만 가지는 패턴이다. - 하나의 인스턴스를 만들어 해당 인스턴스를 다른 모듈들이 공유하면서 사용한다. - 보통 데이터베이스 연결 모듈에 많이 사용된다. - 장점 : 인스턴스 생성 비용이 감소된다. - 단점 : 의존성이 높아진다. TDD(Test Driven Development)를 할 때 단위 테스트를 하는데, 독립적이지 않기 때문에 실행하기 어렵다. private Singleton() { // private 생성자 } public static synchronized Singleton getInstance() { if (instance == null) { instance = new Singleton(); } retur..

DB 백업은 중요한 부분 중 하나이다. mysqldump -u아이디 -p비밀번호 hivedb > ~/workspace/hivedb.sql 이 명령어는 백업을 하는 것이다. mysqldump -u아이디 -p비밀번호 hivedb ~/workspace/{today}.sql") crontab -e 여기로 가서 00 18 * * 5 /home/hadoop/..

주식 정보데이터 시스템에서 크롤링을 할 것이다. 여기서 주식 정보를 http://data.krx.co.kr/contents/MDC/MAIN/main/index.cmd 여기서는 주식 가격 정보를 가져올 것이다. https://finance.naver.com/item/main.naver?code=452260 import requests import pandas as pd from tqdm import tqdm krx = "http://data.krx.co.kr/comm/bldAttendant/getJsonData.cmd" payload = {"bld": "dbms/MDC/STAT/standard/MDCSTAT01901", "locale": "ko_KR", "mktId": "ALL", "share": "1",..

ssClient에서 ssh namenode start-dfs.sh ssh secondnode start-yarn.sh ssh namenode mr-jobhistory-daemon.sh start historyserver ssh namenode jps ssh secondnode jps ssh datanode3 jps hdfs dfs -mkdir /encore wget https://gutenberg.org/cache/epub/100/pg100.txt hdfs dfs -put ./pg100.txt /encore cd /home/hadoop/hadoop/share/hadoop/mapreduce hadoop jar ./hadoop-mapreduce-examples-3.3.6.jar grep /encore /re..

내가 해야할 것 1. 데이터에 대해서 제대로 정의할 줄 알 것 2. 면접에 나오는 용어 정리 해볼 것 # Hadoop 할 때 체크 할 것 1. 자바 설치가 되었는가 java -version 2. JAVA_HOME 설정 되어 있는지 확인 echo $JAVA_HOME - which java - vim ~/.bashrc - export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 - source ~/.bashrc - echo $JAVA_HOME # 하둡 설치 1. 하둡 설치 - cd ~ - wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz - tar xvfz hadoop-3.3.6.tar...

오늘은 mysql부터 시작을 했다. 우분투에 들어가 확인 sudo service mysql status # 나올 때 q 그 후에 net-tools를 설치 sudo apt install net-tools net-tools 는 Linux환경에서 네트워크 관련 유틸리티이다. 네트워크 구성 및 모니터링을 위한 다양한 도구가 있다. 예) ifconfig와 같이 네트워크 인터페이스 정보를 표시하는데 사용된다. # ip 확인하기 ip addr ifconfig ifconfig 사용 예) eth0: flags=4163 mtu 1500 inet 172.120.151.1 netmask 255.255.240.0 broadcast 172.120.163.255 inet6 fe80::215:5dff:feec:faa8 prefixl..

file을 다루기 위해서는 파일 이름 가져오기부터 해야한다. split는 많이 쓰이는 것으로 아래 코드를 적용해본다면 [0]에는 Subway_201610이 [1]에는 csv가 저장될 것이다. # file 이름 가져오는 경우 "Subway_201610.csv".split(".")[0]