728x90

Bootcamp 55

[Docker] Docker 설치

AWS 실습 서버에 접속 # docker 설치 sudo curl -sSL get.docker.com | sh # docker 실행 sudo docker run -it ubuntu:14.04 # sudo 권한주기 sudo usermod -aG docker $USER # docker 실행 docker run -it --name test ubuntu:14.04 # 컨테이너 종료하지 않고 나가기 ctrl + p, q # 컨테이너 다시 들어가기 docker attach test # 컨테이너 정지하기 docker stop test # stop 상태에서 start 상태로 변경 docker start test docker images # 컨테이너는 이름 중복을 허용하지 않음 docker run -it --name te..

Bootcamp/Docker 2024.01.29

[Sever] Web Was

수업하자마자 AWS 인스턴스 2개를 더 설치했다. putty로 총 3개 연결해주고 리스트를 추가해줬다. 그 후 SuperPuTTY를 설치해 화면을 3개 쓸 수 있게 했다. https://github.com/jimradford/superputty/releases/tag/1.5.0.0 그 후 host에 저장을 해줬다. sudo vim /etc/hosts 3개 다 private 주소와 이름을 저장 또 바로 접속이 가능하게 ssh-keygen -t rsa key를 만들고 cat ~/.ssh/id_rsa.pub >> authorized_keys git 서버 기준 본인거 저장, 다른 2개의 id_rsa.pub 저장 그런 다음 전에 했던 repos 저장 git clone ssh://ubuntu@git:/home/ub..

Bootcamp/AWS 2024.01.22

[Spark] spark 다루기

terminal에서 pyspark를 했을 때 주피터 노트북으로 연결이 안되는 이슈가 있어서 주피터 노트북에서 pyspark를 실행했다 import findspark findspark.init() from pyspark.sql import SparkSession # SparkSession을 생성하면서 필요한 설정을 지정 spark = SparkSession.builder \ .appName("example") \ .master("yarn") \ .config("spark.executor.instances", 3) \ .getOrCreate() 그 후 어제 보냈던 데이터를 가져왔다. df = spark.read.csv("/data/bicycle/*", encoding='cp949', inferSchema =..

Bootcamp 2024.01.18

[sqoop] file 보내기, 백업sql 저장, sqoop

file을 보내주는데 scp를 활용한다. scp ./subway.sql hadoop@hyul-server:/home/hadoop hadoop@hyul-server에 들어가 백업file를 열어준다. mysql -uroot -p비밀번호 hivedb < ~/subway.sql 다시 mysql로 로그인을 한 뒤 확인하면 mysql -uroot -p비밀번호 show databases; use hivedb show tables; 저장이 된걸 확인할 수 있다. 이제 sqoop을 설치할 것이다. wegt https://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz tar xvfz sqoop-1.99.7-bin-hadoop200.tar.gz..

Bootcamp/Hadoop 2024.01.10
728x90