Hyul_code

AWS 실습 서버에 접속 # docker 설치 sudo curl -sSL get.docker.com | sh # docker 실행 sudo docker run -it ubuntu:14.04 # sudo 권한주기 sudo usermod -aG docker $USER # docker 실행 docker run -it --name test ubuntu:14.04 # 컨테이너 종료하지 않고 나가기 ctrl + p, q # 컨테이너 다시 들어가기 docker attach test # 컨테이너 정지하기 docker stop test # stop 상태에서 start 상태로 변경 docker start test docker images # 컨테이너는 이름 중복을 허용하지 않음 docker run -it --name te..

sudo apt update sudo apt install mariadb-server sudo service mysql status[stop/start/restart] systemctl sudo mysql_secure_installation sudo apt install net-tools -y mysql -uroot -p123 # mariadb 설정 폴더 cd /etc/mysql ls -al

수업하자마자 AWS 인스턴스 2개를 더 설치했다. putty로 총 3개 연결해주고 리스트를 추가해줬다. 그 후 SuperPuTTY를 설치해 화면을 3개 쓸 수 있게 했다. https://github.com/jimradford/superputty/releases/tag/1.5.0.0 그 후 host에 저장을 해줬다. sudo vim /etc/hosts 3개 다 private 주소와 이름을 저장 또 바로 접속이 가능하게 ssh-keygen -t rsa key를 만들고 cat ~/.ssh/id_rsa.pub >> authorized_keys git 서버 기준 본인거 저장, 다른 2개의 id_rsa.pub 저장 그런 다음 전에 했던 repos 저장 git clone ssh://ubuntu@git:/home/ub..

terminal에서 pyspark를 했을 때 주피터 노트북으로 연결이 안되는 이슈가 있어서 주피터 노트북에서 pyspark를 실행했다 import findspark findspark.init() from pyspark.sql import SparkSession # SparkSession을 생성하면서 필요한 설정을 지정 spark = SparkSession.builder \ .appName("example") \ .master("yarn") \ .config("spark.executor.instances", 3) \ .getOrCreate() 그 후 어제 보냈던 데이터를 가져왔다. df = spark.read.csv("/data/bicycle/*", encoding='cp949', inferSchema =..

pem puttygen -> Load -> 키파일.pem -> Save Private Key -> 키파일.ppk putty -> public ip -> Host name 입력 키파일 등록 -> 오픈 -> ubuntu

hadoop에 보내기 # Client에서 wget https://lec-data.s3.ap-northeast-2.amazonaws.com/Downloads.zip unzip Downloads.zip mkdir bycycle mv *.csv bycycle/ # hadoop에 보내기 hdfs dfs -mkdir -p /data/bicycle/ hdfs dfs -put * /data/bicycle/ 사용자 늘리기 : AWS -> Console ->IAM -> 사용자 -> 사용자 생성 이름 -> 비번 그룹 -> 생성 해당 계정의 주소를 줘야함 EC2FullAccess VPCFullAccess ChangPassword

migrations ? models.py에 class Question(models.Model): # class가 table subject = models.CharField(max_length=200) # column , type content = models.TextField() create_date = models.DateTimeField() class Answer(models.Model): question = models.ForeignKey(Question, on_delete=models.CASCADE) content = models.TextField() create_date = models.DateTimeField() 추가를 해줬다. 터미널에서 python manage.py makemigration..

django-admin startproject mysite cd mysite python manage.py runserver # 종료 urls.py에 path('pybo/', views.index), 추가 python manage.py startapp pybo urls.py에 from pybo import views 추가 pybo 폴더에 views.py에 from django.shortcuts import render from django.http import HttpResponse # Create your views here. def index(request): return HttpResponse("Hi hyul") 추가 # settings.py에서 INSTALLED_APPS에 'pybo.apps.Py..

file을 보내주는데 scp를 활용한다. scp ./subway.sql hadoop@hyul-server:/home/hadoop hadoop@hyul-server에 들어가 백업file를 열어준다. mysql -uroot -p비밀번호 hivedb < ~/subway.sql 다시 mysql로 로그인을 한 뒤 확인하면 mysql -uroot -p비밀번호 show databases; use hivedb show tables; 저장이 된걸 확인할 수 있다. 이제 sqoop을 설치할 것이다. wegt https://archive.apache.org/dist/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz tar xvfz sqoop-1.99.7-bin-hadoop200.tar.gz..

DB 백업은 중요한 부분 중 하나이다. mysqldump -u아이디 -p비밀번호 hivedb > ~/workspace/hivedb.sql 이 명령어는 백업을 하는 것이다. mysqldump -u아이디 -p비밀번호 hivedb ~/workspace/{today}.sql") crontab -e 여기로 가서 00 18 * * 5 /home/hadoop/..