Hyul_code

Airflow를 구축하는데 성공했다.https://hyul-code.tistory.com/114 [Airflow] naver 리뷰 airflow 하기(버전만)Final Project 때 했던 크롤링을 바탕으로 Airflow를 입혀 Data 축적을 자동화 해보는걸 목표로 한다. Ubuntu 환경과 Window 환경을 왔다갔다 할 예정이다. // Ubuntu // mysql 상태를 확인한다 sudo systemctl status myhyul-code.tistory.com 이제 배포를 할 수 있게 도커를 설치하고자 한다. sudo apt updatedocker run -it -p 8080:8080 -v /home/hyul/airflow:/opt/airflow/dags/ --entrypoint=/bin/bash..

#vi Dockerfile FROM ubuntu:14.04 LABEL "purpose"="practice" RUN apt-get update RUN apt-get install apache2 -y ADD test.html /var/www/html WORKDIR /var/www/html RUN ["/bin/bash", "-c", "echo hello >> test2.html"] EXPOSE 80 CMD apachectl -DFOREGROUND :wq echo "hi" > test.html # .은 현재 위치 docker build -t encore:0.1 . # -it : i = interactive, t = terminal, tty # 생성 docker run -it -d -p 90:80 --name m..

# docker 컨테이너 생성 docker run -it --name mycont ubuntu:22.04 # ubuntu22.04로 들어가서 apt update apt install software-properties-common -y # 안에 python 및 pip 설치(환경) apt install python3.11 apt install python3-pip # 참고- 배포판마다 설치 명령어가 다름 ubuntu -> apt redhat(centos) -> yum, dnf alpine -> apk docker commit -a 'encore' -m 'project images' mycont project:0.1 docker save -o project.tar project:0.1 docker load ..

# 도커 이미지 만들기 1 docker run -it --name commit_test ubuntu:14.04 # 이름이 commit_test # 들어가서 cd ~ echo test_first > first exit # image commit docker commit -a 'encore' -m 'first commit' commit_test myimage:0.1 # 'encore' : 누가 만들었는지 'first commit' : 왜 만들었는지 # 'myimage' : 이미지 이름 이미지가 생성된걸 볼거면 # docker imge 확인 docker images # 새로운 컨테이너로 들어가기 docker run -it --name commit_test2 myimage:0.1 cd ~ # first가 있는지..

구성 요소 - Airflow 스케줄러 : - Airflow 워커 : - Airflow 웹 서버 : # airflow docker # download_rocket_launches.py 가 있는 위치에서 docker run -it -p 8080:8080 -v /home/ubuntu/airflow:/opt/airflow/dags/ --entrypoint=/bin/bash --name airflow2 apache/airflow:2.0.0-python3.8 # airflow2 docker가 생김 airflow db init airflow users create --username admin --password admin --firstname Anonymous --lastname Admin --role Admin ..

# Dockerfile 내용 FROM php:7.2-apache MAINTAINER datastory Hub ADD index.php /var/www/html/index.php EXPOSE 80 CMD ["/usr/sbin/apache2ctl", "-D", "FOREGROUND"] build & 등 docker build -t phpserver:1.0 . docker run -itd -p 5001:80 \ -h nginx-lb01 \ -v ./lb01:/var/log/apache2 \ -e SERVER_PORT=5001 \ --name=nginx-lb01 \ phpserver:1.0 docker run -itd -p 5002:80 \ -h nginx-lb02 \ -v ./lb02:/var/log/apac..

sudo apt install net-tools -y # port num 확인 sudo netstat -ntlp # port 번호 sudo netstat -ntlp | grep 80

# 컨테이너 생성 docker run -it --name volume_dummy alicek106/volume_test # host os에서 mkdir ~/test && cd ~/test echo "hi" > a.txt docker run -it --name volume_overide -v ~/test:/home/testdir_2 alicek106/volume_test docker run -it --name vol_from_cont1 --volumes-from volume_overide ubuntu:14.04 docker run -it --name vol_from_cont2 --volumes-from volume_overide ubuntu:14.04 mkdir ~/test && cd ~/test echo..

AWS 실습 서버에 접속 # docker 설치 sudo curl -sSL get.docker.com | sh # docker 실행 sudo docker run -it ubuntu:14.04 # sudo 권한주기 sudo usermod -aG docker $USER # docker 실행 docker run -it --name test ubuntu:14.04 # 컨테이너 종료하지 않고 나가기 ctrl + p, q # 컨테이너 다시 들어가기 docker attach test # 컨테이너 정지하기 docker stop test # stop 상태에서 start 상태로 변경 docker start test docker images # 컨테이너는 이름 중복을 허용하지 않음 docker run -it --name te..