[AWS] Spark 준비 및 AWS 준비

hadoop에 보내기

 

# Client에서

wget https://lec-data.s3.ap-northeast-2.amazonaws.com/Downloads.zip
unzip Downloads.zip

mkdir bycycle
mv *.csv bycycle/

# hadoop에 보내기
hdfs dfs -mkdir -p /data/bicycle/
hdfs dfs -put * /data/bicycle/

 

 

사용자 늘리기 : AWS -> Console ->IAM -> 사용자 -> 사용자 생성

 

이름 -> 비번

 

그룹 -> 생성

해당 계정의 주소를 줘야함

 

EC2FullAccess

VPCFullAccess

ChangPassword