[AI] 자연어처리

1) 자연어란? 우리가 일상 생활에서 사용하는 언어

2) 컴퓨터가 자연어의 의미를 분석하여 처리하는 것을 자연어 처리(Natural Language Processing)라 한다.

3) 자연어 처리는 음성 인식을 바탕으로 번역, 내용 요약, 감성분석, 텍스트 분류 작업 그리고 챗봇으로 사용되는 기술임

4) 최근 딥러닝을 통해 성과를 얻었으며 AI 분야에서 실질적으로 성과를 보이는 분야이다. 

 

활용 기술

- Anaconda (Numpy, Pandas, scikit-learn, matplotlib, seaborn, nltk)

- Tensorflow : 구글이 2015년에 공개한 머신 러닝 오픈소스 라이브러리, 머신 러닝과 딥 러닝을 직관적이고 손쉽게 할 수 있도록 설계

- keras : 딥 러닝 프레임워크인 텐서플로우에 대한 추상화 된 API를 제공

- gensim : 머신 러닝을 사용하여 토픽 모델링과 자연어 처리 등을 수행할 수 있게 해주는 오픈 소스 라이브러리 Word2Vec 에 활용

- NLTK

 

 

1. Machine Learning Workflow를 보면

데이터 수집 -> 점검 및 탐색(EDA) -> 전처리 및 정제(Preprocessing and Cleaning) -> 모델링  훈련 | 테스트 데이터  -> 평가 -> 배포

로 진행된다.