https://velog.io/@lighthouse97/%EA%B8%B0%EC%9A%B8%EA%B8%B0-%EC%86%8C%EC%8B%A4-%EB%AC%B8%EC%A0%9C%EC%99%80-ReLU-%ED%95%A8%EC%88%98 기울기 소실 문제와 ReLU 함수 참고기울기 소실 문제(Vanishing Gradient problem)는 역전파(Backpropagation) 알고리즘에서 처음 입력층(input layer)으로 진행할수록 기울기가 점차적으로 작아지다가 나중에는 거의 기울기의 변화가 없어지 velog.io 기울기 소실 문제와 ReLU함 https://ambitious-posong.tistory.com/132 [논문리뷰] Transformer + GAN에 관한 논문 리뷰 논문 두개 대충 봐야지..