1. 딥러닝 소개

https://www.boostcourse.org/ai215/joinLectures/86246

 

딥러닝이란 신경망을 학습시켜 우리가 원하는 일을 컴퓨터가 처리하도록 하는 것이다.

 

신경망은 무엇인가?

• 신경망이란 입력(x)와 출력(y)를 매칭해주는 함수를 찾는 과정이다.
• 충분한 데이터가 주어지면 더 잘 알아낼 수 있다.
• 해당 뉴런에 관계없는 입력값이라도 입력으로 넣어주어야 한다. 관계 여부는 신경망이 학습하면서 알아서 조절해 준다.

신경망을 이용한 지도학습

• 머신러닝의 방법은 지도 학습, 비지도 학습 등 여러가지 종류가 있다.
• 지도 학습이란 정답이 주어져있는 데이터를 사용하여 컴퓨터를 학습시키는 방법을 뜻한다.
• 신경망을 이용해 지도학습을 구현할 수 있다.
• 분야에 따라 적용되는 신경망이 다르다.
  - 이미지 분류를 위해 CNN 사용, 음성을 텍스트로 변화시키기 위해 RNN 사용
• 구조적 및 비구조적 데이터를 신경망을 사용하여 예측할 수 있다.
  - 구조적 데이터 : 데이터베이스로 표현된 데이터를 말한다. 정보의 특성이 잘 정의되어져 있다.
  - 비구조적 데이터 : 이미지, 오디오와 같이 특징적인 값을 추출하기 어려운 형태의 데이터이다. 딥러닝 덕분에 컴퓨터가 비구조적 데이터를 인식할 수 있게 되었다.

최근에서야 딥러닝이 뜨고 있는 이유

• 깊은 모델일수록 더 많은 데이터가 필요하며, 이는 곧 좋은 퍼포먼스로 연결된다.

• 최근에서야 딥러닝이 강력한 도구로 부상한 이유는 아래의 3가지 요인드로 인해 딥러닝 성능이 향상되었기 때문이다.
  1. 데이터 양 증가
  2. 컴퓨터 성능 향상
  3. 알고리즘의 개선 (ex. Sigmoid 함수가 아닌 ReLU 함수를 사용함으로 Gradient 소멸 문제 해결)
  
  

Sigmoid 함수와 ReLU(Rectified Linear Unit) 함수

sigmoid는 왼쪽, 오른쪽 끝으로 가면 미분값이 0이 되기 때문에 Gradient가 소멸하는 문제가 발생하게 된다. ReLU함수를 사용하므로 해당 문제를 해결할 수 있다.

 

또한, 이전과 달리 빠른 실험결과를 얻을 수 있어서(컴퓨터 성능의 발전, 인터넷 속도의 발전 등), 아이디어(Idea) 생산 > 코드(Code) 구현 > 실험(Experiment)결과의 시간이 단축돼서, 더 많은 아이디어를 실험 할 수 있게 되었다. 더 많은 아이디어를 실험할 수 있기에 좋은 알고리즘의 구현이 가능하여 딥러닝의 발전의 속도가 빠르게 되어졌다.