티스토리

정리정돈
검색하기

블로그 홈

정리정돈

junjun-94.tistory.com/m

잡학다식

구독자
0
방명록 방문하기

주요 글 목록

  • 손실함수를 설정하는 이유 정확도라는 지표를 놔두고 손실 함수의 값이라는 방법을 택하는 이유 신경망 학습에서의 미분의 역할에 대해 생각해보면 된다. 신경망 학습은 최적의 매개변수(가중치와 편향)를 탐색할 때 손실함수의 값을 가능한 작게 하는 매개변수의 값을 찾는다. 매개변수의 미분(기울기)을 계산하고 그 미분 값을 단서로 매개변수의 값을 서서히 갱신하는 과정을 반복한다. 예시로 가상의 신경망이 있고 신경망의 어느 한 가중치 매개변수에 주목한다고 할 때, 이 가중치 매개변수의 손실함수의 미분이란 '가중치 매개변수의 값을 아주 조금 변화 시켰을 때, 손실 함수가 어떻게 변하는가'라는 의미로 볼 수 있다. 만약 미분 값이 음수라면 그 가중치 매개변수를 양의 방향으로 변화시켜 손실 함수의 값을 줄일 수 있고, 반대로 미분값이 양수라면 가.. 공감수 2 댓글수 0 2021. 11. 3.
  • 미니배치(mini-batch) 모든 데이터를 대상으로 손실 함수의 합을 구하는데 시간이 오래 걸릴 수 있다. 빅데이터 수준이 된다면 그 수는 수백만에서 수천만도 넘는 거대한 값이 되기도 한다. 이 많은 데이터를 대상으로 일일이 손실함수를 계산하는 것은 현실적이지 못하다. 이런 경우 데이터 일부를 추려 전체의 '근사치로 이용할 수 있다. 신경망 학습에서도 훈련 데이터로부터 일부만 골라 학습을 수행한다. 이 일부를 미니배치(mini-batch)라고 한다. 예시로 60,000장의 훈련 데이터 중에서 100장을 무작위로 뽑아 그 100장만을 사용하여 학습하는 것을 말한다. 이러한 학습방법을 미니배치 학습이라고 한다. 훈련데이터에서 지정한 수의 데이터를 무작위로 골라내는 것의 예시는 x_train, t_train의 shape 이 각각 (600.. 공감수 0 댓글수 0 2021. 11. 3.
  • 동기(Synchronous) 비동기(Asynchronous) https://velog.io/@daybreak/%EB%8F%99%EA%B8%B0-%EB%B9%84%EB%8F%99%EA%B8%B0-%EC%B2%98%EB%A6%AC 동기, 비동기 처리 데이터를 처리하는 방식인 동기, 비동기 처리에 대해 많은 글이 있지만 정확하게 와닿지가 않았다. 최대한 내가 이해한 방식대로 서술해 보려고 한다. 동기 (Synchronous)는 요청과 동시에 일어난다 velog.io 동기 (Synchronous) 와 비동기(Asynchronous) 동기 처리는 서버에서 요청을 보냈을 때 응답이 돌아와야 다음 동작을 수행하는 것을 말함 A작업과 B작업이 있을 때, A작업이 모두 진행되어 완료 될때까지 B작업은 대기해야 한다. 비동기 방식은 반대로 요청을 보냈을 때 응답 상태와 상관없이 다.. 공감수 0 댓글수 0 2021. 10. 20.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.