1. Stochastic Gradient Descent(SGD)란? [ Stochastic Gradient Descent ] Neural Network의 Weight를 조정하는 과정에는 보통 Gradient Descent라는 방법을 사용한다. 이는 네트워크의 Parameter들을 $\theta$ 라고 했을 때, 네트워크에서 내놓는 결과값과 실제 값 사이의 차의를 정의하는 Loss Function의 값을 최소화하기 위해 기울기를 이용하는 것입니다. Gradient Descent에서는 Loss Function의 값을 최소화하는 $\theta$ 값을 찾는 것으로 기울기의 반대 방향으로 일정 크기만큼 이동하는 것을 반복한다. 이 Iteration에서 $\theta$의 변화 식은 아래와 같다. $$\theta =..

1. Model-Free Algorithm이란? [ Model-Free Algorithm ] 기존의 Model-Based Algorithm에서 Model은 MDP에서의 Transition Model을 의미한다. 즉, 어떤 상태에서 어떤 행동을 한다고 했을 때, 다음의 상태가 될 확률을 의미한다. 예를 들어 격자 공간 속의 로봇이 상하좌우로 이동을 할 때, 우리는 로봇의 다음 상태에 대해 직관적으로 파악할 수 있다. 이렇게 환경에 대해 알고 있으며, 우리의 행동에 따른 환경의 변화를 아는 알고리즘을 Model-Based Algorithm이라고 한다. Model-Free Algorithm은 Agent가 Action을 통해 Expected sum of future reward를 최대로 하는 Policy Fun..

1. CNN(Convolutional Neural Network)란? [ CNN(Convolutional Neural Network) ] CNN(Convolutional Neural Network)은 합성곱연산을 사용하는 ANN(Artificial Neural Network, 인공 신경망)의 한 종류로, 합성곱(Convolution)을 사용하면 3차원 데이터의 공간적 정보를 유지한 채 다음 레이어로 보낼 수 있다. 여기서 합성곱이란 이미지 내에서 Feature를 뽑기 위한 연산으로 이해를 하면 되는데, 이미지를 기준으로 합성곱을 구하는 것에 대해 설명하도록 하겠다. 위와 같은 Input Image에 대해 Feature Detector(Filter or Kernel)를 기준으로 합성곱을 한다고 하면, 모든..

1. Deep Learning(딥러닝)이란? [ Deep Learning ] Deep Learning은 autonomous, self-teaching system으로 어떤 pattern을 찾기 위한 알고리즘을 학습시키기 위해 존재하는 데이터를 사용한다. 이미지에서 고양이를 찾기 위해 Deep Learning을 사용할 수 있다. 고양이가 있는 이미지와 없는 수백만장의 이미지를 학습 데이터로 사용하다보면 edges, shapes, colors 등과 같은 이미지 데이터를 사용하고 분류하는 패턴을 정립하게 된다. 이러한 패턴들은 학습데이터를 통해 생성한 Model을 기반으로 새로운 이미지를 보고 고양이의 포함여부를 알준다. Deep Learning 알고리즘은 인간의 뇌의 뉴런구조를 흉내난 인공 신경망을 사용한다..

본 내용은 Coursera에서 Andrew ng 의 Machine Learning(기계학습, 머신러닝)을 수강한 내용을 정리한 것입니다. 이번 장에서는 Error가 발생한 경우에 무엇을 할지에 대한 접근(Deciding what to try next)에 대해서 알아보도록 하겠습니다. 1. Prioritizing what to work on: Spam Classification Example [ Building a spam classifier ]예를 들어 우리가 Spam Classifier을 만든다고 합시다. 아래의 왼쪽은 y=1인 스팸메일이고, 아래의 오른쪽은 y=0으로 스팸메일이 아닙니다. 이러한 이메일들이 무수히 많다고 할 때, Supervised Learning을 사용하여 어떻게 이것을 구분할 수 ..