본 내용은 Coursera에서 Andrew ng 의 Machine Learning(기계학습, 머신러닝)을 수강한 내용을 정리한 것입니다. 이번 장에서는 Error가 발생한 경우에 무엇을 할지에 대한 접근(Deciding what to try next)에 대해서 알아보도록 하겠습니다. 1. Deciding what to try next[ Debugging a learning algorithm ]$$ J(\theta) = \frac{1}{2m} \sum_{i=1}^{m} \left( h_\theta( x^{(i)}) - y^{(i)} \right)^2 + \lambda \sum_{i=1}^{100} \theta_j^2 $$ 예를 들어 집값을 예측하기 위해 Regularized Linear Regression..

본 내용은 Coursera에서 Andrew ng 의 Machine Learning(기계학습, 머신러닝)을 수강한 내용을 정리한 것입니다. 이번 장에서는 Cost Function of Neural Networks(신경망의 비용함수)와 Backpropagation(역전파)에 대해서 알아보도록 하겠습니다. 1. Cost Function[ Neural Network (Classification) ] 우리는 이제 Training Set이 주어졌을 때 Neural Network(신경망)의 Cost Function과 그 Parameter $\theta$ 를 구해주어야 합니다. 예를 들어 위의 그림과 같은 Neural Network와 ${ (x^{(1)}, y^{(1)}), ..., (x^{(m)}, y^{(m)}) ..

본 내용은 Coursera에서 Andrew ng 의 Machine Learning(기계학습, 머신러닝)을 수강한 내용을 정리한 것입니다. 이번 장에서는 Neural Networks(뉴럴 네트워크, 신경망)에 대해서 알아보도록 하겠습니다. 1. Non-linear Hypothesis[ Non-linear Classification ] 위와 같은 Classification 문제를 해결하기 위해서는 Non-linear Decision Boundary가 필요합니다. 물론 Logistic Regression을 이용해서 이 경계를 만들 수 있지만, Logistic Regression은 Feature의 개수가 많아질수록 식을 위해 필요한 1, 2, 3, .... n차원의 항이 기하급수적으로 늘어날 뿐만 아니라 Ove..

본 내용은 Coursera에서 Andrew ng 의 Machine Learning(기계학습, 머신러닝)을 수강한 내용을 정리한 것입니다. 이번 장에서는 Overfitting(과적합)문제와 이를 해결하기 위한 Regularization(정규화)에 대해서 알아보도록 하겠습니다. 1. The Problem of overfitting[ Example: Linear Regression ] 위와 같은 Linear Regression 집값 예측 문제가 있다고 할 때, 직선의 가설함수를 세울 때, 이차함수의 가설함수를 세울 때, 다차 함수의 가설함수를 세울 때 각각의 상황에 대한 판단이 아래와 같이 내려집니다.직선: Underfitting or high-bias이차함수: Just Right다차함수: Overfittin..

본 내용은 Coursera에서 Andrew ng 의 Machine Learning(기계학습, 머신러닝)을 수강한 내용을 정리한 것입니다. 이번 장에서는 Classification(분류)문제 해결을 위한 Logistic Regression에 대해서 알아보도록 하겠습니다. 1. Classification[ Classification ]우리가 앞에서 배운 Linear Regression이 주어진 Feature에 대해 Continuous(연속적인)한 Value를 Predict하는 방법이였다면, Classification은 주어진 Feature에 대해 Data들을 Discrete(이산적인)한 Class로 분류하는 방법으로 우리가 예측하기를 원하는 값 y는 분류된 클래스들 중 하나의 영역에 속하게 됩니다. Clas..