좀 만 더..

이번 강의에서는 신경망의 뉴론을 삭제하는 이상한 기법인 드롭아웃이 왜 정규화가 될까에 대한 이유를 담고 있는 강의이다.첫 번째 직관은 더 작고 간단한 신경망을 사용하는 것이 정규화 효과를 주는 것이고, 이번 영상에서는 두 번째 직관에 대해서 설명한다.드롭아웃이 정규화가 되는 이유단일 유닛의 관점에서 이 유닛은 입력을 받아 의미있는 출력을 생성해야 한다.드롭아웃을 통해 입력은 무작위로 삭제될 수 있다. 단일 유닛은 특성이 무작위로 바뀌거나 고유한 입력이 무작위로 바뀔 수 있기 때문에 어떤 특성에도 의존할 수 없다.따라서 이 특정 입력에 모든 것을 걸 수 없는 상황이다. 즉, 특정 입력에 유난히 큰 가중치를 부여하기가 꺼려지는 상황인 것이다.그래서 이 네 개의 입력 각각에 가중치를 분산시키는 편이 낫다.가중..

L2 정규화 외에 또 다른 매우 강력한 정규화 기법은 드롭아웃(Dropout)이다.드롭아웃(Dropout)드롭아웃은 딥러닝 모델의 학습 과정에서 일부 뉴런을 임의로 비활성화시키는 기법이다. 마치 신경망의 일부를 랜덤하게 떼어내 학습시키는 것과 같다. 이를 통해 모델이 특정 뉴런에 과도하게 의존하는 것을 방지하고, 다양한 뉴런의 조합을 학습하게 함으로써 모델의 일반화 성능을 향상시킨다.사진에서 왼쪽의 신경망을 그대로 복사해서 드롭아웃을 적용해보자.먼저 신경망의 각각의 층에 대해 노드를 삭제하는 확률을 설정하는 것이다.강의에서는 0.5의 확률로 했다. 각 노드를 돌면서 0.5의 확률로 노드를 유지하거나 0.5의 확률로 노드를 삭제하도록 설정한다.노드가 삭제되면 삭제된 노드에 연결되어 있는 링크도 같이 삭제가..

딥러닝 모델을 훈련할 때 흔히 발생하는 문제 중 하나는 과대적합(Overfitting)이다. 과대적합은 모델이 훈련 데이터에는 지나치게 잘 맞지만, 새로운 데이터에 대해서는 제대로 일반화하지 못하는 현상을 의미한다. 이 포스팅에서는 Andrew Ng 교수님의 강의 내용을 바탕으로 정규화가 어떻게 과대적합을 해결하는지 살펴보자.정규화가 과대적합을 줄이는 이유정규화는 \( \lambda \) 값을 조절하여 가중치 \( w \)를 제한한다. \( w \) 가 작아지면, 신경망의 복잡도가 줄어들고 단순한 모델이 되기 때문에 과대적합이 감소한다. 구체적으로는 다음과 같은 과정을 거칩니다. \( \lambda \)  값을 증가시키면 \( w \) 가 0에 가까운 값으로 설정된다.이는 은닉 유닛(hidden unit..

높은 분산으로 신경망이 데이터를 과대적합하는 문제가 의심된다면 가장 처음 시도해야 할 것은 정규화이다. 높은 분산을 해결하는 다른 방법은 더 많은 훈련 데이터를 얻는 것이다. 꽤 믿을만한 방법이지만 더 많은 훈련 데이터를 얻는 것은 비용이 많이 들어가기 마련이다. 그러나 정규화를 추가하는 것은 과대적합을 막고 신경망의 분산을 줄이는데 도움이 된다.강의에서는 로지스틱 회귀를 사용해 방법을 제시하였다.Logistic Regression에서의 정규화 (Regularization)비용 함수의 기본 형태Logistic Regression의 기본 비용 함수는 다음과 같이 정의된 비용함수 J를 최소화하는 것이다.$$ J(\omega, {\small b} ) = \frac{1}{m} \sum_{i=1}^{m} L(\h..

신경망 훈련의 기본 레시피최초의 모델을 훈련하고 난 뒤 처음으로 질문하는 것은 알고리즘이 높은 편향을 가지는지, 높은 편향을 평가하기 위해서는 훈련 세트 혹은 훈현 데이터의 성능을 봐야 한다. 편향 문제높은 편향 문제가 발생한다면 아래와 같이 문제를 해결할 수도 있다.더 많은 은닉 층 혹은 은닉 유닛을 갖는 네트워크를 선택더 오랜 시간 훈련시키거나 다른 발전된 최적화 알고리즘을 사용다른 신경망 네트워크를 사용다른 신경망 네트워크를 사용하는 것은 작동되게 할 수도, 그렇지 않을 수도 있다.분산 문제높은 분산를 평가하기 위해서 개발 세트 성능을 보게 된다.꽤 좋은 훈련 세트 성능에서 꽤 좋은 개발 세트 성능을 일반화할 수 있는지를 봐야 한다.높은 분산 문제가 발생한다면 아래와 같이 문제를 해결할 수 있다.데..

편향(Bias)과 분산(Variance)에 대한 개념을 알고 훈련 세트와 개발 세트의 오차를 통해 편향과 분산이 어떤지를 알아보고 추후 연구에 적용시켜볼 수 있도록 할 수 있다. 먼저 고양이를 분류하는 경우를 가정하자.고양이는 \( y = 1 \), 개는 \( y = 0 \) 높은 분산(high variance) 훈련 셋에서 에러률이 1%이고, 개발 셋에서는 11%라고 해보자.따라서 이 같은 예제에서 훈련 셋에서는 매우 잘 분류됐지만 상대적으로 개발 셋에서는 잘 분류되지 못한 경우이다.즉, 훈련 셋에 과대적합(Overfitting)이 되어서 개발 셋에서 일반화되지 못한 경우이다. 따라서 이런 경우의 예제는 높은 분산(high variance)을 갖는다고 말한다.높은 편향(high bias)다음은 훈련 셋..

Andrew Ng 교수님의 딥러닝 강의를 들으면서 내용 정리를 하려고 한다.신경망을 훈련시키려면 많은 것을 결정해야 한다.예를 들어 layers, hidden units, learning rates, activation functions 등이 있다.신경망이 몇 개의 층을 가지는지, 각각의 층이 몇 개의 은닉 유닛을 가지는지, 학습률이 무엇인지, 서로 다른 층에 사용되는 활성화 함수는 무엇인지 등을 결정해야 한다.처음 애플리케이션을 시작할 때, 한번에 적절한 값들을 찾는 것은 어렵다. 따라서 실질적으로 머신러닝을 적용하는 것은 위 사진과 같이 아이디어를 내고 코드를 작성하고 시험을 돌리는 이 과정이 매우 반복적인 과정이다.Train, Dev, Test Sets를 잘 설정하는 것은 과정을 더 효율적으로 만든..

분류 모델 (Classification)로지스틱 회귀는 분류 문제를 해결하는데 탁월한 해결법이다.먼저 분류에 대해서 알아보자.분류에는 연속적인 값으로 예측 값을 유추해 내는 것이 아닌 이분법적으로 예측하는 것이다.예를 들어보자.Spam Detection : Spam or HamFacebook Feed :  Show or HideCredit Card Fraudulent Transaction Detection : Legitimate or Fraud로지스틱 회귀먼저 선형회귀와의 차이점을 알아보자.선형 회귀는 연속형 데이터를 예측하기 위한 모델인 반면, 로지스틱 회귀는 특정 범주로 데이터를 분류합니다. 주요 차이점은 출력값의 범위이다.선형 회귀: 출력값은 실수 범위.로지스틱 회귀: 출력값은 0과 1 사이의 확률..

서론머신러닝의 기초를 이루는 알고리즘 중 하나인 선형회귀(Linear Regression)는 데이터를 분석하고 미래를 예측하는 데 있어 가장 기본적인 알고리즘이다.선형회귀는 주어진 데이터를 기반으로 직선 형태의 관계를 학습하여 독립변수(입력: \( x \))와 종속변수(출력: \( y \)) 간의 연관성을 찾아내는 모델이다. 이를 통해 데이터의 패턴을 이해하고, 미래 값을 예측해 낼 수 있다.선형회귀 모델이 효과적으로 작동하기 위해서는 데이터를 통해 최적의 모델 파라미터(기울기: \( \omega \), 절편, 가중치: \( {\small b} \) )를 찾는 과정이 필수적이다.선형회귀 선형회귀(Linear Regression)의 핵심을 입력 변수와 출력 변수 간의 선형적인 관계를 모델링하는 것이다.주어..

인공 지능(AI), 머신 러닝(ML), 딥 러닝(DL)의 공통점인공지능, 머신러닝, 딥러닝의 각각의 차이점을 먼저 알기 전에 셋의 공통점을 알아야 할 것 같다.인공지능, 머신러닝, 딥러닝은 모두 컴퓨터가 사람처럼 학습하고 문제를 해결할 수 있도록 만드는 기술이다. 이들은 서로 계층적인 관계를 가지며, 딥러닝은 머신러닝의 하위 개념이고, 머신러닝은 인공지능의 하위 개념에 속한다. 모두 데이터와 연산 능력을 활용해 패턴을 학습하고 예측하는 데 초점이 맞춰져 있다.인공 지능(Artificial Intelligence)이란?인공지능(AI, Artificial Intelligence)은 컴퓨터가 의사 결정, 텍스트 처리, 시각적 인식과 같은 인간의 지능을 모방할 수 있도록 하는 과학이다. AI는 머신 러닝, 로봇..