[Seoul National Univ: ML/DL] Lecture 2. Introduction to Supervised Learning

본 포스팅은 서울대학교 이준석 교수님의 M3239.005300 Machine Learning & Deep Learning 1을 수강하고 공부한 내용을 정리하기 위한 포스팅입니다.
이준석 교수님에게 강의 자료 사용에 대한 허락을 받았음을 알립니다.
https://youtu.be/g2B-8Rf96rM?si=g-0JXDA6h3DecWUa

 

 
Machine learning(ML) is a field of study in artificial intelligence concerned with the development and study of statistical algorithms that can learn from data and generalize to unseen data, and thus perform tasks withous explicit instructions.
-> 사람의 개입을 최소화하고, 입력된 데이터들로 올바른 정답을 예측할 수 있도록 한다.
 
Machine learning은 Supervised learning와 Unsupervised learning로 구분할 수 있다. 
 
Supervised learning: example과 label을 동시에 주고 학습을 한다. 
Unsupervised learning: label 없이 example로만 학습을 진행한다. example을 통해 패턴을 학습하게 된다.
 

Machine learning is data-driven approach.

Step 1. 사람은 모델의 형태(식)만 만든다. (사람의 개입 최소화)
Step 2. 모델의 목표를 정의한다. (label과 가장 가깝도록)
Step 3. 최적의 parameters를 발견하도록 한다. (여기까지가 학습 과정)
Step 4. 발견한 parameter를 바탕으로 unseen input이 들어왔을 때 label을 추정할 수 있도록 한다. (실전)
 
Example 1.
Linear regression의 형태를 만든다.

 
 
Example 2. 
 p +1개의 parameters들로 output y의 근사값을 구할 수 있도록 목표를 세운다.
모든 input으로부터 올바른 output을 출력하는 f(x)를 구하는 것이 목표이므로 최소 제곱법(E[(y - g(x))^2 | x])을 사용하도록 한다.

 
Example 3.
training data들로 학습하는 과정이다. gradient descent 등 수많은 방법들로 optimization한다. training data로 학습 시키면서 parameter values를 결정하게 된다.
 
N on-parametric Model: 함수의 형태에 대해 가정하지 않고 data들로만 구하는 방법이다. 이런 모델의 경우 선형적이지 않은 data들을 학습하는데 이점이 있지만, 많은 data들이 필요하다는 단점이 있다.
 
Example 4.
모델의 항상 올바른 정답을 내지 못하더라도 대부분 label에 가까운 결론을 내게 된다.
 

Training data의 예측 결과

Test data의 예측 결과

 
 

 
모델을 학습할 때는 학습한 결과를 보고 good fit, over fit, under fit 셋 중 어떤 상태인지 알 수 있어야 한다.
 
모델이 좋은 성능을 가져도 사람이 해석할 수 없다면 꼭 최고의 모델일 순 없다. (ex. 자연과학에서는 해석하는 것이 중요한데 사람이 해석하지 못하다면 의미없는 모델임)
 
복잡한 모델은 overfiting될 확률이 매우 높으므로 학습할 때 항상 고려해야한다.  
                                                                                                                                                                                               
 

Macine Learning에서 Bias와 Variance의 관계  

• 일반적으로 Bias와 Variance는 반비례 관계를 가진다.
• Bias를 낮추면 Variance가 증가하고, Variance를 낮추면 Bias가 증가하는 경향이 있다.
• 적절한 모델을 선택할 때 이 균형을 맞추는 것이 중요하다.

Bias와 Variance의 관계를 수식으로 표현

• Bias^2: 모델이 얼마나 단순화된 가정을 하는지를 나타냄.
• Variance: 모델이 학습 데이터에 대해 얼마나 민감하게 반응하는지를 나타냄.
• Irreducible Error(감소 불가능한 오차): 데이터에 포함된 노이즈로 인해 발생하는 오차로, 모델이 아무리 좋아도 줄일 수 없음.

Bias-Variance Tradeoff 해결 방법

1. Bias를 줄이는 방법 (Underfitting 방지)
   • 더 복잡한 모델 사용 (예: 선형 모델 → 신경망 모델)
   • 더 많은 Feature 사용
   • 적절한 Feature Engineering 수행
   • 복잡한 함수 학습 가능하도록 데이터 증대(Augmentation)
2. Variance를 줄이는 방법 (Overfitting 방지)
   • Regularization 기법 적용 (L1/L2 정규화, Dropout)
   • 모델의 복잡도 줄이기
   • 더 많은 데이터 수집
   • Ensemble Learning 기법 사용 (Bagging, Boosting)