[Lec2] Fundamentals of machine learning

 

 

 Contents 

 

규칙기반(Rule-based) / 통계기반(Statistics based)

엔트로피(Entropy) / 정보 획득(Information gain)

의사결정 나무(decision tree)

Statistics Based

선형회귀(Linear Regression)

 

 

 

 

 

---

 

 

1. 규칙기반(Rule-Based) / 통계기반(Statistics Based)

 

 

 

* Machine Learning

       Class of task(T)에 대하여, Experience(E)를 통해 배우고,

       Performance measure(P)를 통해 평가한다.

 

 

* Rule-Based Learning

   Assumptions

       1. Training data; Error/Noise-free

       2. Target function is deterministic (no stochastic elements)

       3. Target function is contained in hypothesis set

 

           → Algorithm.

            - Candidate - elimination algorithm to find the correct hypothesis

                               within many hypotheses set.  (__________________)

 

          → Conclusion.

            - 일반적으로 이러한 가정을 만족시키지 않는다. 따라서,

              그래프 등을 그려가면서 feature data와 label data의 패턴/상관 관계 등을 분석 하고 hypothesis를 찾는다.

 

 

* Entropy (불확실성)

 

- The Entropy of random variable

 

- Conditional Entropy

 

- Information Gain

 

 

Information Gain 기반으로 Decision tree Algorithm에서

다음 Node들을 split하는 기준으로 사용한다.

 

Decision tree의 문제점: Overfitting(Noise & Inconsistencies)

 

 

 

 

TOP↑

---

 

 

 

2. 선형회귀(LINEAR REGRESSION)

 

(______________________________)

 

 

 

* MLE if error follows "normal distribution".

; increase the number of features(dimension)

 

 

 

 

 

 

TOP↑

---