[Lec1] mle, map,distribution

1. 설명한 방식(목차, 간결, 예시, 공식)

import tensorflow as tf
tf.arraY()

---

2. kaist 문일철에 대한 간단한 설명. 

 

 

 

▷ 머신러닝이란?

Data 바탕으로 특징/패턴을 파악 후, 머신(Model)에 적용해 예측/판단 할수있는 시스템

ex) 주식 예측,  문서 분류,  Auto Pilot,  추천 시스템

 

 

 

 

▷ 머신러닝 타입

  1. Supervised Learning : 데이터의 특징들과 정답(Label)을 알고 있는 경우

ex)  분류(Classification), 회귀(Regression)

Classifitcation : "Discrete dependent value"(이산) 예측

        Regression : "Continuous dependent value"(연속) 예측

 

 

          2. Unsupervised Learning : 데이터 특징만 알고, 정답(label) 데이터가 없는 경우

ex) 군집화(Clustering), 차원숙소(Dimension Reduction), Latent factors

 

 

 

   3. Reinforcement Learning : 목표를 알지만 성취하는 방법을 모를 경우     

Punish/Reward 바탕으로 계속 Trial 하면서 좋은 방법을 찾아가는 것.

 

 

 

 

---

 

 

※ MLE (Maximum Likelihood Expectation)

Binomial Distribution

이산 확률 분포 (Discrete Probability Distribution)

ex) 동전 던지기 동전 앞면이 나올 확률 예측

 

 

 

 

 

 

 

  ※ i.i.d (Identically Independently Distributed)

 각각의 Random Variable들이 독립적이고 동일한 확률 분포를 가진다.

 

ex) 동전 10번을 던졌을 때, 7번이 앞면 (3번이 뒷면)이 나올 확률

 

 

 

*P(앞면)=??

 

수학식 1 

 

*Error Bound 

*Hoeffding's Inequality

 

 

 

 

 

---

 

 

 

※ MAP (Maximum a Posteriori Estimation)

사전지식(prior)을 추가로 사용한다.

 

ex)

 

 

*Conditional Probability

 

수학식 2 ???????

 

 

 

 

---

※ Probability Distribution

*A function Mapping Event to a probability.

 

ex) 수학식3???