Linear Models
Chapter 17
Linear Regression
2
Linear Regression
3
ML step 1: Log Likelihood Function
4
-
-
-
ML step 1: Log Likelihood Function
5
-
-
-
ML step 2: Differentiate Log-likelihood
6
N-d Euclidean
Distance!
ML step 2: Differentiate Log-likelihood
7
N-d Euclidean
Distance!
ML 3: Solve lN()=0
8
ML 3: Solve lN()=0
9
ML 3: Solve lN()=0
10
Normal Equation
11
-
Normal Equation
12
-
Geometric Interpretation of ML
13
Geometric Interpretation of ML
14
Projection Theorem
15
Bayesian Linear Regression
16
Bayesian Linear Regression
17
MAP step 1: calculate log posterior
18
MAP step 1: calculate log posterior
19
MAP step 1: calculate log posterior
20
MAP step 1: calculate log posterior
21
MAP step 2: maximize log posterior
22
Singular Value Decomposition (SVD)
23
Transform by V
24
Applying SVD in Ridge Regression
25
-1
Classification
Classification
Likelihood Test
Likelihood Test
Linear Classification
Logistic Regression
Logistic Regression
Parameter Estimation for LR
Parameter Estimation for LR
Parameter Estimation for LR
Parameter Estimation for LR
Parameter Estimation for LR
Parameter Estimation for LR
Parameter Estimation for LR
Parameter Estimation for LR