{[ promptMessage ]}

Bookmark it

{[ promptMessage ]}

chap3

# chap3 - CHAPTER 3 MULTIPLE REGRESSION 1 Let Ω be the set...

This preview shows pages 1–8. Sign up to view the full content.

This preview has intentionally blurred sections. Sign up to view the full version.

View Full Document

This preview has intentionally blurred sections. Sign up to view the full version.

View Full Document

This preview has intentionally blurred sections. Sign up to view the full version.

View Full Document

This preview has intentionally blurred sections. Sign up to view the full version.

View Full Document
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: CHAPTER 3 MULTIPLE REGRESSION 1 Let Ω be the set of statistical subjects (units). Examples of Ω: { 1 , 2 , 3 ,...,n } { All patients in a clinical trial } { All the samples tested in an experiment } On subject i , we observe y i ,x i 1 ,...,x ip . 2 The basic equation of multiple regression is: y i = p X j =1 x ij β j + ² i , 1 ≤ i ≤ n, where the ² i satisfy one of the same two con- ditions as in Chapter 2: (a) ² i uncorrelated, mean 0, common variance σ 2 , (b) ² i independent N [0 ,σ 2 ]. Often assume x i 1 = 1 for all i , so that β 1 is an intercept. 3 Method of least squares: choose estimates ˆ β 1 ,..., ˆ β p , to minimize S = n X i =1 y i- p X j =1 x ij ˆ β j 2 . Differentiating with respect to ˆ β 1 ,..., ˆ β p leads to the set of p simultaneous linear equations in p unknowns: n X i =1 x ik y i- p X j =1 x ij ˆ β j = 0 , k = 1 , 2 ,...,p. These equations are known as the normal equa- tions and they are a fundamental starting point for the analysis of linear models. 4 Rewrite in vector notation: Define Y = y 1 . . . y n , β = β 1 . . . β p , ² = ² 1 . . . ² n , X = x 11 x 12 ... x 1 p x 21 x 22 ... x 2 p . . . . . . . . . . . . x n 1 x n 2 ... x np . Then Y = Xβ + ². The normal equations may also be written in vector notation as X T Y = X T X ˆ β. Usually assume X T X invertible: then ˆ β = ( X T X )- 1 X T Y. 5 Geometrical Explanation Let x i = ( x 1 i ,...,x ni ) . Both Y and x i ’s are points in R n . We can define inner product on R n as < x,y > = x y, thus || x- y || 2 = < x- y,x- y > = ( x- y ) ( x- y ) , and SSE= || Y- Xβ || 2 . Method of least squares: choose estimate ˆ β such that || Y- Xβ || 2 is minimized. 6 Geometrical Explanation º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º º...
View Full Document

{[ snackBarMessage ]}

### Page1 / 84

chap3 - CHAPTER 3 MULTIPLE REGRESSION 1 Let Ω be the set...

This preview shows document pages 1 - 8. Sign up to view the full document.

View Full Document
Ask a homework question - tutors are online