lecture_03 - Probability distributions for qualitative data...

Info iconThis preview shows pages 1–7. Sign up to view the full content.

View Full Document Right Arrow Icon
    Probability distributions for qualitative data ILRST 411-Lecture 03
Background image of page 1

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
       Maximum Likelihood Estimation The aim of maximum likelihood estimation is to find the  parameter value(s) that makes the observed data most  likely. This is because the likelihood of the parameters given  the data is defined to be equal to the probability of the data  given the parameters. In other words, if the probability of an event X dependent on  model parameters  p  is written  P ( X | p )  then we would talk about the likelihood  L ( p | X ) that is, the likelihood of  the parameters given the  data .  
Background image of page 2
         Maximum Likelihood Estimation Normally , we are always interested in knowing the    Probability of a political party winning the election,     Probability of passing an exam,    Probability of getting a head in a single toss and so on. However, in the case of  data analysis , we have already  observed all the data: once they have been observed they  are fixed, there is no 'probabilistic' part to them anymore. We  are much more interested in the likelihood of the model  parameters that underly the fixed data. 
Background image of page 3

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
        Maximum Likelihood Estimation Probability Knowing parameters -> Prediction of outcome Likelihood Observation of data -> Estimation of parameters   An example of MLE(Maximum likelihood estimate):    Lets toss a coin once, and we want to find the parameter values  that make the observed data most likely.Lets assume that p is  certain value (0.5), we might wish to find the  maximum  likelihood estimate  (MLE) of  p , given a specific dataset.      Beyond parameter estimation, the likelihood framework allows  us to make  tests  of parameter values. For example, we might  want to ask whether or not the estimated  p  differs  significantly   from 0.5 or not. 
Background image of page 4
    Maximum Likelihood Estimation    With the help of an example below, we will see how the tests  can be performed when we introduce the concept of a  likelihood ratio test. Suppose we toss a coin 100 times, and observe 56 heads  and 44 tails. Instead of assuming that p is 0.5, we want to  find the MLE for p. We want to know whether this value  differs significantly from 0.50. We find the value for  p  that makes the observed data most  likely.
Background image of page 5

Info iconThis preview has intentionally blurred sections. Sign up to view the full version.

View Full DocumentRight Arrow Icon
  Maximum Likelihood Estimation Here given below: n = 100 (total number of tosses)  h = 56 (total number of heads)  Where the observed data is given and we plug into our  binomial probability model.      Plugging 0.5 into our probability model as follows :- 
Background image of page 6
Image of page 7
This is the end of the preview. Sign up to access the rest of the document.

Page1 / 33

lecture_03 - Probability distributions for qualitative data...

This preview shows document pages 1 - 7. Sign up to view the full document.

View Full Document Right Arrow Icon
Ask a homework question - tutors are online