1995_Viola_thesis_registrationMI

Eric l grimson berthold k p horn 3 4 acknowledgments i

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: W. Eric L. Grimson Berthold K. P. Horn 3 4 Acknowledgments I would like to acknowledge the MIT Arti cial Intelligence Laboratory for being a haven of intellectual freedom. Professors Tom s Lozano-P rez, Christopher Atkeson, Eric Grimson, a e Rodney Brooks, and others have worked to build an environment where every resource is unfettered. Chris and Tom s have supported me through thick and through thin. They've a taught me how truly valuable unconditional support can be. Students are the AI lab's most precious resource and I bene ted from discussions with Phil Agre, Davi Geiger, David Chapman, Jose Robles, Tao Alter, Misha Bolotski, Jonathan Connel, Karen Sarachik, Maja Mataric, Ian Horswill, Colin Angle, Cynthia Ferrel, Henry Minsky, Saed Younis, Rick Lathrope, Barbara Moore, and many others. Willliam Wells has stood out among all those I've met at MIT. His unique approach to vision, his care in research and his advice as a friend have proven invaluable. I owe much to John Shewchuk, then of Brown University, for introducing me to the eld of statistical learning. Memories of his irrepressible intellectual curiosity serve to continually motivate my own thinking. Outside of MIT I have spent many productive months at the Salk Institute in the Computational Neurobiology Laboratory of Terrence Sejnowski. Terry is the most tirelessly devoted scientist that I have ever met. In his lab I learned that science is an uncompromising pursuit of truth. Science is about building on the work of others, and that to build one must rst understand. In Terry's lab I have had the pleasure of working with David Lawrence, Rich Zemel, Nici Shraudolph, Tony Bell, and Peter Dayan. Each of them has had an e ect on some part of this thesis. Most importantly I must recognize the technical contributions of Sara Billey. She worked tirelessly with me to understand the most cryptic mathematics and clear up my own cryptic thinking. Without her this thesis would not exist. 5 To: Sara Billey for being the love of my life. My parents Mary Ancona-Viola and Alfredo Viola for making it all possible. 6 Contents 1 Introduction 9 1.1 An Introduction to Alignment : : : : : : : : : : : : : : : : : : : : : : : : : : 11 1.1.1 An Alignment Example : : : : : : : : : : : : : : : : : : : : : : : : : : 12 1.2 Overview of the Thesis : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 18 2 Probability and Entropy 2.1 Random Variables : : : : : : : : : : : : : : : : : : : : : 2.2 Entropy : : : : : : : : : : : : : : : : : : : : : : : : : : 2.2.1 Di erential Entropy : : : : : : : : : : : : : : : : 2.3 Samples versus Distributions : : : : : : : : : : : : : : : 2.3.1 Model Selection, Likelihood and Cross Entropy : 2.4 Modeling Densities : : : : : : : : : : : : : : : : : : : : 2.4.1 The Gaussian Density : : : : : : : : : : : : : : 2.4.2 Other Parametric Densities : : : : : : : : : : : : 2.4.3 Parzen Window Density Estimation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 3 Empirical Entropy Manipulation and Stochastic Gradient Descent 3.1 Empirical Entropy : : : : : : : : : : : : : : : : 3.2 Estimating Entropy with Parzen Densities : : : 3.3 Stochastic Maximization Algorithm : : : : : : : 3.3.1 Estimating the Covariance : : : : : : : : 3.4 Principal Components Analysis and Information 3.5 Conclusion : : : : : : : : : : : : : : : : : : : : : 4 Matching and Alignment : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20 21 26 30 31 32 35 35 38 41 52 53 57 60 67 68 73 76 4.1 Alignment : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 77 7 4.2 4.3 4.4 4.5 4.1.1 Correlation as a Maximum Likelihood Technique : 4.1.2 Correlation and Mutual Information : : : : : : : : Weighted Neighbor Likelihood vs. EMMA : : : : : : : : 4.2.1 Non-functional Signals : : : : : : : : : : : : : : : Alignment Derivation : : : : : : : : : : : : : : : : : : : : Matching and Minimum Description Length : : : : : : : Summary : : : : : : : : : : : : : : : : : : : : : : : : : : 5 Alignment Experiments 5.1 Alignment of 3D Objects to Video : : : : : : : 5.1.1 Alignment of Skull Model : : : : : : : 5.1.2 Alignment of Head Model : : : : : : : 5.1.3 Alignment of Curved Surfaces : : : : : 5.2 Medical Registration Experiments : : : : : : : 5.2.1 Three Dimensional MR CT Alignment 5.3 View Based Recognition Experiments : : : : : 5.3.1 Photometric Stereo : : : : : : : : : : : 5.4 Limitations of EMMA Alignment : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :...
View Full Document

Ask a homework question - tutors are online