Statistics 2611.pdf - Applied Statistics for Engineers and...

This preview shows page 1 out of 639 pages.

Unformatted text preview: Applied Statistics for Engineers and Scientists Chapters 1-1112 J. D. Petruccelli, B. Nandram, M. Chen 1 Development of these materials was partially supported by the National Science Foundation’s Division of Undergraduate Education under Grant DUE 9254087. 2 Copyright 1994, c 1995, 1996, 1997, 1998, 2014, 2015 by Joseph D. Petruccelli, Balgobin Nandram and Ming-Hui Chen, Worcester, MA. All rights reserved. No part of these notes may be reproduced without the prior written permission of the authors. This book was previously published by Pearson Education, Inc. Contents 1 Introduction to Data Analysis 1.1 Introduction . . . . . . . . . . . . . . . 1.2 Statistics in Real Life . . . . . . . . . . 1.3 Variation in Data . . . . . . . . . . . . 1.4 Stationary Processes . . . . . . . . . . . 1.5 Assessing Stationarity . . . . . . . . . . 1.6 Causes of Variation . . . . . . . . . . . 1.7 Stratified Plots . . . . . . . . . . . . . . 1.8 Identifying Possible Causes of Variation 1.9 An Application: Gage R & R . . . . . . 1.10 Discussion Questions . . . . . . . . . . . 1.11 Exercises . . . . . . . . . . . . . . . . . 1.12 Mini-Project . . . . . . . . . . . . . . . 1.13 Lab 1-1: All Thumbs . . . . . . . . . . . 1.14 Lab 1-2: Helicopter Drop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 3 5 6 11 13 15 16 18 19 22 25 28 2 Summarizing Data 2.1 Introduction . . . . . . . . . . . . . . . . . . . . 2.2 Variables and Data . . . . . . . . . . . . . . . . 2.3 Displaying Data Distributions . . . . . . . . . . 2.4 Summary Measures for Quantitative Data . . . 2.5 Outliers . . . . . . . . . . . . . . . . . . . . . . . 2.6 Resistance of Summary Measures . . . . . . . . 2.7 Trimmed and Winsorized Means . . . . . . . . . 2.8 The Calculation and Use of Summary Measures 2.9 Exploratory Data Analysis . . . . . . . . . . . . 2.10 Discussion Questions . . . . . . . . . . . . . . . . 2.11 Exercises . . . . . . . . . . . . . . . . . . . . . . 2.12 Mini-Project . . . . . . . . . . . . . . . . . . . . 2.13 Lab 2–1: Resistance of Summary Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 33 34 36 45 51 56 57 59 63 63 64 70 72 . . . . . . . . . . 73 73 74 74 81 81 93 98 98 99 106 3 Designing Studies and Obtaining Data 3.1 Introduction . . . . . . . . . . . . . . . 3.2 The Role of Statistics in Producing and 3.3 Selecting Sampling Units . . . . . . . . 3.4 Types of Studies . . . . . . . . . . . . . 3.5 Controlled Experiments . . . . . . . . . 3.6 Observational Studies . . . . . . . . . . 3.7 Coming Attractions . . . . . . . . . . . 3.8 Discussion Questions . . . . . . . . . . . 3.9 Exercises . . . . . . . . . . . . . . . . . 3.10 Mini-Project . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Analyzing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i . . . . Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii CONTENTS 3.11 Lab 3-1: The Election of ’36 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.12 Lab 3-2: Working for Scale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 4 An Introduction to Statistical Modeling 4.1 Introduction . . . . . . . . . . . . . . . . . 4.2 Density Histograms . . . . . . . . . . . . . 4.3 The Notion of Probability . . . . . . . . . . 4.4 Discrete Random Variables . . . . . . . . . 4.5 The Power of Models . . . . . . . . . . . . 4.6 Continuous Distribution Models . . . . . . 4.7 The Central Limit Theorem . . . . . . . . 4.8 Identifying Common Distributions . . . . . 4.9 Transformations to Normality . . . . . . . 4.10 Discussion Questions . . . . . . . . . . . . . 4.11 Exercises . . . . . . . . . . . . . . . . . . . 4.12 Mini-Project . . . . . . . . . . . . . . . . . 4.13 Lab 4-1: The Bernoulli Distribution Model 4.14 Lab 4-2: The Binomial Distribution . . . . 4.15 Lab 4-3: The Central Limit Theorem . . . . 4.16 Lab 4-4: Means Versus Ends . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113 113 114 116 124 147 147 162 168 172 174 176 185 186 189 190 192 5 Estimation and Prediction 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 5.2 Inference: Some Preliminary Considerations . . . . . . 5.3 The Models . . . . . . . . . . . . . . . . . . . . . . . . . 5.4 Types of Inference . . . . . . . . . . . . . . . . . . . . . 5.5 Estimation for the C+E Model . . . . . . . . . . . . . . 5.6 Predicting a Future Observation From the C+E Model 5.7 Estimation of a Population Proportion . . . . . . . . . 5.8 Determining the Sample Size . . . . . . . . . . . . . . . 5.9 Estimation for Two Population C+E Data . . . . . . . 5.10 Comparing Two Population Proportions . . . . . . . . 5.11 Classical Tolerance Intervals . . . . . . . . . . . . . . . 5.12 Robustness . . . . . . . . . . . . . . . . . . . . . . . . . 5.13 Discussion Questions . . . . . . . . . . . . . . . . . . . 5.14 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 5.15 Mini-Project . . . . . . . . . . . . . . . . . . . . . . . . 5.16 Lab 5–1: Sampling Distributions . . . . . . . . . . . . . 5.17 Lab 5–2: Classical Confidence Intervals . . . . . . . . . 5.18 Appendix 5-1: Statistical Interval Guide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 195 196 197 201 201 214 216 220 221 228 230 232 232 233 239 241 242 244 6 Hypothesis Tests 6.1 Introduction . . . . . . . . . . . . . . . . 6.2 Preliminaries . . . . . . . . . . . . . . . . 6.3 The Machinery of Hypothesis Testing . . 6.4 The Philosophy of Hypothesis Testing . . 6.5 Statistical Significance . . . . . . . . . . . 6.6 Pitfalls of Hypothesis Testing . . . . . . . 6.7 Tests for a Mean . . . . . . . . . . . . . . 6.8 One Sample Tests for a Proportion . . . 6.9 Comparing Two Population Means . . . 6.10 Comparing Two Population Proportions 6.11 Fixed Significance Level Tests . . . . . . 6.12 Power . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247 247 248 248 255 257 257 260 265 268 274 276 277 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . CONTENTS 6.13 6.14 6.15 6.16 6.17 6.18 6.19 7 The 7.1 7.2 7.3 7.4 7.5 7.6 7.7 7.8 7.9 7.10 7.11 7.12 iii Hypothesis Tests and Confidence Intervals Discussion Questions . . . . . . . . . . . . . Exercises . . . . . . . . . . . . . . . . . . . Mini-Project . . . . . . . . . . . . . . . . . Lab 6–1: Exploring Hypothesis Tests . . . . Lab 6–2: Publication Bias . . . . . . . . . . Appendix 6-1: Hypothesis Test Guide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 280 281 288 289 291 294 Relationship Between Two Variables Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Displaying and Summarizing Association in Bivariate Quantitative Data Correlation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Simple Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . . The Relationship Between Two Categorical Variables . . . . . . . . . . . Cause and Effect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . The Issue of Stationarity . . . . . . . . . . . . . . . . . . . . . . . . . . . Discussion Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Mini-Project . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Lab 7–1: Fit Your Own Regression Line . . . . . . . . . . . . . . . . . . . Lab 7–2: Transformations to Straighten a Plot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 299 300 307 312 338 351 352 355 356 366 367 368 8 Multiple Regression 8.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . 8.2 The Multiple Linear Regression Model . . . . . . . . . . 8.3 Interpreting the Response Surface . . . . . . . . . . . . . 8.4 The Modeling Process . . . . . . . . . . . . . . . . . . . . 8.5 The Graphical Exploration of Multi-Variable Data . . . . 8.6 Fitting the Multiple Linear Regression Model . . . . . . . 8.7 Assessing Model Fit . . . . . . . . . . . . . . . . . . . . . 8.8 Interpretation of the Fitted Model . . . . . . . . . . . . . 8.9 Theory-Based Modeling . . . . . . . . . . . . . . . . . . . 8.10 Comparison of Fitted Models . . . . . . . . . . . . . . . . 8.11 Analysis of Variance . . . . . . . . . . . . . . . . . . . . . 8.12 Inference for the Regression Model . . . . . . . . . . . . . 8.13 Multicollinearity . . . . . . . . . . . . . . . . . . . . . . . 8.14 More on Empirical Model Building . . . . . . . . . . . . 8.15 A Final Word on Regression Model Building . . . . . . . 8.16 Discussion Questions . . . . . . . . . . . . . . . . . . . . . 8.17 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . 8.18 Mini-Project. . . . . . . . . . . . . . . . . . . . . . . . . . 8.19 Lab 8–1: Multicollinearity . . . . . . . . . . . . . . . . . . 8.20 Lab 8–2: Outliers . . . . . . . . . . . . . . . . . . . . . . . 8.21 Appendix 8–1: Vector-Matrix Formulation of the Multiple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Linear . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Regression Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 371 371 373 377 378 384 386 389 391 392 396 398 403 405 408 409 411 424 425 427 428 9 The 9.1 9.2 9.3 9.4 9.5 9.6 9.7 9.8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 437 437 438 454 457 470 471 472 476 One-Way Model Introduction . . . . . . . . . . . The One-Way Means Model . . The One-Way Effects Model . . Blocking in the One-Way Model The Advantage of Blocking . . . Discussion Questions . . . . . . . Exercises . . . . . . . . . . . . . Mini-Project . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv CONTENTS 9.9 Lab 9-1: Gage R & R, An Application of the One-Way Model . . . . . . . . . . . . . . . . 477 9.10 Lab 9-2: Individual versus Multiple Comparisons . . . . . . . . . . . . . . . . . . . . . . . 479 10 The Factorial Model 10.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . 10.2 The Factorial Means Model . . . . . . . . . . . . . . . . 10.3 Interactions . . . . . . . . . . . . . . . . . . . . . . . . . 10.4 The Factorial Effects Model . . . . . . . . . . . . . . . 10.5 Contrasts . . . . . . . . . . . . . . . . . . . . . . . . . . 10.6 What About Those Questionable Model Assumptions? 10.7 Transformations to Remove Interactions . . . . . . . . . 10.8 Analysis of Main Effects . . . . . . . . . . . . . . . . . 10.9 Steps in Analyzing Factorial Models . . . . . . . . . . . 10.10 Why Factorial Designs? . . . . . . . . . . . . . . . . . . 10.11 One Observation Per Cell . . . . . . . . . . . . . . . . . 10.12 Regression and the Factorial Model . . . . . . . . . . . 10.13 Unbalanced Designs . . . . . . . . . . . . . . . . . . . . 10.14 Multi-factor Models . . . . . . . . . . . . . . . . . . . . 10.15Discussion Questions . . . . . . . . . . . . . . . . . . . . 10.16Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . 10.17Mini-Project . . . . . . . . . . . . . . . . . . . . . . . . 10.18Lab 10-1: Die Tossing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481 481 482 488 490 501 503 504 509 511 512 512 513 516 522 523 523 527 528 11 Distribution-Free Inference 11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Inference: Some Preliminary Considerations . . . . . . . . . . . . 11.3 The Sign Test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.4 Estimation Based on the Sign Test . . . . . . . . . . . . . . . . . . 11.5 Rank-Based Methods I: One And Two-Sample Location Problems 11.6 Rank-Based Methods II: The Relationship Between Two Variables 11.7 Rank-Based Methods III: The One-Way Model . . . . . . . . . . . 11.8 Advantages and Disadvantages of Rank-Based Tests . . . . . . . . 11.9 Permutation Distributions: A Different Paradigm for Inference . . 11.10 Permutation Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.11 Randomization Tests . . . . . . . . . . . . . . . . . . . . . . . . . 11.12 The Bootstrap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.13 A Distribution-Free Tolerance Interval . . . . . . . . . . . . . . . . 11.14 Discussion Questions . . . . . . . . . . . . . . . . . . . . . . . . . 11.15 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.16Mini-Project . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.17Lab 11–1: Permutation and Randomization Testing by Hand . . . 11.18Lab 11–2: Bootstrapping by Hand . . . . . . . . . . . . . . . . . . 11.19Appendix 11-1: Bias Correction and Acceleration Formulas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 531 531 532 532 537 538 548 554 558 559 561 569 570 581 582 583 591 593 595 597 A Tables A.1 Binomial Probabilities . . . . . . . . A.2 Poisson Probabilities . . . . . . . . A.3 The Standard Normal Density . . . A.4 The t Distribution . . . . . . . . . . A.5 The χ2 Distribution . . . . . . . . . A.6 The F Distribution . . . . . . . . . A.7 Table of Random Digits . . . . . . . A.8 Normal-Theory Tolerance Intervals A.9 Studentized Range Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 599 599 603 605 608 610 612 615 617 618 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . CONTENTS A.10 A.11 A.12 A.13 A.14 A.15 Spearman Cor...
View Full Document

  • Left Quote Icon

    Student Picture

  • Left Quote Icon

    Student Picture

  • Left Quote Icon

    Student Picture