{[ promptMessage ]}

Bookmark it

{[ promptMessage ]}

neuralnetworks

neuralnetworks -

Info iconThis preview shows page 1. Sign up to view the full content.

View Full Document Right Arrow Icon
This is the end of the preview. Sign up to access the rest of the document.

Unformatted text preview: An introduction to Neural .. Ben Krose Networks Patrick van der Smagt Eighth edition November 1996 2 c 1996 The University of Amsterdam. Permission is granted to distribute single copies of this book for non-commercial use, as long as it is distributed as a whole in its original form, and the names of the authors and the University of Amsterdam are mentioned. Permission is also granted to use this book for non-commercial courses, provided the authors are noti ed of this beforehand. The authors can be reached at: Ben Krose Faculty of Mathematics & Computer Science University of Amsterdam Kruislaan 403, NL{1098 SJ Amsterdam THE NETHERLANDS Phone: +31 20 525 7463 Fax: +31 20 525 7490 email: [email protected] URL: http://www.fwi.uva.nl/research/neuro/ Patrick van der Smagt Institute of Robotics and System Dynamics German Aerospace Research Establishment P. O. Box 1116, D{82230 Wessling GERMANY Phone: +49 8153 282400 Fax: +49 8153 281134 email: [email protected] URL: http://www.op.dlr.de/FF-DR-RS/ Contents Preface 9 I FUNDAMENTALS 11 1 Introduction 2 Fundamentals 13 15 2.1 A framework for distributed representation 2.1.1 Processing units : : : : : : : : : : : 2.1.2 Connections between units : : : : : 2.1.3 Activation and output rules : : : : : 2.2 Network topologies : : : : : : : : : : : : : : 2.3 Training of arti cial neural networks : : : : 2.3.1 Paradigms of learning : : : : : : : : 2.3.2 Modifying patterns of connectivity : 2.4 Notation and terminology : : : : : : : : : : 2.4.1 Notation : : : : : : : : : : : : : : : : 2.4.2 Terminology : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : II THEORY 15 15 16 16 17 18 18 18 18 19 19 21 3 Perceptron and Adaline 3.1 Networks with threshold activation functions : : : : : : 3.2 Perceptron learning rule and convergence theorem : : : 3.2.1 Example of the Perceptron learning rule : : : : : 3.2.2 Convergence theorem : : : : : : : : : : : : : : : 3.2.3 The original Perceptron : : : : : : : : : : : : : : 3.3 The adaptive linear element (Adaline) : : : : : : : : : : 3.4 Networks with linear activation functions: the delta rule 3.5 Exclusive-OR problem : : : : : : : : : : : : : : : : : : : 3.6 Multi-layer perceptrons can do everything : : : : : : : : 3.7 Conclusions : : : : : : : : : : : : : : : : : : : : : : : : : 4 Back-Propagation 4.1 Multi-layer feed-forward networks : : : : 4.2 The generalised delta rule : : : : : : : : 4.2.1 Understanding back-propagation 4.3 Working with back-propagation : : : : : 4.4 An example : : : : : : : : : : : : : : : : 4.5 Other activation functions : : : : : : : : 3 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23 23 24 25 25 26 27 28 29 30 31 33 33 33 35 36 37 38 4 CONTENTS 4.6 De ciencies of back-propagation : : : : : : : : : : : : 4.7 Advanced algorithms : : : : : : : : : : : : : : : : : : 4.8 How good are multi-layer feed-forward networks? : : 4.8.1 The e ect of the number of learning samples 4.8.2 The e ect of the number of hidden units : : : 4.9 Applications : : : : : : : : : : : : : : : : : : : : : : : 5 Recurrent Networks 5.1 The generalised delta-rule in recurrent networks : : : 5.1.1 The Jordan network : : : : : : : : : : : : : : 5.1.2 The Elman network : : : : : : : : : : : : : : 5.1.3 Back-propagation in fully recurrent networks 5.2 The Hop eld network : : : : : : : : : : : : : : : : : 5.2.1 Description : : : : : : : : : : : : : : : : : : : 5.2.2 Hop eld network as associative memory : : : 5.2.3 Neurons with graded response : : : : : : : : : 5.3 Boltzmann machines : : : : : : : : : : : : : : : : : : 6 Self-Organising Networks 6.1 Competitive learning : : : : : : : : : : : : : : : : : : 6.1.1 Clustering : : : : : : : : : : : : : : : : : : : : 6.1.2 Vector quantisation : : : : : : : : : : : : : : 6.2 Kohonen network : : : : : : : : : : : : : : : : : : : : 6.3 Principal component networks : : : : : : : : : : : : : 6.3.1 Introduction : : : : : : : : : : : : : : : : : : 6.3.2 Normalised Hebbian rule : : : : : : : : : : : 6.3.3 Principal component extractor : : : : : : : : 6.3.4 More eigenvectors : : : : : : : : : : : : : : : 6.4 Adaptive resonance theory : : : : : : : : : : : : : : : 6.4.1 Background: Adaptive resonance theory : : : 6.4.2 ART1: The simpli ed neural network model : 6.4.3 ART1: The original model : : : : : : : : : : : 7 Reinforcement learning 7.1 The critic : : : : : : : : : : : : : : : : : : : : : 7.2 The controller network : : : : : : : : : : : : : : 7.3 Barto's approach: the ASE-ACE combination : 7.3.1 Associative search : : : : : : : : : : : : 7.3.2 Adaptive critic : : : : : : : : : : : : : : 7.3.3 The cart-pole system : : : : : : : : : : : 7.4 Reinforcement learning versus optimal control : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 39 40 42 43 44 45 47 47 48 48 50 50 50 52 52 54 57 57 57 61 64 66 66 67 68 69 69 69 70 72 75 75 76 77 77 78 79 80 III APPLICATIONS 83 8 Robot Control 85 8.1 End-e ector positioning : : : : : : : : : : : : : : : : : : : : : 8.1.1 Camera{robot coordination is function approximation 8.2 Robot arm dynamics : : : : : : : : : : : : : : : : : : : : : : : 8.3 Mobile robots : : : : : : : : : : : : : : : : : : : : : : : : : : : 8.3.1 Model based navigation : : : : : : : : : : : : : : : : : 8.3.2 Sensor based control : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 86 87 91 94 94 95 CONTENTS 5 9 Vision 9.1 Introduction : : : : : : : : : : : : : : : : : : : : : : 9.2 Feed-forward types of networks : : : : : : : : : : : 9.3 Self-organising networks for image compression : : 9.3.1 Back-propagation : : : : : : : : : : : : : : : 9.3.2 Linear networks : : : : : : : : : : : : : : : : 9.3.3 Principal components as features : : : : : : 9.4 The cognitron and neocognitron : : : : : : : : : : 9.4.1 Description of the cells : : : : : : : : : : : : 9.4.2 Structure of the cognitron : : : : : : : : : : 9.4.3 Simulation results : : : : : : : : : : : : : : 9.5 Relaxation types of networks : : : : : : : : : : : : 9.5.1 Depth from stereo : : : : : : : : : : : : : : 9.5.2 Image restoration and image segmentation : 9.5.3 Silicon retina : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : IV IMPLEMENTATIONS 10.1 The Connection Machine : : : : : : : : 10.1.1 Architecture : : : : : : : : : : : 10.1.2 Applicability to neural networks 10.2 Systolic arrays : : : : : : : : : : : : : : 11.1 General issues : : : : : : : : : : : : : 11.1.1 Connectivity constraints : : : 11.1.2 Analogue vs. digital : : : : : 11.1.3 Optics : : : : : : : : : : : : : 11.1.4 Learning vs. non-learning : : 11.2 Implementation examples : : : : : : 11.2.1 Carver Mead's silicon retina : 11.2.2 LEP's LNeuro chip : : : : : : References Index 97 97 98 99 99 99 100 100 101 102 103 103 105 105 107 10 General Purpose Hardware 11 Dedicated Neuro-Hardware 97 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 111 112 112 113 114 115 115 115 116 116 117 117 117 119 123 131 6 CONTENTS List of Figures 2.1 The basic components of an arti cial neural network. : : : : : : : : : : : : : : : : 16 2.2 Various activation functions for a unit. : : : : : : : : : : : : : : : : : : : : : : : : 17 3.1 3.2 3.3 3.4 3.5 3.6 3.7 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 5.1 5.2 5.3 5.4 5.5 Single layer network with one output and two inputs. : : : : : : : : : : : Geometric representation of the discriminant function and the weights. : Discriminant function before and after weight update. : : : : : : : : : : The Perceptron. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : The Adaline. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Geometric representation of input space. : : : : : : : : : : : : : : : : : : Solution of the XOR problem. : : : : : : : : : : : : : : : : : : : : : : : : ::::: ::::: ::::: ::::: ::::: ::::: ::::: A multi-layer network with l layers of units. : : : : : : : : : : : : : : : : : : : : : The descent in weight space. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Example of function approximation with a feedforward network. : : : : : : : : : The periodic function f (x) = sin(2x) sin(x) approximated with sine activation functions. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : The periodic function f (x) = sin(2x) sin(x) approximated with sigmoid activation functions. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Slow decrease with conjugate gradient in non-quadratic systems. : : : : : : : : : E ect of the learning set size on the generalization : : : : : : : : : : : : : : : : : E ect of the learning set size on the error rate : : : : : : : : : : : : : : : : : : : E ect of the number of hidden units on the network performance : : : : : : : : : E ect of the number of hidden units on the error rate : : : : : : : : : : : : : : : The Jordan network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : The Elman network : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Training an Elman network to control an object : : : : : : : : : : : : : : : : : : : Training a feed-forward network to control an object : : : : : : : : : : : : : : : : The auto-associator network. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : A simple competitive learning network. : : : : : : : : : : : : : : : : : : : : : : : Example of clustering in 3D with normalised vectors. : : : : : : : : : : : : : : : : Determining the winner in a competitive learning network. : : : : : : : : : : : : Competitive learning for clustering data. : : : : : : : : : : : : : : : : : : : : : : : Vector quantisation tracks input density. : : : : : : : : : : : : : : : : : : : : : : : 6.1 6.2 6.3 6.4 6.5 6.6 A network combining a vector quantisation layer with a 1-layer feed-forward neural network. This network can be used to approximate functions from <2 to <2 , the input space <2 is discretised in 5 disjoint subspaces. : : : : : : : : : : : : : : 6.7 Gaussian neuron distance function. : : : : : : : : : : : : : : : : : : : : : : : : : : 6.8 A topology-conserving map converging. : : : : : : : : : : : : : : : : : : : : : : : 6.9 The mapping of a two-dimensional input space on a one-dimensional Kohonen network. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 7 23 24 25 27 27 29 30 34 37 38 39 40 42 44 44 45 45 48 49 49 50 51 58 59 59 61 62 62 65 65 66 8 LIST OF FIGURES : : : : : 7.1 Reinforcement learning scheme. : 6.10 6.11 6.12 6.13 6.14 7.2 7.3 Mexican hat : : : : : : : : : : : Distribution of input samples. : The ART architecture. : : : : : The ART1 neural network. : : An example ART run. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : Architecture of a reinforcement learning scheme with critic element : The cart-pole system. : : : : : : : : : : : : : : : : : : : : : : : : : : An exemplar robot manipulator. : : : : : : : : : : : : : : : : : : : : Indirect learning system for robotics. : : : : : : : : : : : : : : : : : : The system used for specialised learning. : : : : : : : : : : : : : : : : A Kohonen network merging the output of two cameras. : : : : : : : The neural model proposed by Kawato et al. : : : : : : : : : : : : : The neural network used by Kawato et al. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 8.1 8.2 8.3 8.4 8.5 8.6 8.7 The desired joint pattern for joints 1. Joints 2 and 3 have similar time patterns. 8.8 Schematic representation of the stored rooms, and the partial information which is available from a single sonar scan. : : : : : : : : : : : : : : : : : : : : : : : : : 8.9 The structure of the network for the autonomous land vehicle. : : : : : : : : : : 9.1 9.2 9.3 9.4 9.5 9.6 10.1 10.2 10.3 11.1 11.2 11.3 11.4 11.5 Input image for the network. : : : : : : : : : : Weights of the PCA network. : : : : : : : : : : The basic structure of the cognitron. : : : : : : Cognitron receptive regions. : : : : : : : : : : : Two learning iterations in the cognitron. : : : : Feeding back activation values in the cognitron. :::: :::: :::: :::: :::: :::: The Connection Machine system organisation. : : : : : Typical use of a systolic array. : : : : : : : : : : : : : The Warp system architecture. : : : : : : : : : : : : : Connections between M input and N output neurons. Optical implementation of matrix multiplication. : : : The photo-receptor used by Mead. : : : : : : : : : : : : : : : : : : : : : : : The resistive layer (a) and, enlarged, a single node (b). : The LNeuro chip. : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 66 67 70 71 72 75 78 80 85 88 89 90 92 92 93 95 95 100 100 101 102 103 104 113 114 114 115 117 118 119 120 Preface This manuscript attempts to provide the reader with an insight in arti cial neural networks. Back in 1990, the absence of any state-of-the-art textbook forced us into writing our own. However, in the meantime a number of worthwhile textbooks have been published which can be used for background and in-depth information. We are aware of the fact that, at times, this manuscript may prove to be too thorough or not thorough enough for a complete understanding of the material therefore, further reading material can be found in some excellent text books such as (Hertz, Krogh, & Palmer, 1991 Ritter, Martinetz, & Schulten, 1990 Kohonen, 1995 Anderson & Rosenfeld, 1988 DARPA, 1988 McClelland & Rumelhart, 1986 Rumelhart & McClelland, 1986). Some of the material in this book, especially parts III and IV, contains timely material and thus may heavily change throughout the ages. The choice of describing robotics and vision as neural network applications coincides with the neural network research interests of the authors. Much of the material presented in chapter 6 has been written by Joris van Dam and Anuj Dev at the University of Amsterdam. Also, Anuj contributed to material in chapter 9. The basis of chapter 7 was form by a report of Gerard Schram at the University of Amsterdam. Furthermore, we express our gratitude to those people out there in Net-Land who gave us feedback on this manuscript, especially Michiel van der Korst and Nicolas Maudit who pointed out quite a few of our goof-ups. We owe them many kwartjes for their help. The seventh edition is not drastically di erent from the sixth one we corrected some typing errors, added some examples and deleted some obscure parts of the text. In the eighth edition, symbols used in the text have been globally changed. Also, the chapter on recurrent networks has been (albeit marginally) updated. The index still requires an update, though. Amsterdam/Oberpfa enhofen, November 1996 Patrick van der Smagt Ben Krose 9 10 LIST OF FIGURES Part I FUNDAMENTALS 11 1 Introduction A rst wave of interest in neural networks (also known as `connectionist models' or `parallel distributed processing') emerged after the introduction of simpli ed neurons by McCulloch and Pitts in 1943 (McCulloch & Pitts, 1943). These neurons were presented as models of biological neurons and as conceptual components for circuits that could perform computational tasks. When Minsky and Papert published their book Perceptrons in 1969 (Minsky & Papert, 1969) in which they showed the de ciencies of perceptron models, most neural network funding was redirected and researchers left the eld. Only a few researchers continued their e orts, most notably Teuvo Kohonen, Stephen Grossberg, James Anderson, and Kunihiko Fukushima. The interest in neural networks re-emerged only after some important theoretical results were attained in the early eighties (most notably the discovery of error back-propagation), and new hardware developments increased the processing capacities. This renewed interest is re ected in the number of scientists, the amounts of funding, the number of large conferences, and the number of journals associated with neural networks. Nowadays most universities have a neural networks group, within their psychology, physics, computer science, or biology departments. Arti cial neural networks can be most adequately characterised as `computational models' with particular properties such as the ability to adapt or...
View Full Document

{[ snackBarMessage ]}