Bishop, Christopher M., Bishop, Hugh 　著

目次

Preface 3 1 Introduction 17 1.1 The Deep Learning Revolution . . . . . . . . . . . . . . . . . . . . 19 1.2 A Brief History of Machine Learning . . . . . . . . . . . . . . . . 23 1.3 Overview of the Book . . . . . . . . . . . . . . . . . . . . . . . . 24 2 Probabilities 25 2.1 The Sum and Product Rules . . . . . . . . . . . . . . . . . . . . . 26 2.2 Probability Densities . . . . . . . . . . . . . . . . . . . . . . . . . 33 2.2.1 Example distributions . . . . . . . . . . . . . . . . . . . . 34 2.2.2 Expectations and covariances . . . . . . . . . . . . . . . . 35 2.3 The Gaussian distribution . . . . . . . . . . . . . . . . . . . . . . 37 2.4 Transformation of densities . . . . . . . . . . . . . . . . . . . . . 40 2.5 Bayesian probabilities . . . . . . . . . . . . . . . . . . . . . . . . 43 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3 Information Theory 51 3.1 Decision Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 3.1.1 Minimizing the misclassification rate . . . . . . . . . . . . 53 3.1.2 Minimizing the expected loss . . . . . . . . . . . . . . . . 53 3.1.3 Measuring the accuracy of classifiers . . . . . . . . . . . . 55 3.1.4 The reject option . . . . . . . . . . . . . . . . . . . . . . . 58 3.1.5 Inference and decision . . . . . . . . . . . . . . . . . . . . 59 3.2 Information Theory . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.2.1 Entropy . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 3.2.2 Mutual information . . . . . . . . . . . . . . . . . . . . . . 68 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 4 Standard Distributions 75 4.1 Binary Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 4.2 Multinomial Variables . . . . . . . . . . . . . . . . . . . . . . . . 78 4.2.1 The Dirichlet distribution . . . . . . . . . . . . . . . . . . . 80 4.3 The Multivariate Gaussian . . . . . . . . . . . . . . . . . . . . . . 82 4.3.1 Conditional Gaussian distributions . . . . . . . . . . . . . . 88 4.3.2 Marginal Gaussian distributions . . . . . . . . . . . . . . . 91 4.3.3 Bayes’ theorem for Gaussian variables . . . . . . . . . . . . 93 4.3.4 Maximum likelihood for the Gaussian . . . . . . . . . . . . 96 4.3.5 Sequential estimation . . . . . . . . . . . . . . . . . . . . . 97 4.3.6 Mixtures of Gaussians . . . . . . . . . . . . . . . . . . . . 98 4.4 Periodic Variables . . . . . . . . . . . . . . . . . . . . . . . . . . 101 4.4.1 Von Mises Distribution . . . . . . . . . . . . . . . . . . . . 102 4.5 The Exponential Family . . . . . . . . . . . . . . . . . . . . . . . 106 4.5.1 Exponential family . . . . . . . . . . . . . . . . . . . . . . 109 4.5.2 Maximum likelihood and sufficient statistics . . . . . . . . 110 4.6 Nonparametric Methods . . . . . . . . . . . . . . . . . . . . . . . 111 4.6.1 Kernel densities . . . . . . . . . . . . . . . . . . . . . . . . 113 4.6.2 Nearest-neighbours . . . . . . . . . . . . . . . . . . . . . . 115 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 5 Structured Distributions 125 5.1 Graphical Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 126 5.1.1 Generative models . . . . . . . . . . . . . . . . . . . . . . 128 5.1.2 Discrete variables . . . . . . . . . . . . . . . . . . . . . . . 130 5.1.3 Linear-Gaussian models . . . . . . . . . . . . . . . . . . . 133 5.2 Conditional Independence . . . . . . . . . . . . . . . . . . . . . . 136 5.2.1 Three example graphs . . . . . . . . . . . . . . . . . . . . 137 5.2.2 D-separation . . . . . . . . . . . . . . . . . . . . . . . . . 141 5.3 Markov models . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 5.4 Sequence Models . . . . . . . . . . . . . . . . . . . . . . . . . . . 147 5.4.1 Hidden states . . . . . . . . . . . . . . . . . . . . . . . . . 150 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 6 Sampling 155 6.1 Basic Sampling Algorithms . . . . . . . . . . . . . . . . . . . . . 158 6.1.1 Standard distributions . . . . . . . . . . . . . . . . . . . . 158 6.2 Rejection Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . 160 6.2.1 Adaptive rejection sampling . . . . . . . . . . . . . . . . . 162 6.3 Importance Sampling . . . . . . . . . . . . . . . . . . . . . . . . . 164 6.3.1 Sampling-importance-resampling . . . . . . . . . . . . . . 167 6.4 Markov Chain Monte Carlo . . . . . . . . . . . . . . . . . . . . . 168 6.4.1 Markov chains . . . . . . . . . . . . . . . . . . . . . . . . 170 6.4.2 The Metropolis-Hastings algorithm . . . . . . . . . . . . . 172 6.5 Gibbs Sampling . . . . . . . . . . . . . . . . . . . . . . . . . . . 173 6.6 Energy-based Models . . . . . . . . . . . . . . . . . . . . . . . . 177 6.6.1 Langevin sampling . . . . . . . . . . . . . . . . . . . . . . 178 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180 7 Regression 183 7.1 Linear Regression . . . . . . . . . . . . . . . . . . . . . . . . . . 184 7.1.1 Model Selection . . . . . . . . . . . . . . . . . . . . . . . 186 7.1.2 Regularization . . . . . . . . . . . . . . . . . . . . . . . . 190 7.1.3 Cross Validation . . . . . . . . . . . . . . . . . . . . . . . 192 7.1.4 Polynomial regression re-visited . . . . . . . . . . . . . . . 193 7.1.5 Loss functions for regression . . . . . . . . . . . . . . . . . 195 7.1.6 Example: Polynomial regression . . . . . . . . . . . . . . . 198 7.2 Linear Basis Functions . . . . . . . . . . . . . . . . . . . . . . . . 201 7.2.1 Maximum likelihood . . . . . . . . . . . . . . . . . . . . . 203 7.2.2 Geometry of least squares . . . . . . . . . . . . . . . . . . 206 7.2.3 Sequential learning . . . . . . . . . . . . . . . . . . . . . . 206 7.2.4 Regularized least squares . . . . . . . . . . . . . . . . . . . 207 7.2.5 Multiple outputs . . . . . . . . . . . . . . . . . . . . . . . 209 7.3 The Bias-Variance Trade-off . . . . . . . . . . . . . . . . . . . . . 210 7.4 Effective number of parameters . . . . . . . . . . . . . . . . . . . 215 7.5 Inductive Bias . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220 8 Classification 225 8.1 Discriminant Functions . . . . . . . . . . . . . . . . . . . . . . . . 227 8.1.1 Two classes . . . . . . . . . . . . . . . . . . . . . . . . . . 227 8.1.2 Multiple classes . . . . . . . . . . . . . . . . . . . . . . . . 228 8.1.3 Least squares for classification . . . . . . . . . . . . . . . . 230 8.1.4 The perceptron algorithm . . . . . . . . . . . . . . . . . . . 233 8.2 Probabilistic Generative Models . . . . . . . . . . . . . . . . . . . 233 8.2.1 Continuous inputs . . . . . . . . . . . . . . . . . . . . . . 235 8.2.2 Maximum likelihood solution . . . . . . . . . . . . . . . . 237 8.2.3 Discrete features . . . . . . . . . . . . . . . . . . . . . . . 239 8.3 Probabilistic Discriminative Models . . . . . . . . . . . . . . . . . 240 8.3.1 Fixed basis functions . . . . . . . . . . . . . . . . . . . . . 240 8.3.2 Logistic regression . . . . . . . . . . . . . . . . . . . . . . 241 8.3.3 Iterative reweighted least squares . . . . . . . . . . . . . . 243 8.3.4 Multiclass logistic regression . . . . . . . . . . . . . . . . . 245 8.3.5 Probit regression . . . . . . . . . . . . . . . . . . . . . . . 247 8.3.6 Canonical link functions . . . . . . . . . . . . . . . . . . . 249 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 9 Neural Networks 255 9.1 Limitations of Fixed Basis Functions . . . . . . . . . . . . . . . . 256 9.1.1 The Curse of Dimensionality . . . . . . . . . . . . . . . . . 256 9.1.2 Data-dependent Basis Functions . . . . . . . . . . . . . . . 260 9.2 Two-layer Networks . . . . . . . . . . . . . . . . . . . . . . . . . 263 9.2.1 Hidden unit activation functions . . . . . . . . . . . . . . . 267 9.2.2 Weight-space symmetries . . . . . . . . . . . . . . . . . . 270 9.3 Deep Neural Networks . . . . . . . . . . . . . . . . . . . . . . . . 271 9.3.1 Error functions . . . . . . . . . . . . . . . . . . . . . . . . 274 9.3.2 Mixture density networks . . . . . . . . . . . . . . . . . . 277 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283 10 Gradient Descent 289 10.1 Network Training . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 10.1.1 Gradient descent optimization . . . . . . . . . . . . . . . . 292 10.1.2 Local quadratic approximation . . . . . . . . . . . . . . . . 294 10.2 Use of gradient information . . . . . . . . . . . . . . . . . . . . . 296 10.3 Parameter initialization . . . . . . . . . . . . . . . . . . . . . . . . 297 10.3.1 Input normalization . . . . . . . . . . . . . . . . . . . . . . 298 10.4 Convergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298 10.4.1 Momentum . . . . . . . . . . . . . . . . . . . . . . . . . . 301 10.4.2 Learning rate . . . . . . . . . . . . . . . . . . . . . . . . . 303 10.4.3 RMSProp and Adam . . . . . . . . . . . . . . . . . . . . . 303 10.5 Batch Normalization . . . . . . . . . . . . . . . . . . . . . . . . . 305 10.5.1 Layer normalization . . . . . . . . . . . . . . . . . . . . . 306 10.5.2 Second-order methods . . . . . . . . . . . . . . . . . . . . 306 10.5.3 Vanishing gradients . . . . . . . . . . . . . . . . . . . . . . 309 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 11 Backpropagation 311 11.1 Gradients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 11.1.1 Evaluation of derivatives . . . . . . . . . . . . . . . . . . . 312 11.1.2 A simple example . . . . . . . . . . . . . . . . . . . . . . 315 11.1.3 Numerical differentiation . . . . . . . . . . . . . . . . . . . 316 11.1.4 The Jacobian matrix . . . . . . . . . . . . . . . . . . . . . 318 11.1.5 The Hessian matrix . . . . . . . . . . . . . . . . . . . . . . 320 11.2 Residual connections . . . . . . . . . . . . . . . . . . . . . . . . . 322 11.3 Neural Differential Equations . . . . . . . . . . . . . . . . . . . . 323 11.4 Automatic Differentiation . . . . . . . . . . . . . . . . . . . . . . 326 11.4.1 Forward mode AD . . . . . . . . . . . . . . . . . . . . . . 328 11.4.2 Reverse mode AD . . . . . . . . . . . . . . . . . . . . . . 331 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332 12 Regularization 337 12.1 Symmetry and Invariance . . . . . . . . . . . . . . . . . . . . . . 338 12.2 Regularization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342 12.2.1 Consistent regularizers . . . . . . . . . . . . . . . . . . . . 342 12.3 Early stopping . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 12.4 Model averaging . . . . . . . . . . . . . . . . . . . . . . . . . . . 347 12.5 Parameter sharing . . . . . . . . . . . . . . . . . . . . . . . . . . 350 12.6 Dropout . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352 12.6.1 Transfer Learning . . . . . . . . . . . . . . . . . . . . . . . 354 12.6.2 Contrastive Learning . . . . . . . . . . . . . . . . . . . . . 355 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 13 Convolutional Networks 361 13.1 Deep Convolutional Networks . . . . . . . . . . . . . . . . . . . . 362 13.1.1 Computer vision . . . . . . . . . . . . . . . . . . . . . . . 362 13.1.2 Convolutional filters . . . . . . . . . . . . . . . . . . . . . 364 13.1.3 Padding and striding . . . . . . . . . . . . . . . . . . . . . 368 13.1.4 Multi-dimensional convolutions . . . . . . . . . . . . . . . 369 13.1.5 Pooling . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371 13.1.6 Multi-layer convolutions . . . . . . . . . . . . . . . . . . . 373 13.1.7 Visualizing CNNs . . . . . . . . . . . . . . . . . . . . . . 376 13.2 Convolutional Architectures . . . . . . . . . . . . . . . . . . . . . 383 13.2.1 Object detection . . . . . . . . . . . . . . . . . . . . . . . 383 13.2.2 Style transfer . . . . . . . . . . . . . . . . . . . . . . . . . 389 13.2.3 Fully Convolutional Networks . . . . . . . . . . . . . . . . 390 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 14 Graph Neural Networks 399 14.1 Graph Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . 400 14.1.1 Adjacency matrix . . . . . . . . . . . . . . . . . . . . . . . 400 14.2 Equivariant networks . . . . . . . . . . . . . . . . . . . . . . . . . 404 14.2.1 Euclidean equivariance . . . . . . . . . . . . . . . . . . . . 405 14.2.2 Deep sets . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 14.2.3 Message passing . . . . . . . . . . . . . . . . . . . . . . . 405 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 15 Transformers 407 15.1 Attention . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408 15.1.1 Transformer block . . . . . . . . . . . . . . . . . . . . . . 409 15.1.2 Attention coefficients . . . . . . . . . . . . . . . . . . . . . 409 15.1.3 Dot-product self-attention . . . . . . . . . . . . . . . . . . 410 15.1.4 Network parameters . . . . . . . . . . . . . . . . . . . . . 411 15.1.5 Scaled self-attention . . . . . . . . . . . . . . . . . . . . . 412 15.1.6 Computational complexity . . . . . . . . . . . . . . . . . . 414 15.1.7 Multi-head attention . . . . . . . . . . . . . . . . . . . . . 415 15.1.8 Transformer layers . . . . . . . . . . . . . . . . . . . . . . 417 15.1.9 Positional encoding . . . . . . . . . . . . . . . . . . . . . . 419 15.2 Natural language . . . . . . . . . . . . . . . . . . . . . . . . . . . 421 15.2.1 Word embedding . . . . . . . . . . . . . . . . . . . . . . . 422 15.2.2 Tokenization . . . . . . . . . . . . . . . . . . . . . . . . . 424 15.2.3 Bag-of-words . . . . . . . . . . . . . . . . . . . . . . . . . 425 15.2.4 Autoregressive models . . . . . . . . . . . . . . . . . . . . 426 15.2.5 Recurrent neural networks . . . . . . . . . . . . . . . . . . 427 15.2.6 Backpropagation through time . . . . . . . . . . . . . . . . 428 15.3 Transformer Language Models . . . . . . . . . . . . . . . . . . . . 429 15.3.1 Encoder transformers . . . . . . . . . . . . . . . . . . . . . 430 15.3.2 Decoder transformers . . . . . . . . . . . . . . . . . . . . . 431 15.3.3 Sampling strategies . . . . . . . . . . . . . . . . . . . . . . 432 15.3.4 Sequence-to-sequence transformers . . . . . . . . . . . . . 434 15.4 Multimodal Transformers . . . . . . . . . . . . . . . . . . . . . . 435 15.4.1 Vision transformers . . . . . . . . . . . . . . . . . . . . . . 435 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436 16 Mixture Models 439 16.1 K-means Clustering . . . . . . . . . . . . . . . . . . . . . . . . . 440 16.1.1 Image segmentation and compression . . . . . . . . . . . . 444 16.2 Mixtures of Gaussians . . . . . . . . . . . . . . . . . . . . . . . . 446 16.2.1 Maximum likelihood . . . . . . . . . . . . . . . . . . . . . 449 16.2.2 EM for Gaussian mixtures . . . . . . . . . . . . . . . . . . 451 16.2.3 Limitations of mixture models . . . . . . . . . . . . . . . . 455 16.3 Evidence Lower Bound . . . . . . . . . . . . . . . . . . . . . . . 455 16.3.1 Gaussian mixtures revisited . . . . . . . . . . . . . . . . . 457 16.3.2 Relation to K-means . . . . . . . . . . . . . . . . . . . . . 459 16.3.3 Mixtures of Bernoulli distributions . . . . . . . . . . . . . . 460 16.4 The EM Algorithm in General . . . . . . . . . . . . . . . . . . . . 463 Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468 17 Latent Variables 477 17.0.1 Maximum variance formulation . . . . . . . . . . . . . . . 479 17.0.2 Minimum-error formulation . . . . . . . . . . . . . . . . . 481 17.0.3 Applications of PCA . . . . . . . . . . . . . . . . . . . . . 483 17.0.4 PCA for high-dimensional data . . . . . . . . . . . . . . . 486 17.1 Probabilistic PCA . . . . . . . . . . . . . . . . . . . . . . . . . . 489 17.1.1 Maximum likelihood PCA . . . . . . . . . . . . . . . . . . 492 17.1.2 EM algorithm for PCA . . . . . . . . . . . . . . . . . . . . 495 17.2 Kalman Filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499 17.3 Autoencoders . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501 17.3.1 Denoising autoencoders . . . . . . . . . . . . . . . . . . . 504 17.3.2 Masked autoencoders . . . . . . . . . . . . . .