内容

目次

1．多次元関数の基礎 1.1　ユークリッド空間と関数 1.2　1次関数と2次関数の勾配ベクトル 1.3　2次関数の性質 　1.3.1　固有値と固有ベクトル 　1.3.2　2次関数の標準形 　1.3.3　2次関数の形状 1.4　関数の極値 1.5　制約付き最適化問題：ラグランジュの未定乗数法 　1.5.1　制約付き最適化問題の例 　1.5.2　問題の一般定式化 　1.5.3　ラグランジュの未定乗数法 　1.5.4　ラグランジュの未定乗数法の解釈 章末問題 2．関数の最適化手法 2.1　次関数の最適化 2.2　勾配法と最急降下法 2.3　確率的勾配降下法 2.4　ニュートン法 2.5　共役勾配法 2.6　さまざまな改良アルゴリズム 章末問題 3．確率論の基礎 3.1　事象と確率 　3.1.1　標本空間と事象 　3.1.2　σ-集合族 　3.1.3　確率空間 3.2　条件付き確率 3.3　ベイズの定理 章末問題 4．確率変数と確率分布 4.1　確率変数 　4.1.1　次元確率変数 　4.1.2　多次元確率変数 4.2　離散型確率変数と確率分布 　4.2.1　離散型確率変数 　4.2.2　期待値 　4.2.3　多次元離散型確率変数 　4.2.4　代表的な1次元離散型確率分布 4.3　連続型確率変数と確率分布 　4.3.1　連続型確率変数 　4.3.2　期待値 　4.3.3　多次元連続型確率変数 　4.3.4　代表的な1次元連続型確率分布 　4.3.5　多次元正規分布 4.4　期待値と分散の性質 章末問題 5．統計的推定と統計的予測 5.1　確率モデル 　5.1.1　表記法の定義 　5.1.2　経験分布 　5.1.3　パラメトリックモデル族 5.2　統計的推定と予測 5.3　一般的なパラメータの推定法 5.4　簡単な予測問題：確率分布が既知のときの予測 5.5　ベイズ推定とベイズ予測 　5.5.1　ベイズの公式 　5.5.2　パラメータの推定問題 　5.5.3　統計的予測問題 5.6　ベルヌーイ試行のベイズ推定と予測 章末問題 6．統計的モデル選択 6.1　具体例 　6.1.1　統計的仮説検定の問題 　6.1.2　統計的モデル選択問題としての捉え方 6.2　階層モデル族 6.3　統計的モデル選択問題 6.4　モデル選択規準 　6.4.1　赤池情報量規準（AIC） 　6.4.2　Schwarz の BIC 　6.4.3　Rissanen の MDL規準 6.5　モデル選択規準に関するさまざまな議論 6.6　クロスバリデーション 章末問題 7．統計的決定理論とベイズ決定 7.1　統計的決定の問題 　7.1.1　具体例 　7.1.2　一般論 7.2　決定理論の幾何的考察 　7.2.1　リスクセット 　7.2.2　ベイズ決定の幾何的意味 　7.2.3　ミニマックス決定の幾何的意味 7.3　決定問題の性質 　7.3.1　ベイズ決定の許容性 　7.3.2　非ランダム決定の最適性 　7.3.3　ミニマックス定理 章末問題 8．情報表現と2値演算 8.12　進数と演算 　8.1.1　ディジタル情報と2進数表示 　8.1.2　2進数と10進数の関係 　8.1.3　2進数表現の桁数 8.2　2進整数の演算 　8.2.1　整数の加算・減算と補数 　8.2.2　整数の乗算・除算とシフト演算 8.3　2進小数の表現 8.4　文字の表現 8.5　16進数 章末問題 9．情報エントロピー論 9.1　情報とはなにか 9.2　情報量はどのように測れるか？|自己情報量の概念 　9.2.1　Hartleyの自己情報量 　9.2.2　Shannonの自己情報量 9.3　エントロピー 　9.3.1　エントロピーの定義 　9.3.2　定常無記憶情報源とエントロピー 9.4　各種情報量 　9.4.1　二つの情報源 　9.4.2　結合エントロピー 　9.4.3　条件付きエントロピー 　9.4.4　相互情報量 9.5　エントロピーの性質 章末問題 10．情報源符号化の理論 10.1　情報源モデル 　10.1.1　情報源アルファベット 　10.1.2　情報源モデル 　10.1.3　定常無記憶情報源 　10.1.4　マルコフ情報源 10.2　情報源符号化と符号長 　10.2.12　元符号における情報源符号化の例 　10.2.2　記号列に対する情報源符号化の例 10.3　符号化の持つべき性質 　10.3.1　一意復号可能な符号 　10.3.2　瞬時符号 　10.3.3　瞬時符号の調べ方 　10.3.4　クラフトの不等式 10.4　ハフマン符号 10.5　符号化の限界（符号長の下限・上限と情報源符号化定理） 　10.5.1　符号長の下限 　10.5.2　符号長の上限 　10.5.3　拡大情報源 　10.5.4　情報源符号化定理 10.6　漸近等分割性 章末問題 11．通信路符号化の方法 11.1　通信のモデル 11.2　通信路のモデル 　11.2.1　通信路における誤り 　11.2.2　2元対称通信路（BSC） 　11.2.3　2元消失通信路（BEC） 11.3　通信路容量 　11.3.1　通信路容量の定義 　11.3.2　2元対称通信路の通信路容量 　11.3.3　2元対称通信路の通信路容量の計算例 　11.3.4　通信路符号化定理 11.4　誤り訂正符号 　11.4.1　誤り混入のモデル 　11.4.2　最も簡単な例：繰り返し符号 　11.4.3　組織符号とパリティ検査符号 　11.4.4　ハミング符号 　11.4.5　誤り検出能力と誤り訂正能力 　11.4.6　線形符号 章末問題 12．パターン認識と統計的学習の概要 12.1　パターン認識とは 　12.1.1　パターン認識問題の例 　12.1.2　パターン認識問題の基本モデル 　12.1.3　特徴空間と特徴ベクトル 12.2　ベイズ決定による最適判別 　12.2.1　一般論 　12.2.2　生成モデルと識別モデル 　12.2.3　正規分布を仮定した生成モデルと識別関数との関係 12.3　線形識別関数によるパターン判別 　12.3.1　線形判別モデルとパーセプトロン 　12.3.2　パーセプトロンの学習 12.4　特徴パターンとの照合によるパターン判別 　12.4.1　テンプレートマッチング 　12.4.2　k-最近傍識別法 12.5　さまざまな機械学習アルゴリズム 章末問題 引用・参考文献 索引