内容

目次

1．確率と確率過程 1.1　確率と確率変数 　1.1.1　確率空間 　1.1.2　確率変数 　1.1.3　期待値（平均）と分散 　1.1.4　同時分布と周辺分布 　1.1.5　独立 　1.1.6　確率変数の和 　1.1.7　特性関数 　1.1.8　極限定理 1.2　条件付き確率と期待値 　1.2.1　条件付き確率 　1.2.2　条件付き期待値 1.3　確率分布 　1.3.1　二項分布 　1.3.2　ポアソン分布 　1.3.3　一様分布 　1.3.4　指数分布 　1.3.5　ガンマ分布 　1.3.6　正規分布 1.4　計数過程 　1.4.1　確率過程 　1.4.2　ポアソン過程 　1.4.3　到着時間間隔 　1.4.4　非斉次ポアソン過程 　1.4.5　ポアソン過程の合成 1.5マルコフ連鎖とマルコフ過程 　1.5.1　マルコフ連鎖 　1.5.2　チャップマン?コルモゴロフ方程式 　1.5.3　離散時間マルコフ過程 1.6　連続時間の確率過程 　1.6.1　連続時間マルコフ連鎖 　1.6.2　チャップマン?コルモゴロフ方程式 　1.6.3　コルモゴロフの方程式 　1.6.4　出生死滅過程 2．確率的順序関係 2.1　確率順序 2.2　故障率関数と順序 　2.2.1　故障率関数 　2.2.2　故障率順序 2.3　尤度比順序 2.4　尤度比順序とTP 　2.4.1　TP 　2.4.2　MTP 　2.4.3　シフト尤度比順序 2.5　関数類による順序関係 3．マルコフ決定過程 3.1　動的計画法 　3.1.1　多段決定過程 　3.1.2　最適方程式 　3.1.3　最適性の原理 3.2　多段決定過程 　3.2.1　確率的多段決定過程 　3.2.2　定常政策とマルコフ決定過程 　3.3　割引のあるマルコフ決定過程 　3.3.1　最適方程式 　3.3.2　最適政策 　3.3.3　逐次近似法 　3.3.4　政策反復法 3.4　最適支出問題 　3.4.1　アウトカムと確率過程 　3.4.2　確定的最適支出問題 3.5　マルコフ過程の最適支出問題 4．ジョブサーチと確率的逐次割当問題 4.1　ジョブサーチ 　4.1.1　関数TF(z)とSF(z) 　4.1.2　最適方程式と最適政策 　4.1.3　リコールのあるジョブサーチ 4.2　確率的逐次割当問題 　4.2.1　ハーディの補題 　4.2.2　確率的逐次割当問題 　4.2.3　マルコフ連鎖の確率的逐次割当問題 　4.2.4　割引のある確率的逐次割当問題 4.3　ポアソン過程の確率的逐次割当問題 4.4　最適選択問題 5．学習と情報 5.1　ベイズの定理 　5.1.1　ベイズの定理 　5.1.2　事前分布と事後分布 5.2　共役分布族 　5.2.1　ポアソン分布 　5.2.2　指数分布 　5.2.3　期待値が未知の正規分布 5.3　部分観測可能な2状態マルコフ連鎖 　5.3.1　2状態マルコフ連鎖 　5.3.2　学習プロセス 　5.4　部分観測可能なマルコフ連鎖 　5.4.1　可算状態のマルコフ連鎖 　5.4.2　事前情報と事後情報 5.5　部分観測可能なマルコフ過程 　5.5.1　離散時間マルコフ過程 　5.5.2　事前情報と事後情報 　5.5.3　正規分布に基づくモデル 5.6　一度に複数の値を観測する学習プロセス 　5.6.1　独立な確率変数の場合 　5.6.2　MTP2の場合 6．部分観測可能な2状態マルコフ決定過程 6.1　逐次解析 6.2　探索問題 　6.2.1　目的物が動かない場合 　6.2.2　マルコフ連鎖の探索問題 6.3　部分観測可能な2状態マルコフ決定過程 　6.3.1　部分観測可能な2状態マルコフ連鎖 　6.3.2　部分観測可能な最適停止問題 　6.3.3　部分観測可能な取替問題 7．部分観測可能な逐次割当問題 7.1　部分観測可能なジョブサーチ 7.2　部分観測可能な確率的逐次割当問題 7.3　部分観測可能な最適選択問題 おわりに 引用・参考文献 索引