内容

目次

1 イントロダクション 1.1 歴史 1.2 最適化のプロセス 1.3 標準的な最適化問題 1.4 制約 1.5 臨界点 1.6 局所的最適性の条件 1.7 等高線図 1.8 全体概要 1.9 まとめ 1.10 演習問題 2 微分・勾配 2.1 導関数 2.2 勾配 2.3 数値微分 2.4 自動微分 2.5 まとめ 2.6 演習問題 3 囲い込み法 3.1 単峰性 3.2 最初の囲い込み区間を見つける方法 3.3 Fibonacci 探索 3.4 黄金分割探索 3.5 2 次当てはめ探索 3.6 Shubert-Piyavskii法 3.7 二分法 3.8 まとめ 3.9 演習問題 4 局所降下法 4.1 降下方向への反復 4.2 直線探索 4.3 近似直線探索 4.4 信頼領域法 4.5 停止条件 4.6 まとめ 4.7 演習問題 5 1次法 5.1 勾配降下法 5.2 共役勾配法 5.3 モメンタム法 5.4 Nesterovモメンタム法 5.5 Adagrad 5.6 RMSProp 5.7 Adadelta 5.8 Adam 5.9 超勾配降下法 5.10 まとめ 5.11 演習問題 6 2次法 6.1 Newton法 6.2 セカント法 6.3 準Newton法 6.4 まとめ 6.5 演習問題 7 直接法 7.1 巡回ルール付き座標降下法 7.2 Powell法 7.3 Hooke-Jeeves法 7.4 一般化パターンサーチ法 7.5 Nelder-Meadのシンプレックス法 7.6 矩形分割法 7.7 まとめ 7.8 演習問題 8 確率的手法 8.1 ノイズ付き降下法 8.2 メッシュ適応直接探索 8.3 焼きなまし法 8.4 クロスエントロピー法 8.5 自然進化戦略 8.6 共分散行列適応進化戦略(CMA-ES) 8.7 まとめ 8.8 演習問題 9 集団に基づく手法 9.1 初期化 9.2 遺伝的アルゴリズム 9.3 差分進化 9.4 粒子群最適化 9.5 ホタルアルゴリズム 9.6 カッコウ探索 9.7 ハイブリッド法 9.8 まとめ 9.9 演習問題 10 制約条件 10.1 制約付き最適化 10.2 制約条件の種類 10.3 制約を取り除く変換 10.4 ラグランジュの未定乗数法 10.5 不等式制約 10.6 双対性 10.7 ペナルティ法 10.8 拡張ラグランジュ法 10.9 内点法 10.10 まとめ 10.11 演習問題 11 線形計画法 11.1 問題の定式化 11.2 単体法 11.3 最適性の証拠 11.4 まとめ 11.5 演習問題 12 多目的最適化 12.1 パレート最適性 12.2 制約法 12.3 重み付け法 12.4 多目的の集団に基づく手法 12.5 選好誘出 12.6 まとめ 12.7 演習問題 13 サンプリング計画 13.1 完全実施要因計画 13.2 ランダムサンプリング 13.3 一様射影計画 13.4 層別サンプリング 13.5 空間充填指標 13.6 空間充填部分集合 13.7 準ランダム列 13.8 まとめ 13.9 演習問題 14 代理モデル 14.1 代理モデルのフィッティング 14.2 線形モデル 14.3 基底関数 14.4 ノイズ入り目的関数のフィッティング 14.5 モデル選択 14.6 まとめ 14.7 演習問題 15 確率的代理モデル 15.1 ガウス分布 15.2 ガウス過程 15.3 予測 15.4 勾配測定 15.5 ノイズ入り測定値 15.6 ガウス過程のフィッティング 15.7 まとめ 15.8 演習問題 16 代理モデルに基づく最適化 16.1 予測に基づく探索 16.2 誤差に基づく探索 16.3 信頼性下限関数を用いた探索 16.4 改善確率による探索 16.5 期待改善度による探索 16.6 安全最適化 16.7 まとめ 16.8 演習問題 17 不確実性下の最適化 17.1 不確実性 17.2 集合に基づく不確実性 17.3 確率的不確実性 17.4 まとめ 17.5 演習問題 18 不確実性伝搬 18.1 サンプリング法 18.2 テイラー近似 18.3 多項式カオス 18.4 ベイジアンモンテカルロ法 18.5 まとめ 18.6 演習問題 19 離散最適化 19.1 整数計画問題 19.2 ラウンディング 19.3 切除平面法 19.4 分枝限定法 19.5 動的計画法 19.6 蟻コロニー最適化 19.7 まとめ 19.8 演習問題 20 式の最適化 20.1 文法 20.2 遺伝的プログラミング 20.3 文法進化 20.4 確率文法 20.5 プロトタイプ木 20.6 まとめ 20.7 演習問題 21 複合領域設計最適化 21.1 領域の解析 21.2 領域間の両立性 21.3 アーキテクチャ 21.4 複合領域設計実行可能 21.5 逐次最適化 21.6 個別領域実行可能 21.7 協調最適化 21.8 同時解析設計 21.9 まとめ 21.10 演習問題 付録A Julia A.1 型 A.2 関数 A.3 制御フロー A.4 パッケージ 付録B ベンチマーク関数 B.1 Ackley関数 B.2 Booth関数 B.3 Branin関数 B.4 flower関数 B.5 Michalewicz関数 B.6 Rosenbrockのbanana関数 B.7 Wheelerのリッジ関数 B.8 circle関数 付録C 数学的予備知識 C.1 漸近記法 C.2 テイラー展開 C.3 凸性 C.4 ノルム C.5 行列における解析 C.6 正定値性 C.7 正規分布 C.8 ガウス求積 付録D 解答例 文献 索引