山田 育矢, 柴田 知秀, 進藤 裕之, 玉木 竜二 　著

内容

目次

第1章 はじめに 1.1 自然言語処理とは 1.2 自然言語処理とディープラーニング 1.3 数式の表記 第2章 ニューラルネットワークの基礎 2.1 教師あり学習 2.2 パーセプトロンによる文書分類 2.3 ニューラルネットワーク 　2.3.1 活性化関数 　2.3.2 確率的勾配降下法と誤差逆伝播法 　2.3.3 ハイパーパラメータ 2.4 訓練，検証，テスト 2.5 PyTorch 　2.5.1 テンソルの作成と操作 　2.5.2 テンソルを用いた演算 　2.5.3 計算グラフと自動微分 　2.5.4 GPUの使用 第3章 文書分類モデルの実装 3.1 AllenNLPとは 3.2 自然言語処理のモデルの開発の流れ 3.3 Livedoorニュースコーパス 3.4 AllenNLPでモデルを実装する2つの方法 3.5 開発を始める前の準備 　3.5.1 環境のセットアップ 　3.5.2 データセットのセットアップ 3.6 Pythonコードによるモデルの開発 　3.6.1 乱数シードの指定 　3.6.2 トークナイザの実装 　3.6.3 データセットリーダの作成 　3.6.4 データローダの作成 　3.6.5 語彙とトークンインデクサ 　3.6.6 ミニバッチの生成 　3.6.7 bag-of-embeddingsモデル 　3.6.8 単語エンベディングの作成 　3.6.9 文書のベクトルの作成 　3.6.10 分類器の作成 　3.6.11 最適化器の作成 　3.6.12 トレイナの作成 　3.6.13 モデルの訓練 3.7 設定ファイルによるモデルの開発 　3.7.1 設定ファイルの作成 　3.7.2 モデルの訓練 　3.7.3 TensorBoardによる指標の確認 　3.7.4 性能の評価 　3.7.5 学習したモデルを使う 第4章 評判分析モデルの実装 4.1 畳み込みニューラルネットワーク 4.2 データセットのセットアップ 4.3 モデルの関発 　4.3.1 実　装 　4.3.2 モデルの訓練 　4.3.3 性能の評価 　4.3.4 学習したモデルを使う 4.4 ハイパーパラメータ探索 第5章 固有表現認識モデルの実装 5.1 リカレントニューラルネットワーク 　5.1.1 双方向リカレントニューラルネットワーク 　5.1.2 long short-term memory 5.2 データセットのセットアップ 5.3 モデルの関発 　5.3.1 実　装 　5.3.2 モデルの訓練 　5.3.3 性能の評価 5.4 出力の視覚化 第6章 BERTの背景とその理論 6.1 BERTを理解するまでの準備 　6.1.1 BERT以前のディープラーニングの問題点 　6.1.2 自己教師あり学習 　6.1.3 転移学習 　6.1.4 ELMo 　6.1.5 Transformer 　6.1.6 GPT 6.2 BERT 　6.2.1 BERTのモデル構造 　6.2.2 入力表現 　6.2.3 事前学習 　6.2.4 ファインチューニング 第7章 BERTによる日本語解析 7.1 AllenNLPにおけるBERTの利用 　7.1.1 transformers 　7.1.2 サブワード分割 　7.1.3 BERT日本語モデル 　7.1.4 BERTが関係するモジュール 7.2 BERTの日本語タスクへの適用 　7.2.1 文・文章分類問題 　7.2.2 固有表現認識 　7.2.3 訓練データを減らした場合の性能 7.3 BERTの登場以降 　7.3.1 モデルの改良 　7.3.2 生　成 　7.3.3 言語モデル 　7.3.4 軽量化・高速化 　7.3.5 マルチモーダル 参考文献 索　引