著者紹介

内容

目次

第1章 はじめに ■ 1.1 transformersを使って自然言語処理を解いてみよう ■■ 1.1.1 文書分類 ■■ 1.1.2 自然言語推論 ■■ 1.1.3 意味的類似度計算 ■■ 1.1.4 固有表現認識 ■■ 1.1.5 要約生成 ■ 1.2 transformersの基本的な使い方 ■ 1.3 単語埋め込みとニューラルネットワークの基礎 ■ 1.4 大規模言語モデルとは 第2章 Transformer ■ 2.1 概要 ■ 2.2 エンコーダ ■■ 2.2.1 入力トークン埋め込み ■■ 2.2.2 位置符号 ■■ 2.2.3 自己注意機構 ■■ 2.2.4 マルチヘッド注意機構 ■■ 2.2.5 フィードフォワード層 ■■ 2.2.6 残差結合 ■■ 2.2.7 層正規化 ■■ 2.2.8 ドロップアウト ■ 2.3 エンコーダ・デコーダ ■■ 2.3.1 交差注意機構 ■■ 2.3.2 トークン出力分布の計算 ■■ 2.3.3 注意機構のマスク処理 ■2.4 デコーダ 第3章 大規模言語モデルの基礎 ■ 3.1 単語の予測から学習できること ■ 3.2 GPT（デコーダ） ■■ 3.2.1 入力表現 ■■ 3.2.2 事前学習 ■■ 3.2.3 ファインチューニング ■■ 3.2.4 transformersで使う ■ 3.3 BERT・RoBERTa（エンコーダ） ■■ 3.3.1 入力表現 ■■ 3.3.2 事前学習 ■■ 3.3.3 ファインチューニング ■■ 3.3.4 transformers で使う ■ 3.4 T5（エンコーダ・デコーダ） ■■ 3.4.1 入力表現 ■■ 3.4.2 事前学習 ■■ 3.4.3 ファインチューニング ■■ 3.4.4 transformers で使う ■ 3.5 多言語モデル ■ 3.6 トークナイゼーション ■■ 3.6.1 バイト対符号化 ■■ 3.6.2 WordPiece ■■ 3.6.3 日本語の扱い 第4章大規模言語モデルの進展 ■ 4.1 モデルの大規模化とその効果 ■ 4.2 プロンプトによる言語モデルの制御 ■■ 4.2.1 文脈内学習 ■■ 4.2.2 chain-of-thought推論 ■ 4.3 アライメントの必要性 ■■ 4.3.1 役立つこと ■■ 4.3.2 正直であること ■■ 4.3.3 無害であること ■■ 4.3.4 主観的な意見の扱い ■ 4.4 指示チューニング ■■ 4.4.1 データセットの再利用 ■■ 4.4.2 人手でデータセットを作成 ■■ 4.4.3 指示チューニングの問題 ■ 4.5 人間のフィードバックからの強化学習 ■■ 4.5.1 報酬モデリング ■■ 4.5.2 強化学習 ■■ 4.5.3 REINFORCE ■■ 4.5.4 指示チューニングとRLHF ■ 4.6 ChatGPT 第5章 大規模言語モデルのファインチューニング ■ 5.1 日本語ベンチマーク：JGLUE ■■ 5.1.1 訓練・検証・テストセット ■■ 5.1.2 大規模言語モデルのためのベンチマーク ■■ 5.1.3 JGLUEに含まれるタスクとデータセット ■ 5.2 感情分析モデルの実装 ■■ 5.2.1 環境の準備 ■■ 5.2.2 データセットの準備 ■■ 5.2.3 トークナイザ ■■ 5.2.4 データセット統計の可視化 ■■ 5.2.5 データセットの前処理 ■■ 5.2.6 ミニバッチ構築 ■■ 5.2.7 モデルの準備 ■■ 5.2.8 訓練の実行 ■■ 5.2.9 訓練後のモデルの評価 ■■ 5.2.10 モデルの保存 ■ 5.3 感情分析モデルのエラー分析 ■■ 5.3.1 モデルの予測結果の取得 ■■ 5.3.2 全体的な傾向の分析 ■■ 5.3.3 モデルのショートカットに注意 ■ 5.4 自然言語推論・意味的類似度計算・多肢選択式質問応答モデルの実装 ■■ 5.4.1 自然言語推論 ■■ 5.4.2 意味的類似度計算 ■■ 5.4.3 多肢選択式質問応答 ■ 5.5 メモリ効率の良いファインチューニング ■■ 5.5.1 自動混合精度演算 ■■ 5.5.2 勾配累積 ■■ 5.5.3 勾配チェックポインティング ■■ 5.5.4 LoRAチューニング ■ 5.6 日本語大規模言語モデルの比較 ■■ 5.6.1 LUKE ■■ 5.6.2 DeBERTa V2 ■■ 5.6.3 性能比較 第6章 固有表現認識 ■ 6.1 固有表現認識とは ■ 6.2 データセット・前処理・評価指標 ■■ 6.2.1 データセット ■■ 6.2.2 前処理 ■■ 6.2.3 評価指標 ■ 6.3 固有表現認識モデルの実装 ■■ 6.3.1 BERTのファインチューニング ■■ 6.3.2 固有表現の予測・抽出 ■■ 6.3.3 検証セットを使ったモデルの選択 ■■ 6.3.4 性能評価 ■■ 6.3.5 エラー分析 ■■ 6.3.6 ラベル間の遷移可能性を考慮した予測 ■■ 6.3.7 CRFによるラベル間の遷移可能性の学習 ■ 6.4 アノテーションツールを用いたデータセット構築 ■■ 6.4.1 Label Studioを用いたアノテーション ■■ 6.4.2 Hugging Face Hubへのデータセットのアップロード ■■ 6.4.3 構築したデータセットでの性能評価 第7章 要約生成 ■ 7.1 要約生成とは ■ 7.2 データセット ■ 7.3 評価指標 ■■ 7.3.1 ROUGE ■■ 7.3.2 BLEU ■■ 7.3.3 BERTScore ■ 7.4 見出し生成モデルの実装 ■■ 7.4.1 T5のファインチューニング ■■ 7.4.2 見出しの生成とモデルの評価 ■ 7.5 多様な生成方法による見出し生成 ■■ 7.5.1 テキスト生成における探索アルゴリズム ■■ 7.5.2 サンプリングを用いたテキスト生成 ■■ 7.5.3 長さを調整したテキスト生成 第8章 文埋め込み ■ 8.1 文埋め込みとは ■■ 8.1.1 文埋め込みの目的 ■■ 8.1.2 文埋め込みの性能評価 ■■ 8.1.3 文埋め込みモデルの必要性 ■■ 8.1.4 文埋め込みモデルを使わずに文ベクトルを得る ■ 8.2 文埋め込みモデルSimCSE ■■ 8.2.1 対照学習 ■■ 8.2.2 教師なしSimCSE ■■ 8.2.3 教師ありSimCSE ■ 8.3 文埋め込みモデルの実装 ■■ 8.3.1 教師なしSimCSEの実装 ■■ 8.3.2 教師ありSimCSEの実装 ■ 8.4 最近傍探索ライブラリFaissを使った検索 ■■ 8.4.1 最近傍探索ライブラリFaiss ■■ 8.4.2 Faissを利用した最近傍探索の実装 ■■ 8.4.3 類似文検索のウェブアプリケーションの実装 第9章 質問応答 ■ 9.1 質問応答システムのしくみ ■■ 9.1.1 質問応答とは ■■ 9.1.2 オープンブック・クローズドブック ■ 9.2 データセットと評価指標 ■■ 9.2.1 AI王データセット ■■ 9.2.2 評価指標 ■ 9.3 ChatGPTにクイズを答えさせる ■■ 9.3.1 OpenAI API ■■ 9.3.2 効率的なリクエストの送信 ■■ 9.3.3 クイズ用のプロンプトの作成 ■■ 9.3.4 API使用料金の見積もり ■■ 9.3.5 クイズデータセットによる評価 ■■ 9.3.6 文脈内学習 ■■ 9.3.7 言語モデルの幻覚に注意 ■ 9.4 文書検索モデルの実装 ■■ 9.4.1 文書検索を組み込んだ質問応答システム ■■ 9.4.2 質問応答のための文書検索モデル ■■ 9.4.3 BPRの実装 ■■ 9.4.4 BPRによるパッセージの埋め込みの計算 ■ 9.5 文書検索モデルとChatGPTを組み合わせる ■■ 9.5.1 検索モデルの準備 ■■ 9.5.2 検索結果のプロンプトへの組み込み