中谷 秀洋 　著

著者紹介

内容

目次

1章 ChatGPT 01 ChatGPTとは ChatGPTの始め方 ChatGPTの利用例 02 ChatGPTの便利な機能 チャットコメントの編集と操作 チャット履歴と共有 03 プロンプトエンジニアリング プロンプトとコンテキスト プロンプトエンジニアリング 04 ChatGPTのエンジン（大規模言語モデル） GPT-4とGPT-3.5 Web検索連携機能 マルチモーダル機能（画像を用いたチャット） Code Interpreter（プログラムの自動実行） 05 GPTs（AIのカスタマイズ機能） GPTs GPTビルダー 06 ChatGPT以外のAIチャットサービス Google Gemini Microsoft Copilot Anthropic Claude 07 AIチャットの利用における注意点 ランダム性がある 間違いを含む可能性がある 禁止行為 入力データの扱い GPTsの利用における注意点 2章 人工知能 08 AI（人工知能） 人工知能とは 09 AIの歴史 AI研究の歴史 10 生成AIと汎用人工知能 生成AI 汎用人工知能（AGI） 3章 機械学習と深層学習 11 機械学習 機械学習≠機械が学習 機械学習の種類 推論と学習 最適化 汎化と過適合 12 ニューラルネットワーク ニューラルネットワークとは ニューラルネットワークの仕組み 13 ニューラルネットワークの学習 勾配法による学習 誤差逆伝播法 14 正則化 ドロップアウト バッチ正規化 ResNet（残差ネットワーク） 15 コンピュータで数値を扱う方法 2進数による整数と小数の表現 浮動小数点数 浮動小数点数の代表的なフォーマット 浮動小数点数の精度とダイナミックレンジ 16 量子化 モデルサイズとGPUのVRAMの関係 量子化 17 GPUを使った深層学習 計算を速くする方法 GPU vs CPU GPUの成り立ちと汎用計算 深層学習への特化が進むGPUとNPU GPU/NPUのソフトウェアサポート 4章 自然言語処理 18 自然言語処理 深層学習以前の自然言語処理 自然言語処理と深層学習 19 文字と文字コード 文字コード Unicode 20 単語とトークン 文をコンピュータに扱えるように分割する 単語や文字による分割 サブワード 21 トークナイザー トークナイザーの学習 語彙数とトークン数のトレードオフ 22 Word2Vec 「概念」を扱う方法 Word2Vecによる単語のベクトル表現 Word2Vecが意味を獲得する仕組み 23 埋め込みベクトル トークンのベクトルは「意味」を表さない 埋め込みベクトル さまざまな埋め込みベクトル 5章 大規模言語モデル 24 言語モデル モデルとは 言語モデルとは 25 大規模言語モデル 大規模言語モデルと「普通の言語能力」 26 ニューラルネットワークの汎用性と基盤モデル ニューラルネットワークによる特徴抽出 基盤モデル 基盤モデルで精度が上がる仕組み 27 スケーリング則と創発性 スケーリング則と創発性 大規模言語モデルのパラメータ数 28 言語モデルによるテキスト生成の仕組み 言語モデルによるテキスト生成 自己回帰言語モデル 貪欲法 29 テキスト生成の戦略 ランダムサンプリングとソフトマックス関数 「温度」の働き 単語生成の樹形図 ビームサーチ 30 言語モデルによるAIチャット 文生成によるAIチャット 大規模言語モデルによるAIチャットの問題点 31 ローカルLLM ローカルLLMとは ローカルLLMの環境 ローカルLLMによる推論のプロセス 32 大規模言語モデルのライセンス ローカルLLMのエコシステム ソフトウェアライセンス 大規模言語モデルのライセンスの種類 33 大規模言語モデルの評価 大規模言語モデルの評価方法 リーダーボード 34 大規模言語モデルの学習―事前学習― 事前学習と基盤モデル 自己教師あり学習 基盤モデルの追加学習 事前学習の訓練データ 35 大規模言語モデルの学習―ファインチューニング― ファインチューニング ファインチューニングの方法 RLHF（Reinforcement Learning from Human Feedback） LoRA（Low-Rank Adaptation） 36 コンテキスト内学習 コンテキスト内学習（In-Context Learning） 6章 トランスフォーマー 37 回帰型ニューラルネットワーク（RNN） ベクトルの次元 回帰型ニューラルネットワーク 言語モデルとしてのRNN 長距離依存性とLSTM エンコーダー・デコーダー 38 注意機構（Attention） 人間の認知と注意機構 注意機構の基本 エンコーダー・デコーダーと注意機構 39 注意機構の計算 注意機構の計算 注意機構がうまく動く理由 40 トランスフォーマー（Transformer） トランスフォーマーの基本構成 位置エンコーディング マルチヘッド注意機構 41 BERT BERT（バート）の特徴 BERTの事前学習 42 GPT（Generative Pretrained Transformer） GPTモデルの基本構造 Mixture of Experts 7章 APIを使ったAI開発 43 OpenAI APIの利用 OpenAI API OpenAI API利用上の注意 44 テキスト生成API（Completion API等） テキスト生成APIの種類 45 OpenAI APIの料金 OpenAI APIのトークン テキスト生成モデルの種類と料金 OpenAIトークナイザーライブラリtiktoken 言語ごとのトークン数の違い 46 テキスト生成APIに指定するパラメータ テキスト生成APIのパラメータ 47 テキスト生成APIと外部ツールの連携―Function Calling― Function Calling LangChainライブラリ 機械可読化ツールとしてのFunction Calling 48 埋め込みベクトル生成APIと規約違反チェックAPI 埋め込みベクトル生成（Embeddings）API 埋め込みベクトル生成APIのモデルの種類 規約違反チェック（Moderation）API 49 OpenAI以外の大規模言語モデルAPIサービス Microsoft Azure OpenAI API Google Vertex AI Amazon Bedrock 50 Retrieval Augmented Generation（RAG） 外部知識を使ったAIアプリケーションの開発 RAG（Retrieval Augmented Generation） 8章 大規模言語モデルの影響 51 生成AIのリスクとセキュリティ 生成AIによる悪影響 生成AIの悪用 生成AIが不適切な出力を行うリスク 生成AIを使ったサービスへの攻撃 対策とガイドライン 52 AIの偏りとアライメント 学習データの偏りがAIに与える影響 AIの偏りを制御する方法 53 ハルシネーション（幻覚） AIは間違える ハルシネーションの正体 ハルシネーションの対策 ハルシネーションをなくせるか？ 54 AIの民主化 AI利用の民主化 AI開発の民主化 ビッグテックの計算資源 55 大規模言語モデルの多言語対応 ChatGPTは何ヵ国語で使える？ 大規模言語モデルの言語間格差 大規模言語モデルと認知・文化との関係 56 AIと哲学 知能とは？ 言語とは？ 中国語の部屋