自然言語処理モデル「BERT」のしくみと実装手法を
PyTorchとGoogle Colaboratoryで学んでみよう！【本書の背景】
近年、深層学習に基づく自然言語処理技術は飛躍的な発展を遂げており、翻訳、文章生成、文章のグルーピングなど様々な業務に利用されています。自然言語処理技術の中でも特に注目を集めているのが「BERT」です。【BERTとは】
BERTは2018年の後半にGoogleから発表された、自然言語処理のための新たなディープラーニングのモデルです。「Transformer」がベースとなっており、様々な自然言語処理タスクに合わせて調整可能な汎用性があります。【本書の概要】
PyTorchとGoogle Colaboratoryの環境を利用して、BERTの実装方法について解説します。具体的にはAttention、Transformerといった自然言語処理技術をベースに、BERTのしくみや実装方法についてサンプルを元に解説します。章末には演習を用意しています。【対象読者】
・一歩進んだ自然言語処理技術を身につけたい方
・BERTの実装を効率よくコンパクトに学びたい方
・BERTの概要を実装を通して把握したい方【本書の特徴】
・サンプルを元にBERTの基礎から発展的な利用方法まで学べる
・Google ColaboratoryとPyTorchという人気の開発環境、フレームワークで学べる
・Transformersライブラリを利用してBERTを実装できる【目次】
Chapter0 イントロダクション
Chapter1 BERTの概要
Chapter2 開発環境
Chapter3 PyTorchで実装する簡単な深層学習
Chapter4 シンプルなBERTの実装
Chapter5 BERTの仕組み
Chapter6 ファインチューニングの活用
Chapter7 BERTの活用
Appendix さらに学びたい方のために【著者プロフィール】
我妻 幸長（あづま・ゆきなが）
「ヒトとAIの共生」がミッションの会社、SAI-Lab株式会社の代表取締役。AI関連の教育と研究開発に従事。
東北大学大学院理学研究科修了。理学博士（物理学）。
法政大学デザイン工学部兼任講師。
オンライン教育プラットフォームUdemyで、10万人以上にAIを教える人気講師。