本書は、GPT型のLLM (大規模言語モデル) を一から理解して構築するために書かれました。 テキストデータの扱い方とAttentionメカニズムのコーディングの基礎を理解した後、完全なGPTモデルの実装に取り組みます。 本書の特徴は、LLMの構築プロセス全体を包括的にカバーしていることです。これには、モデルアーキテクチャを実装するためのデータセットの扱い方から、ラベルなしデータでの事前学習、そして特定のタスク向けのファインチューニングまでが含まれています。 本書を最後まで読めばLLMの仕組みがしっかりと理解でき、独自のモデルを構築するためのスキルを身につけることができるでしょう。作成するモデルは大規模な基礎モデルに比べれば規模は小さいものの、基になっている概念は同じです。最先端のLLMの構築に使われている中核的なメカニズムやテクニックを理解するための強力なツールとなるでしょう。 ［対象読者］ ・LLMの仕組みを理解し、独自のモデルを一から構築する方法を学びたいと考えている機械学習の愛好家、エンジニア、学生 ・本書はPyTorchを活用しており、事前にPythonプログラミングを理解している必要があります。 ・機械学習、ディープラーニング、人工知能（AI）の知識があれば役立ちますが、幅広い知識や経験は必要ありません。 ・高校レベルの数学、ベクトルや行列の知識は本書を理解する助けとなりますが、高度な数学の知識は不要です。 ［目次］ 1章　大規模言語モデルを理解する 2章　テキストデータの準備 3章　Attentionメカニズムのコーディング 4章　テキストを生成するためのGPTモデルを一から実装する 5章　ラベルなしデータでの事前学習 6章　分類のためのファインチューニング 7章　指示に従うためのファインチューニング 付録A PyTorch 入門 付録B 参考資料 付録C 練習問題の解答 付録D 訓練ループに高度なテクニックを追加する 付録E LoRAによるパラメータ効率のよいファインチューニング “Build a Large Language Model (from Scratch)”（Manning Publishing 刊）の日本語版 1章　大規模言語モデルを理解する 2章　テキストデータの準備 3章　Attentionメカニズムのコーディング 4章　テキストを生成するためのGPTモデルを一から実装する 5章　ラベルなしデータでの事前学習 6章　分類のためのファインチューニング 7章　指示に従うためのファインチューニング 付録A　PyTorch 入門 付録B　参考資料 付録C　練習問題の解答 付録D　訓練ループに高度なテクニックを追加する 付録E　LoRAによるパラメータ効率のよいファインチューニング