Transformerモデルは、現代の大規模言語モデル（LLM）の基盤となるアーキテクチャです。論文「Attention is All You Need」で紹介されたこのモデルは、自己注意機構とフィードフォワードネットワークを積み重ねたレイヤーを使用し、エンコーダー・デコーダー構成またはデコーダーのみ構成で、テキスト内の長距離依存関係を効率的に捉えます。BERT（Transformerベースの特定のモデル）と注意機構（Transformerの構成要素）は関連していますが、Transformer自体が中核となる概念です。状態空間モデルは代替的なアプローチであり、LLMの主要な基盤ではありません。