Двигатель больших моделей — изнутри. Механизм внимания (Q/K/V, масштабированное скалярное произведение, многоголовость), архитектура трансформера, историческая сводка с источниками — и работы Anthropic на пути к агентскому программированию: от модели к агенту, инструментам, MCP и SDK.
В главе IV мы назвали трансформер двигателем больших моделей. Здесь — двигатель в разборе: как именно внимание позволяет токену «смотреть» на нужные другие, из чего собран блок, как всё это росло исторически и какие работы привели от модели к агенту. Уровень — инженерный; формулы реальные.
Формально для матриц $Q,K,V$ масштабированное скалярное внимание:
$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\!\left(\dfrac{QK^{\top}}{\sqrt{d_k}}\right)V$
Скалярные произведения $QK^{\top}$ дают «похожесть» каждого запроса на каждый ключ; деление на $\sqrt{d_k}$ стабилизирует масштаб; softmax превращает их в распределение весов; умножение на $V$ собирает ответ. Так каждый токен получает контекст от всех остальных за один шаг — без рекуррентности.
Multi-head attention запускает несколько таких механизмов параллельно в разных подпространствах и склеивает результаты — модель смотрит на контекст под разными «углами» сразу.
Нет последовательной зависимости: весь контекст считается параллельно (отлично для GPU), а дальние связи достигаются за один шаг, а не «протягиваются» через всю цепочку.
Один блок: multi-head attention → Add&Norm → feed-forward → Add&Norm. Остаточные связи спасают от затухания градиента, нормализация стабилизирует обучение. Позиционное кодирование добавляет информацию о порядке (синусоиды или обучаемые эмбеддинги), ведь внимание само по себе порядка не различает.
Три семейства из одной идеи: энкодер-декодер (оригинал, перевод), только энкодер — BERT (понимание, двунаправленный контекст), только декодер — GPT и современные LLM (авторегрессия: предсказать следующий токен по предыдущим).
Внимание родилось не с трансформера. Путь короткий и плотный:
Дальше масштаб + дообучение на инструкциях и обратной связи (RLHF) дали модели, которым можно давать задачи на естественном языке. Это и открыло путь к агентам.
Сквозная мысль этой серии — ровно линия курса: модель сама по себе лишь предсказывает, но в цикле с инструментами, контекстом и проверками становится исполнителем. Технический «надзор» над множеством агентов (по аналогии с деревьями надзора OTP) — материал отдельных углублений.
Внимание дало модели контекст за один параллельный шаг; трансформер сложил из этого масштабируемую архитектуру; масштаб превратил её в LLM; а инструменты и цикл — в агента. Зная механизм, инженер понимает и силу, и пределы: модель оценивает вероятное, а гарантии даёт уже инженерия вокруг неё.
Это и есть мост от главы IV к главе V — где LLM становится агентом, — и далее к роли инженера-проектировщика.