Не «как нажать кнопку», а как это устроено и откуда взялось. Что такое обучение машины, как из нейрона выросли глубокие сети, почему именно язык стал главным полем — и как одно появилось из другого. Глава соединяет алгебру и вероятность из прошлых глав с агентами из следующей.
Классическая программа — это явные правила, написанные человеком. Машинное обучение переворачивает схему: мы даём данные и цель, а правила (параметры модели) система находит сама, минимизируя ошибку. Формально это оптимизация: подобрать параметры $\theta$, при которых функция потерь $L$ минимальна.
$\theta^\star=\arg\min_{\theta}\ \mathbb{E}_{(x,y)\sim D}\,L\big(f_\theta(x),y\big)$
Отсюда три классических режима: обучение с учителем (есть верные ответы), без учителя (ищем структуру в данных) и с подкреплением (учимся по награде от среды). За всем этим — два прошлых языка курса: линейная алгебра (как считать) и вероятность (как мерить неопределённость). ML — это место, где они оживают.
Так появились семейства под задачи: свёрточные сети (CNN) для изображений — учитывают локальность и сдвиг; рекуррентные (RNN, LSTM) для последовательностей — держат состояние во времени. Все они — частные удачные архитектуры одной идеи: учить иерархию представлений градиентным спуском.
Модель нейрона (1943), обучаемый перцептрон (1958). Затем разбор ограничений (XOR) в 1969 — и «зима»: идей хватало, не хватало способа обучать глубокое и ресурсов.
Обратное распространение ошибки (1986) вернуло многослойные сети; LeNet и LSTM довели идею. А в 2012 AlexNet на GPU и больших данных (ImageNet) запустил эпоху глубокого обучения.
Решающим оказалось не одно изобретение, а совпадение трёх условий: рабочий алгоритм обучения (градиентный спуск + backprop), большие размеченные данные и дешёвые параллельные вычисления на GPU — те самые тензорные операции из главы об алгебре.
Почему именно язык? Во-первых, текста очень много, и он не требует ручной разметки — модель учит сама себя, предсказывая продолжение (самообучение). Во-вторых, язык — универсальный интерфейс: в нём выражаются и код, и рассуждение, и инструкции, и знание. Поэтому модель, хорошо предсказывающая текст, неожиданно умеет многое сразу.
Так выстраивается вся цепь курса: линейная алгебра и вероятность → машинное обучение → нейросети → трансформер → LLM → агент. Важно помнить трезвость: LLM выдаёт вероятное продолжение, а не истину; её мощь — в широте, а не в гарантии. Поэтому следующий шаг — не «больше слов», а дать модели инструменты и цикл.
Мы прошли вглубь: ML — это вывод правил из данных через оптимизацию; нейросеть — иерархия линейных отображений с нелинейностями; история — длинная цепь от перцептрона к трансформеру, выстрелившая на данных и GPU; LLM — результат союза трансформера, текста и масштаба, где язык работает универсальным интерфейсом.
Но модель сама по себе лишь предсказывает. Чтобы она действовала — наблюдала, выбирала инструмент, доводила задачу — её помещают в цикл. Об этом следующая глава: LLM и агенты.
Серия ведёт к агентскому программированию; технические детали вынесены в углубления.
Углубление: трансформер и внимание в деталяхпосле основного курса Углубление: обучение — backprop и градиентный спускпосле основного курса Базовое введение в нейросеть (прошлый курс)читать →