Логика говорила на языке достоверного: истина или ложь. Но мир и нейросеть живут в неопределённости. Модель не выдаёт «ответ» — она выдаёт распределение над ответами. Чтобы говорить на языке ИИ, нужна вероятность — и её строгое основание заложил Колмогоров.
Логика из главы II работает с двумя значениями: истина и ложь, 1 и 0. Но реальность редко так категорична, а ИИ — почти никогда. Языковая модель не утверждает «следующее слово такое-то»; она приписывает каждому варианту вероятность и выбирает из распределения. Вероятность — это и есть обобщение логики: вместо $\{0,1\}$ — весь отрезок $[0,1]$, мера уверенности.
Поэтому без вероятности нельзя понять машинное обучение (глава IV) и «язык» модели (глава VIII). Эта глава — мост: от достоверного к неопределённому, от логики к статистике, лежащей в основе ИИ.
Вероятность неотрицательна, у достоверного события равна единице, а для несовместных событий складывается:
$P(A)\ge 0,\qquad P(\Omega)=1,\qquad P\!\Big(\bigcup_i A_i\Big)=\sum_i P(A_i)$
(последнее — для попарно несовместных $A_i$). Отсюда строго выводится всё остальное: $P(\varnothing)=0$, $P(\neg A)=1-P(A)$, и так далее.
Распределения бывают дискретные (конечный набор исходов) и непрерывные (например, гауссово $\mathcal{N}(\mu,\sigma^2)$). И вот прямая связь с моделью: на каждом шаге языковая модель выдаёт дискретное распределение над словарём — функцией softmax превращает оценки $z_i$ в вероятности:
$p_i=\dfrac{e^{z_i}}{\sum_j e^{z_j}},\qquad \sum_i p_i=1$
То самое «p(следующий токен)» из главы об LLM — это и есть распределение.
$P(A\mid B)=\dfrac{P(A\cap B)}{P(B)}\qquad\Longrightarrow\qquad P(H\mid E)=\dfrac{P(E\mid H)\,P(H)}{P(E)}$
Слева направо: априорная вера $P(H)$ в гипотезу, увидев свидетельство $E$, превращается в апостериорную $P(H\mid E)$. Это и есть обучение на данных — пересчёт уверенности под наблюдения.
Ожидание — это среднее значение случайной величины, взвешенное вероятностями:
$\mathbb{E}[X]=\sum_x x\,p(x)\qquad(\text{или }\textstyle\int x\,p(x)\,dx\text{ в непрерывном случае})$
Ожидание — основа решений в неопределённости и сердце обучения. Обучить модель — значит подобрать параметры $\theta$, минимизирующие ожидаемую потерю:
$\theta^\star=\arg\min_\theta\ \mathbb{E}\big[L(\theta)\big]$
Эта формула — мост к следующей главе: машинное обучение есть оптимизация ожидания. Вся «учёба» нейросети сводится к движению к минимуму средней ошибки.
Вероятность обобщила логику: от $\{0,1\}$ к $[0,1]$. Колмогоров дал ей строгую меру; распределения задают форму неопределённости (и прямо описывают выход модели — softmax над словарём); Байес пересчитывает веру по данным; ожидание лежит в основе решений и обучения ($\theta^\star=\arg\min\mathbb{E}[L]$). Это и есть язык, на котором мыслит ИИ.
С этой главой дуга фундамента завершена: алгебра дала структуры, логика — вывод, вероятность — меру неопределённости. На этих трёх опорах стоит всё дальнейшее — и прежде всего машинное обучение, к которому мы и переходим.