2.1
Доверять вслепуюМодуль · Глава 2 Проверять
К Главе 2
Заметка. Образовательный материал по прикладному ИИ. Инструменты быстро меняются — приёмы важнее конкретных кнопок.
2.1
Глава 2 · Модуль 2.1

Почему нельзя доверять вслепую

ИИ звучит одинаково уверенно, когда прав и когда ошибается. Решает не тон, а ожидаемая цена ошибки — и из неё видно, когда проверка окупается.

Проверяют не всё подряд, а то, что дороже всего обойдётся ошибкой.Принцип цены ошибки
Раздел 1 · Уверенность не правота

Уверенность не равна правоте

Главная ловушка — принять уверенный тон за гарантию.

  • Модель формулирует гладко независимо от того, права она или нет.
  • Поэтому «звучит убедительно» — не критерий; критерий — проверка.
  • Проверять всё подряд дорого, поэтому нужен ориентир, что проверять в первую очередь.
Раздел 2 · Цена ошибки

Ожидаемая цена ошибки

Сколько в среднем стоит не пойманная ошибка.

Ожидаемые потери
$$R = q \cdot C$$
  • $q$ — вероятность ошибки, $C$ — во что обойдётся ошибка (время, деньги, репутация).
  • Чем выше $R$, тем важнее проверка: ориентируйтесь на него, а не на тон ответа.
  • Низкий $q$ при огромном $C$ всё равно опасен — редкая, но дорогая ошибка.
Раздел 3 · Когда проверять

Когда проверять выгодно

Сравните ожидаемые потери со стоимостью самой проверки.

Интерактив · SVG

Когда проверять выгодно

Сравните ожидаемые потери от непойманной ошибки с временем на проверку. Двигайте параметры.

потери без проверки стоимость проверки
Учебная модель: ничего не сохраняется. Ожидаемые потери $R = q \cdot C$, где q — доля, C — цена ошибки.
Раздел 4 · Привычка

Привычка проверять

Проверка работает, когда встроена в процесс, а не делается «по настроению».

  • Проверяйте то, что что-то решает: числа, факты, источники.
  • Для дорогих ошибок проверка обязательна, даже если кажется, что ответ верный.
  • Конкретные приёмы проверки фактов и источников — в следующем модуле.
Дальше (2.2) разберём, как проверять факты и источники на практике.

Что забрать из модуля 2.1

$I$Уверенный тон ответа ИИ не говорит ничего о его правильности.
$II$Ожидаемая цена ошибки: $R = q \cdot C$ — вероятность на последствия.
$III$Проверка выгодна, когда ожидаемые потери больше стоимости самой проверки.
$IV$Проверять в первую очередь то, что что-то решает: числа, факты, источники.
Проверь себя0 / 5

Пять вопросов по модулю. Выберите ответ — сразу увидите верный вариант и пояснение. Прогресс сохраняется в браузере.

↑ Наверх