1.4
Ошибка выжившего Модуль · Глава 1 Искажения
К Главе 1
1.4
Модуль 1.4 · Ошибка выжившего

Мы видим только дошедших

Изучая успехи, мы делаем выводы по тем, кто дошёл до нас, — и не замечаем тех, кто не дошёл и потому невидим. Из-за этого «секреты успеха» обманчивы, старое кажется качественнее нового, а опасное — безопасным. Это ошибка выжившего: решение часто прячется не в том, что видно, а в недостающих данных.

Мы изучаем победителей и забываем, что проигравшие просто не дошли до нас, чтобы рассказать свою историю. Принцип выжившего
Раздел 1 · Что это

Ошибка выжившего

Это вывод, сделанный только по «выжившим» примерам — тем, что прошли отбор и стали видимыми, — без учёта тех, кто отсеялся и потому не попал в поле зрения.

Невидимое отсеивание

  • Видим успехи, не видим провалы. До нас доходят победители; проигравшие исчезают из выборки молча.
  • Выборка смещена отбором. Мы смотрим не на всех, а на тех, кого «пропустил» фильтр успеха/времени/выживания.
  • Вывод по выжившим обманчив. «У всех успешных была черта X» ничего не значит, если у провалившихся она тоже была.

Это близкий родственник доступности (Модуль $1.3$): там мешало то, что легко вспомнить, здесь — то, что вообще попало в поле зрения. И то и другое — про невидимую часть данных.

Раздел 2 · Почему

История про самолёты

Канонический пример — работа Абрахама Вальда во Вторую мировую о том, где укреплять бомбардировщики.

Где броня?

Военные изучали вернувшиеся самолёты и хотели усилить броню там, где на них больше всего пробоин — на крыльях и фюзеляже. Математик Вальд возразил: укреплять нужно наоборот — там, где у вернувшихся пробоин почти нет (двигатели, кабина).

Логика: пробоины на вернувшихся показывают места, попадание в которые не мешает вернуться. А самолёты, получившие попадание в двигатель, просто не долетали — и в выборку «вернувшихся» не попадали. «Чистые» зоны и есть самые уязвимые. Решение пряталось в сбитых — в данных, которых не было.

Суть ловушки

Смотреть только на выживших — значит изучать тех, кого пропустил фильтр. Важный сигнал — в отсутствующих наблюдениях.

Раздел 3 · Найди данные

Где спрятаны пропавшие данные

Интерактив модуля — три случая. В каждом найдите, какой вывод верен, если вспомнить про невидимых «несошедших».

Интерактив · пропавшие данные

Что мы не видим?

Три задачи на ошибку выжившего. Отвечайте — и сразу увидите разбор.

Решено верно: 0 / 3

1Самолёты Вальда. Точки — пробоины на вернувшихся бомбардировщиках. Где усилить броню?

Точки — пробоины на самолётах, которые вернулись с задания.

2«Многие миллиардеры бросили университет — значит, чтобы преуспеть, лучше бросить». Где ошибка?

3«Старая техника до сих пор работает, а новая ломается — раньше делали качественнее всё». Верно ли?

Раздел 4 · Где встречается

Выжившие повсюду

Стоит привыкнуть спрашивать «а где проигравшие?», и ошибка начинает бросаться в глаза.

Типичные ловушки

  • Советы успешных. «Делай как я» от победителя умалчивает о тех, кто делал так же и проиграл.
  • Инвестиции и фонды. В рейтингах остаются доходные фонды; закрывшиеся убыточные исчезают — средняя доходность завышается.
  • «Раньше было лучше». До нас дошли лучшие здания, фильмы, вещи; посредственное не сохранилось.
  • Здоровье и слухи. «Мой дед курил и дожил до 90» — мы не слышим тех, кто курил и не дожил.
Раздел 5 · Защита

Как увидеть невидимое

Лечится одним вопросом, заданным до вывода: где те, кто не дошёл?

Рабочие приёмы

  • Спросить про неудачников. «Сколько было тех, кто сделал так же и проиграл?» — без знаменателя успех ничего не значит.
  • Искать полный набор данных. Не только победителей: каков был исходный список до отбора (мост к Главе $5$).
  • Помнить про фильтр. Спросите: какой отбор отсеял часть выборки и сделал её невидимой?
  • Не путать корреляцию у выживших с причиной. Общая черта победителей могла быть и у проигравших.
Раздел 6 · Итог

Считайте знаменатель

Ошибка выжившего — четвёртая ловушка главы: после доступности (что вспомнилось) — то, что вообще попало в выборку.

Связь с курсом

  • Модуль $1.3$: доступность — близкий перекос невидимых данных, только со стороны памяти.
  • Модуль $1.5$: неприятие потерь — почему мы держимся за «дошедшее» и боимся это потерять.
  • Глава $3$ «Байес»: знаменатель и базовая частота — против выводов по одним выжившим.
  • Глава $5$ «Данные»: смещение отбора (selection bias) в исследованиях и статьях.

Главное. Мы судим по тем, кто дошёл, и не видим тех, кто отсеялся, — поэтому «секреты успеха» обманчивы, а решение прячется в недостающих данных (самолёты Вальда). Защита — спрашивать про проигравших и про полный набор данных до отбора. Дальше — Модуль $1.5$: почему потери ощущаются сильнее выигрышей.

Что забрать из модуля 1.4

$I$Ошибка выжившего — вывод по «дошедшим» примерам без учёта невидимых тех, кто не дошёл.
$II$Самолёты Вальда: укреплять надо там, где у вернувшихся НЕТ пробоин, — туда били тех, кто не вернулся.
$III$Выборка смещена отбором: «секреты успеха» ничего не значат без тех, кто делал так же и проиграл.
$IV$«Раньше было лучше» часто иллюзия: до нас дожили только лучшие, выжившие экземпляры.
$V$Защита — знаменатель: спросить «где проигравшие?» и каков полный набор данных до отбора.
Проверь себя0 / 5

Пять вопросов по ключевым идеям модуля. Выберите ответ — сразу увидите верный вариант и пояснение. Прогресс сохраняется.

Источники
  1. Mangel M., Samaniego F. J. (1984). Abraham Wald's Work on Aircraft Survivability. Journal of the American Statistical Association. поиск источника
  2. Brown S., Goetzmann W., Ibbotson R., Ross S. (1992). Survivorship Bias in Performance Studies. Review of Financial Studies. поиск источника
  3. Kahneman D. (2011). Thinking, Fast and Slow (принцип «что видишь, то и есть», WYSIATI). поиск источника

Образовательный материал. История с самолётами приведена как иллюстрация идеи Вальда; ссылки ведут на поиск источника.

↑ Наверх