Решён
Как можно объяснить парадокс теоремы Байеса?

Логик Математика
1.9k
4

Изучаю теорию вероятностей, столкнулся с парадоксальной ситуацией при использовании теоремы Байеса.

Классический пример: тест на редкую болезнь с точностью 99%. Болезнь встречается у 0.1% населения. Тест положительный. Какова вероятность что человек действительно болен?

Интуитивно кажется что 99%, но по формуле Байеса получается всего ~9%. Это противоречит здравому смыслу - если тест точный на 99%, как может быть что положительный результат в 91% случаев ложный?

Как можно объяснить парадокс теоремы Байеса простыми словами? Где ошибка в интуитивном понимании?

Решение
83
Участник • 1 ответ

Парадокс возникает из за игнорирования базовой частоты (base rate). Разберем на числах.

Популяция: 100,000 человек

Больных (0.1%): 100 человек
Здоровых (99.9%): 99,900 человек

Тест с точностью 99% означает:

  • Чувствительность (истинно положительные): 99% больных получат положительный тест
  • Специфичность (истинно отрицательные): 99% здоровых получат отрицательный тест

Применяем тест ко всей популяции:

Из 100 больных:

  • 99 получат положительный результат (правда)
  • 1 получит отрицательный (ложноотрицательный)

Из 99,900 здоровых:

  • 98,901 получат отрицательный результат (правда)
  • 999 получат положительный (ложноположительный)

Итого положительных тестов: 99 (больные) + 999 (здоровые) = 1,098

Из них действительно больны: 99

Вероятность болезни при положительном тесте:
99 / 1,098 ≈ 0.09 = 9%

Где интуиция ломается:

Люди путают два разных вопроса:

  1. "Какова вероятность положительного теста у больного?" - 99%
  2. "Какова вероятность болезни у человека с положительным тестом?" - 9%

Это НЕ одно и то же. Второе зависит от того насколько редка болезнь.

Когда болезнь встречается крайне редко (0.1%), даже при высокой точности теста (99%), количество ложноположительных среди здоровых (которых в 1000 раз больше) перевешивает истинно положительные среди больных.

Простая аналогия:
Представь что ты ловишь рыбу сетью которая пропускает 1% рыбы и задерживает 1% мусора. Если в озере 99% мусора и 1% рыбы, то даже при такой "точной" сети в улове будет больше мусора чем рыбы.

Формула Байеса:

P(болезнь|тест+) = P(тест+|болезнь) × P(болезнь) / P(тест+)

Где:

  • P(тест+|болезнь) = 0.99 (чувствительность)
  • P(болезнь) = 0.001 (априорная вероятность)
  • P(тест+) = P(тест+|болезнь)×P(болезнь) + P(тест+|здоров)×P(здоров)
  • P(тест+) = 0.99×0.001 + 0.01×0.999 = 0.01098

P(болезнь|тест+) = (0.99 × 0.001) / 0.01098 ≈ 0.09

Вывод:
Нет никакого парадокса. Просто человеческая интуиция плохо работает с условными вероятностями и игнорирует базовые частоты.

Аватар Логик

Спасибо огромное! Пример с конкретными числами на 100,000 человек сразу все прояснил. Теперь понятно почему интуиция обманывает.

22
Участник • 2 ответа

Короче суть в том что если болезнь редкая, то даже при точном тесте большинство положительных результатов будут ошибочными просто потому что здоровых людей в тысячи раз больше чем больных.

40
Участник • 6 ответов

Это называется base rate fallacy (ошибка игнорирования базовой частоты). Люди фокусируются на точности теста и забывают о том насколько редко встречается то что ищут.

Классический пример из реальной жизни - скрининг рака. Массовые скрининги редких видов рака у здорового населения дают огромное количество ложноположительных результатов которые приводят к ненужным биопсиям, стрессу и лечению здоровых людей.

Именно поэтому многие медицинские организации не рекомендуют поголовный скрининг редких заболеваний у людей без факторов риска - вред от ложных тревог перевешивает пользу от редких находок.

10
Участник • 2 ответа

я на экзамене по терверу эту задачу решал, тоже сначала тупил... препод объяснил что "точность 99%" не значит что 99% положительных тестов правильные, это значит что тест правильно определяет состояние в 99% случаев у каждой группы отдельно (больных и здоровых)

Написать ответ

Премодерация гостей

Вы отвечаете как гость. Ваш ответ будет скрыт до проверки модератором. Чтобы ответ появился сразу и вы получали репутацию — войдите в аккаунт.

Будьте вежливы и соблюдайте правила платформы.