Институт общей генетики им. Н.И. Вавилова РАН

1. Введение в байесовский анализ А.В. Рубанович Институт общей генетики им. Н.И. Вавилова РАН rubanovich@vigg.ru

2. Кто боится Томаса Байеса?

3. Похороны P-value?

4. Электробритвы Исследования, времен распространения приборов • Холодильники • Флуоресцентные светильники • ЛЭП • Переломы рук (у женщин) • Аллергия • Содержание певчих птиц • Хот-доги • Разведение северных оленей • Профессия - официант • Высокий рост • Маленький рост Из истории эпидемиологических исследований: вещи, которые вызывают рак (Altman, Simon, JNCI, 1992) • И, конечно, мобильные телефоны – наше время!

5. Никита Хромов-Борисов, СПбГМУ Из истории эпидемиологических исследований: мифы об AB0 (1917 – 1960 – и по сей день) • У субъектов с А более тяжелое похмелье • У субъектов с 0 более здоровые зубы • Военные с 0 слабохарактерны, а с Bболее импульсивны • Субъекты с Bболее склонны к преступлениям • Аллель 0 более древняя и поэтому ее носители – охотники и мясоеды. • Аллель A моложе, ее носители – фермеры и вегетарианцы • У субъектов с А более высокий IQ • Люди с группой В чаще испражняются • Между AB0и пищеварением – сильная связь: • для каждой группы своя диета

6. 95%результатов эпидемиологических и ассоциативных генетических исследованиий никогдане воспроизводятся

7. Вера в 5% или «синдром статистической снисходительности» Слабые, но «высокозначимые» эффекты в больших выборках: кто боится Томаса Байеса? Множественность сравнений: кошмар Бонферрони Сопоставление неоднородных выборок: страты и парадокс Симпсона Проклятие победителя (winner's curse) и публикационный сдвиг Основные причины ложных заключений в эпидемиологических и биомедицинских исследованиях Сквозь «призму p-value»…

8. Бросок Венеры – 5% Астрагалы, V тыс. лет до н.э. р-value 0 0.01 0.05 «Механистическая дихотомия и сакральные 5% повсеместно процветают. Невзирая на 40 лет критики» Традиционный подход к ответу на вопрос: случайно ли то, что мы наблюдаем? Со времен астрагалов: события с вероятностью менее 5% принято считать «маловероятными» При сравнении выборок формируем: H1– альтернативная гипотеза: эффект есть, наблюдаемые различия неслучайны Н0 – гипотеза об отсутствии различий: наблюдаемый эффект обусловлен случайными причинами Далее по совокупности данных вычисляем р т.е., т.н. «р-value» Н1 Н0 «серая зона» неопределенности - ? Резкая граница? С какой стати?

9. Чем является и чем не является р-value S. Goodmen. A Dirty Dozen: Twelve P-value Misconceptions (2008) • р-value  P(H0), т.е.это не есть вероятность нулевой гипотезы • об отсутствии различий • Малость р-value не гарантирует высокую вероятность • получить аналогичные результаты в повторном эксперименте

10. http://www.univ-rouen.fr/LMRS/Persopage/Lecoutre/telechargements/LePrep2setup.ziphttp://www.univ-rouen.fr/LMRS/Persopage/Lecoutre/telechargements/LePrep2setup.zip Free! n1 + n2 -2 Программа LePrep: p-value Гарантирует ли низкое p-valuе воспроизводимость результатов? При p-value из «серой зоны»таких гарантий нет! Вероятность наблюдать ту же направленность эффектов в повторном эксперименте Вероятность наблюдать те же эффекты с уровнем p-value< 0.05

11. dataTdata р-value = P(T > Tdata | H0) ,точнееи T Tdata Чем является и чем не является р-value S. Goodmen. A Dirty Dozen: Twelve P-value Misconceptions (2008) • р-value  P(H0), т.е.это не есть вероятность нулевой гипотезы • об отсутствии различий • Малость р-value не гарантирует высокую вероятностью • получить аналогичные результаты в повторном эксперименте • р-value  P(H0|data), т.е.это не есть вероятность нулевой гипотезы • при данном раскладе данных Все наоборот! Почувствуйте разницу: • р-value =P(data|H0) т.е. это вероятность наблюдаемого (или еще более «крутого») расклада данных при условии отсутствия различий T – тестовая «статистика» (t, 2, F и т.п.). При H0 ее распределение всегда известно: р-value • Одним словом, р-value – это условная вероятность, • но совсем не того, чего нужно! Как конвертироватьP(data|H0)  P(H0|data) ? Ситуация сходна с «case - control»: мы меряем частоту маркера у больных, но хотели бы знать частоту больных среди носителей маркера

12. r( , ) - статистически значимая корреляция Богатые Умные & Доля умных среди богатых Доля богатых среди умных  P( | ) P( | ) Формула перехода Байеса P( | ) P( ) P( ) P( | ) P( ) P( ) = P( & ) P( & ) Условные вероятности в картинках Обманчивая простота! >

13. P(Лжец) = 0.1 Дано: P(Да|Лжец) = P(Нет|Честный) = 0.9; P(Да|Лжец)P(Лжец) Найти: P(Лжец|Да) = = P(Да) P(Да|Лжец)P(Лжец) = = P(Да|Лжец)P(Лжец) + P(Да|Честный)P(Честный) P(Да & Честный) P(Да & Лжец) = • Более серьезный пример – маммогра`фия: P(Да|Рак) = 0.8; P(Нет|Здоровая) = 0.9; P(Рак) = 0.01 (РМЖ после 40 лет) P(Рак|Да) Формула Байеса преподносит неожиданности! • Пусть детектор лжи не ошибается в 90% случаев, а популяционная частота • прирожденных лжецов – 10%. Какова вероятность того, что выявленный • детектором лжец, действительно является лжецом? Показания прибора: Да - Нет 90%? Нет! Это вероятность, того заведомый лжец будет уличен прибором

14. p-value = может быть мала, но при этом…. При сравнении выборок формируем: p-value = может быть мала, но это не гарантирует H1– альтернативная гипотеза: эффект есть, наблюдаемые различия неслучайны Н0 – гипотеза об отсутствии различий: наблюдаемый эффект обусловлен случайными причинами малость и, тем более, малость может быть еще ниже! Формула Байеса преподносит неожиданности! Более того!

15. Фактор Байеса как альтернатива p-value Байесов фактор: во сколько раз чаще наши данные более вероятны при H1, чем при H0 Интерпретация: Ясно, что если BF 1, то говорить о значимости эффектов невозможно

16. Преподобный Томас Байес (1702 - 1761) Bunhill Fields Burial Groundoff City Road, EC1 Байесовская революция (1990 - …) Альтернативная статистика

17. 0.5 BF< 1! Это зона справедливости результатов с «точностью до наоборот» 0.7 Все результаты с p-value 0.02-0.05 не проходятпо критерию BF> 3 1 2 3 10 Байесовский анализ подтверждает значимость эффектов Байесовская ревизия: 272 эпидемиологические работы с формально значимыми результатами BF «серая зона» p-value J.P. Ioannidies, 2008, Am J Epidemiol; 168, 374-383

18. Ввод данных, например, 1 из 100 против 8 из 100 Результаты после нажатия: Байесов фактор, точнее 1/BF 1/0.367 = 2.72 < 3 p-value Как это делается: байесов фактор on line http://www.stat.umn.edu/geyer/5102/examp/bayes.html http://www.stat.umn.edu/geyer/5102/examp/bayes.html

19. Ввод данных: 1 из 100 против 10 из 100 Результаты после нажатия: Байесов фактор, точнее 1/BF 1/0.104 = 9.62 p-value Как это делается: байесов фактор on line http://www.stat.umn.edu/geyer/5102/examp/bayes.html http://www.stat.umn.edu/geyer/5102/examp/bayes.html

20. Итак:  слабая значимость эффекта 1 из 100 против 8 из 100: p = 0.017;BF = 2.7 < 3 1 из 100 против 10 из 100: p = 0.005;BF = 9.6  сильная значимость эффекта Может быть байесовский подход просто «более строг»? (для значимости требуются значительно меньшие р-value, чем 0.05 ) Исследуем ситуацию …

21. n Среди больных – 5 носителей маркера n Среди контрольных лиц – 0 носителей маркера Результаты классического и байесовского анализа расходятся: BF < 1, хотя p-value = 0.025 ~ p-value почти не зависит от n Ситуация, типичная для эпидемиологии (илидля ассоциативных исследований «case-control») Рассмотрим случай равных по объему выборок Табл. сопряженности 2х2 0 из 50 против 5 из 50: принимаем Н1 0против5 1 против 10 BF убывает, как n-1/2

22. Грубоговоря, , где n - объем выборки. Осторожно: большие выборки! При очень больших выборках (n  1/p2) возможны ситуации, когда BF < 1 0против5 1 против 10

23. Пример Контроль: 250 случаев из 100 000 (частота 0,25%) Экспонированные: 5 случаев из 500 (частота 1%) Относительный риск: RR = 4 т.е. данные более вероятны при условии отсутствия различий Байесов фактор: BF = 0.842 < 1, Классический подход 2 по Пирсону: p-value = 0.0009 2 с поправкой Йитса : p-value = 0.004 Байесовский подход Осторожно: большие выборки! Высокая значимость отличий частот редких событийможет быть обманчивой

24. Частота больных среди экспонированных такая же, как и в контроле Частота носителей маркера среди больных такая же, как среди здоровых Как это посчитать самостоятельно? Байесов фактор для таблицы 2х2 Эпидемиология Case - control Экспони- рованные Контроль Больные Здоровые Носители маркера Больные Свободны от маркера Здоровые где В(a,b) – т.н. бета-функция

25. On line: http://www.danielsoper.com/statcalc3/calc.aspx?id=35 • В Excel: Г(x) = EXP(ГАММАНЛОГ(x)) Байесов фактор для таблицы 2х2 Вычисления в байесовском анализе всегда громоздки! Вероятно поэтому все началось лишь в 90-е годы Вычислениебета-функции И все-таки: откуда берутся все эти жутковатые формулы? где В(a,b) – т.н. бета-функция

26. Н0: р = 1/2 «Честная» монета Н1: р 1/2 f(р) «Нечестная» монета 1 Здесь - усреднение по всем равновероятным значениям р р 0 1 Байесов факторв простейшем случае (броски монеты) data = последовательность ООРО…ОР, скажем k«орлов» в nбросках Находим отношение 3 случая, когда частота k/n = 0.46 близка к 0.5 Принимаем Н0 Результаты классического и байесовского анализа расходятся: BF < 1, хотя p-value = 0.012 Принимаем Н1 А теперь представьте, что это соотношение полов

27. Пусть data = выборка объема n, содержащая kмутаций. Что считать оценкой частоты мутаций ( )? Странный вопрос… f(р) • Классический • (частотный) подход: 1 Здесь - усреднение по всем равновероятным значениям р р 0 1 (формула Лапласа) • Байесовский подход: Ход вычислений: Байесовские оценки Байесовский вывод о значимости эффектов может отличаться от частотного в случае больших выборок Байесовская оценка частоты отличается от частотной в случае малых выборок

28. Экспони- рованные Контроль Больные Здоровые Отношение шансов: Байесовские оценки Байесовские оценки лучше частотных при малых n, а также при наличии нулей в таблицах сопряженности В контрольной выборке больных не было

29. Классическая теория вероятности Число исходов Р(исхода в испытании) = Общее число испытаний • Человечество погибнет от метеоритной атаки • Христос не умел читать • Гомер был женщиной Байесовский подход Вероятность – это степень доверия и мера нашего незнания Больше, чем статистика Но серию испытаний можно провести далеко не всегда! Например, как оценить вероятность того, что … «Коэффициент перехода» от априорного знания к апостериорному

30. До опыта После опыта Введем понятие «шанс»: . Апостериорный шанс гипотезы H1 BF Априорный шанс гипотезы H1 = Вероятность выиграть к вероятности проиграть Шанс (odd) события А = Тогда: Байесовское мышление Нас интересует не P(data | H0) (это фактически p-value), а P(H0 |data) - вероятность отсутствия различий после наблюдения данного расклада данных.

31. Большие объемы выборок При больших выборках, возможны ситуации, когда BF < 1, хотя p-value < 0.01 • Если Вы никогда до конца не понимали, что такое p-value 5 поводов вспомнить о Томасе Байесе • Значения p-value из «серой» зоны: 0.01 – 0.05 Очень часто именно при таких p-value Байесов фактор BF ~ 1 (или даже < 1), т.е. данные могут наблюдаться, как при нулевой, так и при альтернативной гипотезе • Малые объемы выборок • Оценка частотыp = (k+1)/(n+2) лучше, чем p = k/n • Высокая значимость отличий частот редких событий Например сравнение «1% vs 0.25%» (относительный риск= 4) может давать BF =0.8 при p-value = 0.001 (например, расклад «5 из 500» против «250 из 100 000») BF– Байесов фактор, имеет простой и ясный смысл: во сколько раз наблюдаемые данные более вероятны при наличии различий, чем при отсутствии оных

32. Всем спасибо! Слайды доступны всем! Эту и другие мои лекции можно найти на сайте vigg.ru