Книга: В интернете кто-то неправ!

Наука пустоты

Наука пустоты

Профессор Дебора Нолан, специалист по статистическим методам, часто предлагает своим студентам поучительное упражнение [17]. Одну группу она просит 100 раз подряд кинуть монетку и записать последовательность выпавших орлов и решек. Вторая группа монетку не кидает, а просто выдумывает последовательность. Получаются, например, такие ряды:

0001000010010100101001101111101110100000101111101010

001100101110110101101111011110001010000000001101

1101001100101110100101001110010000110110111001100011

001100111001011110010001010010010011010100100110

Можете ли вы отгадать, где настоящая последовательность бросков монетки, а где фальшивая? Дебора справляется с этой задачей мгновенно. Когда последовательность орлов и решек рисует человек, он старается сделать так, чтобы она выглядела правдоподобно, и для этого избегает слишком длинных рядов одинаковых значений. Сама падающая монетка такими тонкостями не заморачивается и спокойно может упасть одной и той же стороной 9 раз подряд. Верхняя последовательность — это настоящие броски монетки, нижняя — выдуманные.

Есть еще один интересный аспект. Монетка падает орлом или решкой с вероятностью 50 на 50, но это начинает работать, только если ее кинули очень много раз. Сотни уже более или менее хватает, а вот если мы возьмем из настоящей и из фальшивой последовательности только первые 20 символов, то в первом, настоящем, случае 14 из них будут ноликами и только 6 единицами. В фальшивой последовательности все получилось гораздо аккуратнее: 9 нолей, 11 единиц.

Почему это важно? Представим себе, что мы проводим настоящие — двойные слепые, рандомизированные, плацебо-контролируемые — исследования гомеопатии. Здесь важно каждое слово. Контролируемое означает, что у нас есть две группы пациентов: экспериментальная и контрольная. Первая получает лекарство, которое нас интересует, а вторая получает плацебо (либо, если болезнь опасная и совсем не лечить ее нельзя, то не плацебо, а общепринятый для лечения этой болезни препарат). Мы должны убедиться, что новое лекарство не просто помогает от болезни, а помогает от нее лучше, чем плацебо или чем старое лекарство. Многие болезни проходят сами собой, просто со временем, и если нет группы сравнения, то очень легко приписать этот эффект именно нашему лекарству. Рандомизированное означает, что пациенты распределяются по этим двум группам случайным образом, по жребию. В противном случае врачи могут бессознательно (или сознательно) начать кормить своим новым лекарством более благополучных пациентов, а неблагополучных, наоборот, отправить в группу, которая получает плацебо. Тогда в конце обязательно окажется, что люди, получавшие новое лекарство, выздоравливают чаще и быстрее. Наконец, двойное слепое исследование — это такое исследование, в котором и пациенты не знают, получают ли они лекарство или плацебо, и даже врачи, которые выдают им таблетки, тоже не знают, что именно они выдают — лекарство или плацебо. Уверенность в излечении имеет свойство благотворно влиять на вероятность излечения, и надо, чтобы она не отличалась у пациентов обеих групп и чтобы их лечащие врачи тоже не демонстрировали уверенность или неуверенность в благоприятном исходе терапии (чего трудно избежать, когда они знают, лекарство они выдают или плацебо). Это золотой стандарт проверки любого лекарства именно потому, что он позволяет учесть собственно физиологическое воздействие препарата, отделив его от веры пациента в эффективность лечения.

Так вот, решили мы исследовать таким образом гомеопатический препарат. И все у нас вроде бы правильно, но с одной оговоркой: в работе принимают участие небольшие группы пациентов. Например, 20 человек принимают гомеопатическое средство и 20 человек принимают плацебо. Вспомните про то, что монетка может много раз подряд упасть одной стороной. Даже если гомеопатия работает совершенно точно так же, как плацебо, — просто в силу теории вероятностей получится, что в некоторых из наших исследований люди выздоровеют быстрее в той группе, которая принимает гомеопатию. И если мы, например, проведем тридцать таких вот маленьких испытаний, то как раз примерно в пятнадцати из них получится, что гомеопатия работает лучше, чем плацебо. И если, например, опубликовать только их (или опубликовать все, но потом ссылаться только на более удачные) — то у нас получится совершенно шикарное доказательство того, что гомеопатия работает.

На эту тему есть известная публикация — метаанализ, вышедший в журнале The Lancet [18] в 2005 году, сравнение результатов 110 клинических испытаний гомеопатических средств и 110 клинических испытаний обычных лекарств от тех же болезней. Выводы там как раз предсказуемые: эффект гомеопатических препаратов не отличается от эффекта плацебо, а эффект нормальных лекарств все-таки обычно отличается. Интереснее ряд закономерностей, отмеченных авторами в ходе работы с источниками. Во-первых, и для гомеопатии, и для обычных лекарств существует одна и та же закономерность: чем меньше выборка и чем хуже соблюдены общепринятые критерии качества исследования (такие как случайное распределение испытуемых по группам), тем лучше, согласно полученным результатам, препарат будет работать. Во-вторых, среди статей о гомеопатии, найденных авторами ланцетовского метаанализа, только 41% был опубликован в журналах, индексируемых MEDLINE (крупнейшая библиографическая база статей по медицинским наукам), — для публикаций об обычных лекарствах этот показатель составил 86%. В принципе, это означает, что об обычных лекарствах пишут более серьезные издания, чем о гомеопатических (кто бы мог подумать!). И наконец, среди статей о гомеопатии только 53% были написаны на английском — остальные на немецком, французском и других языках. Для обычных лекарств от тех же болезней этот показатель составил 85%. Это важно. Мировое научное сообщество читает на английском. Если у вас есть хорошие результаты — то вы публикуете их на английском, независимо от того, где вы работаете — в Гамбурге, Тулузе или Воронеже. Если же ваши результаты не стоят того, чтобы возиться с переводом статьи на английский язык, — ну, вы публикуете их в местных научных журналах, в полной мере осознавая, что никакого репутационного выигрыша это вам, по всей вероятности, не принесет.