Наука переживает период турбулентности: устоявшиеся принципы организации научной работы постоянно подвергаются улучшению и совершенствованию, появляются новые форматы доступа к научному знанию и результатам исследований, возникают новые подходы распространения информации и обучения (например, массовое онлайн-обучение), обсуждаются новые варианты рецензирования научных работ. Большая часть этих процессов происходит под флагом «движения за открытую науку».
Но что такое «открытая наука»? Это собирательный термин, который включает разнообразные инициативы, цель которых — повышение качества научных исследований. Среди таких инициатив — движение за открытые данные, открытое программное обеспечение для исследований, открытые публикации и многое другое1.
Препринты начинают и выигрывают
Исторически одной из первых целей движения за открытую науку стало обеспечение свободного доступа к научному знанию. Многих не устраивало, что коммерческие издательства (такие, как Elsevier или Springer) извлекали огромную прибыль из публикаций научных статей — в среднем за одну статью они просили около 30–40 долл. Когда люди захотели изменить эту ситуацию, стали появляться полулегальные сервисы2, с помощью которых статьи этих издательств можно было скачивать бесплатно. Другим вариантом решения проблемы стало появление сервисов типа arXiv.org, где авторы могли свободно выкладывать препринты собственных статей. Сервис arXiv.org изначально развивался в среде математиков и физиков, но в последние годы распространился и на другие дисциплины: биологию, психологию3.
Проблема доступа к знаниям обсуждалась и более официально. На профессиональных академических конференциях появлялись круглые столы, посвященные поиску того, как можно исправить дело. Надо сказать, что усилия ученых не прошли бесследно — совсем недавно Евросоюз принял так называемый план S, согласно которому к 2020 году в Европе должна радикально измениться система научной коммуникации и публикации статей4.
Доступ для всех
Конфронтация с издательствами стала важным доказательством того, что общественные инициативы ученых могут влиять на происходящее. В борьбе за свободные публикации приверженцы открытой науки начали осознавать, что и многие другие составляющие научной работы должны быть более доступны. В первую очередь это касается организации доступа к собираемым учеными данным (хотя концепция открытого доступа к данным начала формулироваться и раньше, в конце 1960-х). Для поддержки подобных инициатив сейчас проходят международные мероприятия — среди таких инициатив ежегодный День открытых данных5, в 2019 году он проходил 2 марта. Очень важно также отметить движение в сторону обязательного депонирования данных в открытых источниках: например, некоторые российские журналы в области биологии и генетики, по примеру аналогичных англоязычных журналов, требуют от авторов выкладывать первичные данные генетических исследований в открытые базы данных типа NCBI6.
Не пытайтесь повторить в домашних условиях
Среди проблем, активно обсуждаемых в рамках представлений об открытой науке, одной из важнейших можно считать проблему воспроизводимости научного знания. Это не новая для науки проблема. Еще в XVII веке Роберт Бойль в споре с Томасом Гоббсом ссылался на воспроизводимость результата как на основной критерий получаемого результата. В ХХI веке одним из первых о проблемах воспроизводимости вновь заговорил медицинский статистик Джон Иоаннидис (J. Ioannidis), опубликовавший в 2005 году статью с названием“Why most published research are false”7. Он показал, что большинство публикуемых в настоящее время данных в области медицины часто не воспроизводятся в независимых исследованиях. Позже этот результат был подтвержден на практике компанией Bayer, которая сообщила, что в своих лабораториях не смогла воспроизвести примерно 2/3 из 67 исследований в сфере биотехнологий, опубликованных в рецензируемых журналах с высоким рейтингом8.
В начале 2010-х годов группа исследователей-психологов под руководством Брайана Нозека запустила проект по воспроизведению сотни отобранных экспертами психологических исследований. В 2015 году эта инициатива завершилась резонансной и неутешительной публикацией9. Авторам не удалось воспроизвести больше половины из выбранных экспериментов, а в половине воспроизведенных работ размер полученных эффектов был примерно вдвое меньше, чем в оригинальных публикациях.
Болезнь века
С точки зрения исследователей, придерживающихся принципов открытой науки, проблема воспроизводимости — системная болезнь существующей организации научной работы. Развитие этой болезни связывают с ростом во второй половине XX века числа ученых и появлением многочисленных институтов, где наука существовала отдельно от высшего образования. Сложившаяся система поддержки исследований с помощью грантов и выход на первый план публикационной активности как мерила качественности научной работы привели к движению по кругу: «грант — сбор материала — исследование — публикация — грант».
У проблемы воспроизводимости можно выделить четыре основных предпосылки. Первая и наиболее важная — это так называемый публикационный сдвиг (publication bias) — стремление журналов публиковать в первую очередь (или исключительно) результаты тех работ, где получены положительные результаты, т. е. где авторы смогли подтвердить выдвинутую ими гипотезу. Следующая проблема — p-hacking — набор методов «взлома» статистических выводов в рамках парадигмы проверки гипотез, т. е. «манипуляций с данными и расчетами для достижения формальной статистической значимости результатов». Далее следует HARKing — что буквально означает «выдвижение гипотез, когда результаты известны» (Hypothesis After Results are Known — HARK): подведение гипотез своего исследования к получившимся результатам, что ведет к искажению интерпретации статистических выводов10.
На последнем месте стоит проблема низкой статистической мощности экспериментов, характерная для большинства исследований, в которых данные получены в работе с живыми организмами. Эти упущения могут быть как частью сознательного обмана, к которому, к сожалению, прибегает значимая часть исследователей11, так и частью неотрефлексированных ошибок в анализе данных. Однако в любом случае все они ведут к снижению адекватности и достоверности получаемых в научной работе выводов.
Важно отметить, что многие из этих проблемных мест современной науки сложились и были отмечены в том или ином виде еще в 1970-е годы. Так, к вопросу о publication bias, также называемом file drawer problem, обращается Стерлинг12; проблеме недостатка статистической мощности большого числа исследований посвящена классическая работа Коэна13; экономические и политические мотивы увеличения числа публикаций в ущерб надежности результатов раскрывает в своем эссе Форшер14; развивает эту мысль Мил в тексте о хорошо публикуемых неожиданных, порой контринтуитивных анекдотических результатах15; о проблеме применения индукции в научных работах и слабом теоретическом обеспечении пишет Платт, и, наконец, Лайккен16, обобщая многое из перечисленного, еще в 1968 году заявил о необходимости внимания к методологии, о бессмысленности статистических выводов per se, в отрыве от научного процесса, и обозначил потребность науки в репликации ключевых исследований17.
Новый век
Одним из результатов многочисленных дискуссий о проблеме воспроизводимости научного знания стало появление нового формата научных публикаций. По-английски этот формат получил название preregistered studies. В качестве кальки с английского в русском языке этот формат часто называют «пререгистрированные исследования», хотя нам кажется более удачным термин «заявленные исследования».
Заявленные исследования — попытка одновременно решить все четыре проблемы. Суть этого подхода заключается в изменении способа взаимодействия журнала и автора. Если в классическом варианте автор посылает в журнал уже готовую работу, которая затем рецензируется независимыми экспертами, то в случае заявленных исследований этап рецензирования происходит раньше — на этапе планирования эксперимента. Кроме обоснования актуальности и новизны исследования, рецензированию подвергается дизайн эксперимента, размер выборки, количество повторностей и планируемая статистическая обработка данных. Если эксперты оценивают эти пункты как соответствующие поставленной цели и отвечающие нормам данной области знания, журнал выдает авторам «принципиальное согласие на публикацию» (in-principle-acceptance), т. е. обещание напечатать статью, если работа будет проведена в соответствии с принятым планом. В таком случае и у авторов, и у журналов пропадает необходимость публиковать работы только с положительными результатами (снижение публикационного сдвига), все гипотезы выдвинуты заранее (исчезает HARKing), процедура анализа утверждена — т. е. остается меньше возможностей для p-hacking, повышается статистическая мощность исследований.
Конечно, работа часто выходит за границы заранее намеченного плана и может требовать и нового сбора данных, и новых методов анализа. Формат заявленных исследований не предполагает, что никаких изменений по ходу работы над статьей вносить нельзя. Выходящие за план исследования пункты также включаются в статью, только уже в отдельном пункте — «эксплораторное исследование». Его результаты могут оказываться даже важнее основной части. Но подчеркивается их предварительность — т. е. необходимость перепроверить результаты в отдельном исследовании, которое также может быть выполнено в формате заявленной работы.
Практическое применение
Сегодня публикации в форме заявленных исследований доступны уже более чем в ста международных журналах (полный список регулярно обновляется18). В 2018 году вместе с другими инициативными учеными мы попробовали претворить этот формат в жизнь и в российском журнале. Третий выпуск журнала «Теоретическая и экспериментальная психология» за 2018 год был целиком посвящен именно такому типу исследований. Подготовка специального выпуска состояла из нескольких этапов. Выпуск рекламировался в соцсетях, на профильных мероприятиях (школах, конференциях) и с помощью рассылок внутри профессиональных сообществ. К участию приглашались ученые, занимающиеся психологическими исследованиями. Первоначальную заявку на участие в проекте подали около 30 команд. На первый этап — слепое рецензирование текстов заявок — было подано 15 работ. На втором этапе авторам заявок, получивших рецензии (и изменивших в соответствии с ними свои первоначальные планы), было дано примерно полгода на проведение исследований. В итоге из 15 заявок только восемь коллективов предоставили результаты исследований, которые и были опубликованы в данном выпуске.
Ценность таких работ, опубликованных в экспериментальном формате, покажет только время и будущая оценка со стороны научного сообщества. Однако уже сейчас видно, что этот подход дает исследователям как минимум бо́льшую свободу заявлять о своих неудачах. Из всех проектов, реализованных авторами спецвыпуска, примерно 50% результатов оказались отрицательными (что вполне согласуется с представлениями о наличии публикационного сдвига). Возможно, это позволит сэкономить время будущим исследователям, которым не придется наступать на кем-то уже проверенные грабли. Но главное, что таким образом процесс получения знания становится более прозрачным и честным.
Ученые всех стран, объединяйтесь!
Хотя заявленные исследования ведут к увеличению количества исследований, гипотезы которых не подтверждаются, в целом принципы открытой науки дают вполне положительные результаты. Так, например, опубликованные статьи с открытым доступом коррелируют с количеством цитирований19, а еще такие статьи привлекают больше внимания медиа20. Публикация статей в виде препринтов может приводить к более тщательному анализу слабых областей исследований и тем самым улучшать их качество. Кроме того, практики открытой науки помогают увеличить воспроизводимость исследований и формировать горизонтальные научные связи между учеными21. Некоторые апологеты этого движения даже считают, что открытая наука повышает творческий потенциал ученых, освобождая их от жестких рамок современной научной бюрократии22.
Мы верим, что принципы открытой науки могут оказаться полезными для ученых с очень разными задачами и бэкграундом. Этой статьей мы предлагаем объединяться тем, кто верит в этот принцип. Осенью 2019 года планируется проведение серии встреч, посвященных развитию инициатив открытой науки среди ученых в России. Хотите участвовать в таких встречах — пишите на openscience.russia@gmail.com.
Илья Захаров, cт. науч. сотр. Психологического института РАО;
Илья Гордеев, ст. науч. сотр. ВНИРО, МГУ им. Ломоносова;
Тимофей Чернов, ст. науч. сотр. Почвенного института им. Докучаева
1 Munafò M. R., Nosek B. A., Bishop D. V. M., Button K. S., Chambers C. D., Percie du Sert N.,… Ioannidis J. P. A. A manifesto for reproducible science // Nature Human Behaviour. 2017. Vol. 1(1). 0021 — doi.org/10.1038/s41562-016-0021.
2 Напр. sci-hub.se, gen.lib.rus.ec, unpaywall.org
4 trv-science.ru/10-principov-plana-s-eu/
7 Ioannidis J. P. A. Why most published research findings are false // PLOS Medicine. 2005. Vol. 2(8). e124 — doi.org/10.1371/journal.pmed.0020124
8 Prinz F., Schlange T., & Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? // Nature Reviews Drug Discovery. 2011. Vol. 10(9). P. 712 — doi.org/10.1038/nrd3439-c1
9 Collaborators (270). Open Science Collaboration. Estimating the reproducibility of psychological science // Science. 2015. Vol. 349(6251) — doi.org/10.1126/science.aac4716
10 Kerr N. L. HARKing: Hypothesizing after the results are known // Personality and Social Psychology Review. 1998. Vol. 2(3). P. 196–217 — doi.org/10.1207/s15327957pspr0203_4
doi.org/10.1037/gpr0000128
11 Rubin M. When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress // Review of General Psychology. 2017. Vol. 21(4). P. 308–320 — doi.org/10.1016/j.tics.2014.02.010
12 Ioannidis J. P. A., Munafò M. R., Fusar-Poli P., Nosek B. A., & David S. P. Publication and other reporting biases in cognitive sciences: detection, prevalence, and prevention // Trends in Cognitive Sciences. 2014. Vol. 18(5). P. 235–241 — doi.org/10.2307/2282137
Sterling T. D. Publication decisions and their possible effects on inferences drawn from tests of significance — or vice versa // Journal of the American Statistical Association. 1959.Vol. 54(285).P. 30–34 — doi.org/10.1037/0033-2909.86.3.638
13 Rosenthal R. The file drawer problem and tolerance for null results // Psychological Bulletin. 1979. Vol. 86(3). P. 638–641 — doi.org/10.1037/h0045186
14 Cohen J. The statistical power of abnormal-social psychological research: A review // The Journal of Abnormal and Social Psychology. 1962. Vol. 65(3). P. 145–153 — doi.org/10.1126/science.142.3590
15 Forscher B. K. Chaos in the Brickyard // Science. 1963. Vol. 142(3590). P. 339 — doi.org/10.1086/288135
16 Meehl P. E. Theory-testing in psychology and physics: A methodological paradox // Philosophy of Science. 1967. Vol. 34(2). P. 103–115 — doi.org/10.1126/science.146.3642.347
17 Platt J. R. Strong Inference: Certain systematic methods of scientific thinking may produce much more rapid progress than others // Science. 1964. Vol. 146(3642). P. 347–353 — doi. org/10.1126/science.146.3642.347.
Lykken D. T. Statistical significance in psychological research // Psychological Bulletin. 1968. Vol. 70(3). P. 151–159.
19 McKiernan E. C., Bourne P. E., Brown C. T., Buck S., Kenall A., Lin J.,… & Spies J. R. Point of view: How open science helps researchers succeed // Elife. 2016. 5. e16800.
20 Adie E. Attention! A study of open access vs non-open access articles // Figshare. 2014.
21 Allen C., & Mehler D. M. Open science challenges, benefits and tips in early career and beyond // PLoS biology. 2019. 17(5). DOI: 10.1371/journal.pbio.3000246.
22 Frankenhuis W. E., & Nettle D. Open science is liberating and can foster creativity // Perspectives on Psychological Science. 2018. 13(4). P. 439–447.