С моим эпидемиологическим прошлым я последние тридцать лет тесно связан с продвижением доказательной медицины — варианта медицинской практики, отличающегося сознательным и последовательным применением врачом вмешательств, эффективность и безопасность которых доказана в доброкачественных исследованиях. Из-за того, что врачей традиционно не учат в мединститутах методам научных исследований (нет у них ничего подобного «технике физического эксперимента»), многие из них только позднее в своей профессиональной жизни обучаются распознавать доброкачественные исследования. Естественно, приходится с нуля изучать дизайны исследований, статистический анализ данных, осмысление возможных смещений (bias). Дело это очень увлекательное, и многие врачи пришли к научным исследованиям через изучение доказательной медицины. Да и в целом в мире качество медицинских исследований заметно улучшилось за последние двадцать лет. Приятно еще и то, что стремление к научной обоснованности, доказательности в принятии решений распространяются много дальше медицины. О нем говорят политики, экономисты, а психологи и педагоги уже давно создали Кэмпбелловское сотрудничество 1 по образцу нашего Кокрейновского 2.
Естественно, участвуя в этих увлекательных процессах, я помню про то, что сохраняется там и тут — про плагиат, про фальсификацию и про то, что многим людям ученая степень нужна при полном отсутствии интереса к научным исследованиям. Поэтому они покупают диссертации или делают их по примеру товарищей и «Пособию полного дурака по получению ученой степени». Для обслуживания интересов этих людей существует целая индустрия, в наиболее ярком виде — диссертационные фабрики типа Стандартинформа. Они существуют не в воздухе самодеятельности, а опираются на основной способ функционирования Высшей аттестационной комиссии (ВАК). Есть ли у меня доказательства этому утверждению? Есть. Но самое яркое подарил нам В. М. Филиппов, научно отредактировавший текст группы авторов «Методические рекомендации „Применение критериев доказательности диссертационных исследований в области наук об образовании“». Текст, пафосно изданный Российской академией образования под государственным гербом России, общедоступен 3. Более того, он размещен на сайте ВАК с очевидной целью просвещения искателей ученых степеней.
Вы не могли не обратить внимание сразу на то, что Филиппов и Ко пишут о диссертационных исследованиях. То есть про исследования с целью наполнения диссертации. Но позиционируют авторы цель своего текста как «методологическую и методическую помощь при подготовке и оформлении диссертаций, не влияя на научное творчество исследователя» (стр. 2). Выглядит это как неловкая маскировка, ибо в действительности весь текст посвящен именно обучению тому, как «методологически и методически грамотно проводить исследования и оформлять результаты в соответствии с требованиями доказательности к диссертационным исследованиям» (стр. 3).
Соответственно, далее авторы пишут про то, как выбрать тему исследования и обосновать ее актуальность, оценить научную разработанность в исторических рамках и выявить противоречия и сформулировать исследовательский вопрос. Авторы советуют, как найти объект исследования и сформулировать предмет. Да, поясняют они, «объект выбирается, а предмет формулируется» (стр. 8). Далее кратко описано, как определить цель и сформулировать задачи и гипотезу. Пропуская планирование и исполнение исследования, авторы объясняют, откуда берется новизна, теоретическая и практическая значимости.
На стр. 15 авторы добираются до этапов исследования: «Последовательная реализация этапов должна приводить к достижению цели исследования. При этом целесообразно наличие возможности проверки достижения результатов на каждом этапе диссертационного исследования». Методологию авторы умещают на одну страницу, а методам, включая статистические, уделяют почти две. Вот эти две страницы — самое яркое отражение темной бездны российской гуманитарной науки и безраздельно в ней правящих филипповых. Авторы этого пособия даже не называют современным языком ни одного дизайна исследований. Соответственно, они не дают ссылок на международные стандарты написания статей и отчетов об исследованиях, а их собственный текст по содержанию соответствует руководству «как изготовить и защитить диссертацию за три месяца» 4. Еще две страницы толкуют «корректно организованную опытно-экспериментальную работу». И в ней тоже преобладают полубессмысленные утверждения вроде: «Общая схема опытно-экспериментальной апробации, используемые методы сбора и обработки исходной информации должны обеспечивать валидность эксперимента».
Как все начетчики, авторы любят иностранные слова. Особенно «апробацию». Они упоминают «апробированные технологии и инструментарий», апробацию выводов «путем представления экспертному сообществу», апробацию как «обсуждение результатов исследования на научных мероприятиях», как проверку гипотезы в эксперименте и как «процесс опытной апробации (методики) (в экспериментальной выборке)».
Дремучесть текста и, очевидно, дремучесть составителей и научного редактора не будут удивительными для тех, кто наблюдает диссертационный процесс в России. Скорее удивительно, как через возглавляемый В. М. Филипповым дремучий ВАК вообще проходят нормальные диссертации, выполненные физиками, химиками и биологами современными методами, с современным дизайном, статистическим анализом и обсуждаемые в современном контексте.
Василий Власов,
доктор мед. наук
3 vak.minobrnauki.gov.ru/uploader/loader?type=1&name=92648971002&f=20893
4 Reporting Standards for Research in Psychology. ncbi.nlm.nih.gov/pmc/articles/PMC2957094/; Equator. equator-network.org/reporting-guidelines/; Guidelines for anthropological research. journals.sagepub.com/doi/full/10.1177/1466138119843312; Standards for Reporting on Empirical Social Science Research in AERA Publications. aera.net/Publications/Standards-for-Research-Conduct/
(3 оценок, среднее: 3,33 из 5)
Загрузка...
Вот именно традиционно, поскольку главная заповедь врача — не навреди! Характерно, что в преамбуле статьи автор как бы оправдывает интерес врачей к получению научных степеней, однако оправдание явно не вытанцовывается.
«психологи и педагоги уже давно создали»
В принципе это могло бы и насторожить… Станет ли лженаука доказательной, если будет правильно использовать статистику?
Правильное использование статистики сделает её основательной лженаукой.
Наблюдение состоит в том, что мало когда теория согласуется с экспериментом, удовлетворяя статистические тесты. Т.е. удовлетворяет, но уровень согласия хреновый ;)
А так на глазок отличное согласие ))
Особенно при сравнении многоканальных распределений. Степеней свободы много, вот распределение хи-2 и узкое …
Всё гораздо хуже, чем на самом деле. ;)
Широко используемые статистические оценки обычно не учитывают корреляции данных и прочие интимные нюансы, поэтому удовлетворение ”статистическим тестам” совсем не гарантирует реального удовлетворения.
Однако, хреновый уровень согласия с экспериментом можно компенсировать повышением уровня согласия между учёными, путём создания упомянутых в статье “сотрудничеств”.
Соглашусь. Не всегда эти корреляции, уменьшающие обычно число степеней свободы, можно вытянуть …
Даже когда можно хотя бы частично ”вытянуть” корреляции, предпочитают упрощённую статистику, дающую большее ”удовлетворение”.
Научный люд он такой – ему подавай и степени и свободы, да побольше и без ограничений! ;)
К сожалению, теперь в НЖ-х всё чаще требуют наведение статистических тестов. Чаще там, где это излишне. Как только сравниваешь теорию с данными, сразу требуют наведения статистической «зеленой повестки». ;)
Да, во многих случаях применение упрощённых статистических тестов может быть даже вреднее сравнения «на глазок», поскольку такое «подкрепление результатов» создаёт необоснованную иллюзию корректности. Однако, если сравнение не проходит даже упрощённый стат-тест, значит оно реально не может считаться значимым.