В октябре сего года мы отправили в The Lancet письмо с предложением отозвать опубликованную в этом, одном из ведущих, медицинском научном журнале статью Д. Ю. Логунова и соавторов [1] об испытании вакцины против COVID-19, разработанной НИЦ эпидемиологии и микробиологии им. Н. Ф. Гамалеи. Основанием для нашего письма послужило то, что в сентябре мы обратились к авторам с просьбой предоставить исходные данные исследования, как было ими обещано в Data Sharing Statement в самой статье. Уже более двух месяцев авторы статьи не отвечают на нашу просьбу. Конечно, они могли бы отказать в предоставлении данных, но и такого ответа мы не удостоились.
Мы считаем это грубым нарушением норм публикационной этики и, соответственно, призвали редактора журнала отозвать статью, как это предусмотрено поддерживаемым журналом международным стандартом публикационной этики Committee on Publication Ethics. Наше письмо не было опубликовано, а события, связанные с разработкой вакцин, развертываются быстро — в стране проводится вакцинация вне клинического испытания, что требует обнародования причин нашей озабоченности. Ниже мы приводим анализ недостатков исследования, которые выявляются непосредственно в публикации и приложении к ней.
- Критериями включения пациентов в исследование были отрицательные тесты на антитела G и М, а также РНК вируса. Продукт РЗН 2020/10393 назван в статье тестовой системой для определения IgG, но два других продукта не были указаны. Возможно, вирусную РНК определяли с помощью продукта РЗН 2020/10550 института Гамалеи. Операционные характеристики отдельных тестов неизвестны, как и общая диагностическая точность набора тестов. Преаналитические параметры (материал зонда, биоматериал, техника отбора проб) также неизвестны, хотя от них зависит диагностическая точность теста. Следовательно, неизвестно, сколько результатов тестов могли быть ложноотрицательными. При повторном тестировании такие случаи могли бы оказаться истинно-положительными.
- В результате скрининга из 120 добровольцев 100 были признаны соответствующими критериям включения и исключения, но только 76 из них были включены в исследование. Авторы не сообщают, почему 24 добровольца были исключены, а блок-схема проведения исследования отсутствует. Методы формирования групп как в фазе 1, так и в фазе 2 не описаны. Всё это указывает на высокую вероятность смещенности выборки.
- Первичный критерий эффективности (сероконверсия) является суррогатным, его связь с клинической эффективностью (защитными свойствами вакцины) неизвестна. Желаемый уровень сероконверсии не установлен. Результат, полученный для этого исхода, составляет 100% сероконверсии. Однако для выборки из 20 пациентов точный 95-процентный доверительный интервал для этой величины составляет 83–100% и недопустимо широк.
- В качестве первичного критерия безопасности заявлено количество пациентов с нежелательными явлениями (НЯ), однако перечень регистрируемых НЯ отсутствует, а доля пациентов с НЯ, признанная приемлемой для доказательства безопасности вакцины, не указана. При этом количество пациентов с НЯ в статье не сообщается, приведены только относительные частоты НЯ, которые варьируют от 0% до 100%. Это значит, что каждый участник испытания имел по крайней мере одно НЯ. Но наиболее важно то, что вероятность пропуска серьезных НЯ в выборках из 20 больных достигает 17%.
- Текст, описывающий расчет размера выборки, неполон. Размер выборки был рассчитан для ожидаемой частоты сероконверсии 99%, но другие параметры этого расчета не приведены. Д. Ю. Логунов и соавторы высчитали необходимое число пациентов 16, но при таком числе пациентов любые результаты испытания заведомо оказываются недопустимо неопределенными.
- Недостаточно описана выборка из 4817 пациентов, перенесших заболевание в легкой и среднетяжелой форме, плазма которых использовалась для внешнего сравнения (плазма была взята через месяц после «выздоровления»). Количество серонегативных и серопозитивных случаев в этой группе не указано.
- Есть несколько проблем с анализом данных, среди них главные:
а) таблицы S3–S6 содержат оценки статистических параметров для значений антител в день 0 равные 1 и 1,250, в то время как в тексте статьи авторы сообщают о том, что «у всех добровольцев не было антител к SARS-CoV-2 в день 0» [1]. Этому нет объяснений. Результаты, приведенные в этих таблицах, можно воспроизвести, если использовать данные из рис. 2 и заменить нули на 1. Возможно, авторы сделали такую замену с целью расчета средних геометрических, но это можно рассматривать как фальсификацию данных;
б) значения средних геометрических в тексте не соответствуют величинам на рисунках и не согласуются с воспроизведенными оценками. Например, для фазы 2 испытания замороженного препарата среднее геометрическое титра IgG на 28-й день составляет 3442 в тексте, около 6400 на рис. 2-B и 5382 при использовании индивидуальных данных с рис. 2-В. Есть аналогичные расхождения и для других дней;
в) дисперсионный анализ для повторных измерений не проводился. Также не применялись необходимые в таких случаях поправки на множественные сравнения.
- Авторы сообщают о нескольких ограничениях своего исследования. Согласно критериям включения в исследовании могли участвовать лица в возрасте от 18 до 60 лет. Авторы называют ограничением исследования молодой возраст участников, средние значения которого находятся в диапазоне от 25 до 31 лет. Однако максимальный возраст участников не указан. Судя по всему, имело место неэтичное включение военнослужащих, которых было легко набрать для исследования.
Еще одним обсуждаемым Д. Ю. Логуновым и соавторами ограничением является небольшой размер выборки, что противоречит их собственному описанию несколькими абзацами выше расчета размера выборки при планировании исследования.
Мы считаем, что низкое методологическое качество, дефекты дизайна исследования, ошибки в анализе данных, плохое описание исследования ставят под вопрос основные заключения о безопасности и эффективности вакцины. Эти выводы основаны на изучении опубликованной статьи, тогда как независимый анализ первичных данных мог бы дать ответы на некоторые из обсуждаемых вопросов. Однако авторы, которым, видимо, есть что скрывать, не предоставляют к ним доступ вопреки заявленным обязательствам, и это — дополнительный аргумент в пользу отзыва статьи. То, что The Lancet не отзывает статью и ограничивает ее критику, может быть связано с недавним болезненным опытом журнала — публикацией статьи об эффективности гидроксихлорохина, описывающей анализ, выполненный по большой базе данных, которая в действительности не существовала [2]. Ту статью пришлось отозвать и признать неполноценность редакционной политики, в том числе и в отношении авторских обязательств предоставить доступ к первичным данным. И вот уже второй прокол The Lancet в этом году…
Уже во время подготовки этой публикации для ТрВ-Наука Pfizer и BioNTech сообщили о промежуточном анализе результатов продолжающегося испытания вакцины против COVID-19. При накопленном количестве заболевших 94 человека вакцина показала эффективность 90%. Через день разработчики вакцины «Спутник V» сообщили, что их продукт имеет эффективность 92% [3]. Это сообщение также основано на промежуточном анализе данных продолжающегося испытания. Однако важно, что промежуточная оценка эффективности не была заявлена при регистрации протокола испытания.
Кроме того, 92% эффективности получены расчетом на основании всего 20 случаев. В момент анализа включенные в него участники получили только первую дозу вакцины. Это совершенно неприемлемая, даже смехотворная политическая акция по навязыванию соревнования разрабатываемых вакцин с нарушением важнейших норм проведения испытаний. Создание атмосферы гонки делает разработчиков «Спутника V» заложниками сделанных неосторожных заявлений, угрожает доброкачественному проведению испытания вакцины и, следовательно, создает опасность для здоровья россиян.
Василий Власов, докт. мед. наук, профессор НИУ ВШЭ
Ольга Реброва, докт. мед. наук, профессор РНИМУ им. Н. И. Пирогова
Валерий Аксёнов, канд. мед. наук, научный редактор издательства «Бионика Медиа»
Авторы — вице-президенты Общества специалистов доказательной медицины (osdm.org)
- Logunov D. Y., et al. Safety and immunogenicity of an rAd26 and rAd5 vector-based heterologous prime-boost COVID-19 vaccine in two formulations: two open, non-randomised phase 1/2 studies from Russia // The Lancet. September 26, 2020. V. 396. Iss. 10255. P. 887–897. (Published online September 4, 2020.) doi.org/10.1016/S0140–6736(20)31866–3. DOI 10.1016/S0140-6736(20)31866-3. Accessed 13.11.2020.
- The Editors of the Lancet Group. Learning from a retraction. October 10, 2020, September 17, 2020. V. 396. Iss. 10257. P. 1056. doi.org/10.1016/S0140-6736(20)31958-9. Accessed 13.11.2020.
- Эффективность вакцины «Спутник V» против коронавируса составила 92% в ходе первого промежуточного анализа данных фазы III клинических исследований в РФ. Дата обращения: 14.11.2020.
[…] Sputnik V coronavirus vaccine as “completely unacceptable” and “ridiculous” in an open letter raising new concerns over a lack of sufficient data on its safety and effectiveness. The […]
[…] V coronavirus vaccine as “completely unacceptable” and “ridiculous” in an open letter raising new concerns over a lack of sufficient data on its safety and […]
[…] V coronavirus vaccine as “completely unacceptable” and “ridiculous” in an open letter raising new concerns over a lack of sufficient data on its safety and […]
[…] called Sputnik V’s development process “totally unacceptable” and “ridiculous”. Open letterRaising new concerns due to a lack of sufficient information on its safety and […]
[…] the development process of Sputnik V as “completely unacceptable” and “ridiculous” in an open letter raising new concerns over a lack of sufficient data on its safety and […]
[…] the event course of of Sputnik V as “completely unacceptable” and “ridiculous” in an open letter elevating new issues over an absence of adequate information on its security and […]
[…] оставим в сторонке) сделали вывод — разработчикам “есть что скрывать”. Вакцина прошла I-II фазы клинических испытаний, в […]
Ланцет опубликовал поправки к статье Логунова с соавторами (https://www.thelancet.com/…/PIIS0140-6736(20)32721-5…, спасибо Ольге Ребровой, она читает мелкий шрифт). Поправки типа «в таблице вместо 5 должно быть 6, а в другой таблице вместо 358 читайте 432».
После такого типа правок доверия к этой публикации не остается совсем.
Когда вам в следующий раз будут говорить, что, вот, гамалейцы все-таки одну вакцину-то разработали! Отвечайте: уж не Спутник ли вы имеете в виду? Так мы про нее ничего не знаем, а что знаем — стыд стыдный.
Василий Викторович, спасибо за хорошую новость!
Не очень понятно только, почему отношение к разработке института имени Гамалеи должно измениться в более негативную сторону. Были же исправлены уже известные ошибки:
Ошибки в научных журнальных статьях исправляются, в отличие от газетных статей.
Пользуясь случаем, должен Вас поблагодарить за эту статью. Именно она сподвигла меня разбираться подробно — так ли всё плохо, как Вы пишите. Так как стоял вопрос личной безопасности — можно ли и нужно ли прививаться СпутникV?
После разбора Вашей статьи он был решен в сторону: нужно и как можно быстрее.
Как вакцина стала доступна, сразу поставил первый укол, на днях будет второй.
[…] 2. https://trv-science.ru/2020/11/covid-19-logunov-retraction/ […]
[…] даже российские учёные, которые ещё 17 ноября 2020 года заявляли, что «низкое методологическое качество, дефекты […]