Два конкурса — два мнения

Андрей Ворох, канд. физ.-мат. наук, с.н.с. ИХТТ УрО РАН
Андрей Ворох, канд. физ.-мат. наук, с.н.с. Института химии твердого тела УрО РАН

Два конкурса. Озвучены результаты, пожалуй, наиболее важных для российского научного сообщества кон-курсов РНФ — для научных групп и существующих лабораторий. На сайте РНФ приведены красочные отчеты о заявочной кампании и о результатах в виде инфографики. Информации в них содержится достаточно, однако рядовому исследователю непросто извлечь из нее пользу, в частности оценить свои шансы на получение гранта в будущем. На основе доступной информации я построил ряд гистограмм для обоих конкурсов: данные о поддержке научных групп обозначены синим цветом, данные о поддержке существующих лабораторий обозначены красным цветом. Для интерпретации гистограмм потребуются некоторые допущения, которые будут приведены ниже. Заранее оговорюсь, что данные в инфографике и таблицах, представленных на сайте РНФ, не всегда точны, а некоторые просто неверны. Обнаруженные недостатки были исправлены, однако в целом точность ниже приведенных данных не является абсолютной.

Основной характеристикой при составлении гистограмм является доля поддержанных заявок внутри какой-либо категории. Доля определяется как отношение числа поддержанных заявок к числу поданных за-явок в этой категории. Так, доля всех поддержанных заявок (подпись на оси абсцисс «все») составила 7,4% в конкурсе научных групп и 9,1% в конкурсе существующих лабораторий. Эта информация отражена в первой паре столбцов на каждой гистограмме и приведена для визуального сравнения с остальными данными, отражающими распределение долей поддержанных заявок по направлениям, учреждениям, регионам и заявителям.

160_comp-graph-1
Гистограмма 1. Доля заявок, поддержанных РНФ по разным направлениям

На первой гистограмме приведены доли поддержанных заявок по научным направлениям от числа заявок, поданных по каждому направлению. На второй гистограмме приведены доли поддержанных заявок в раз-личных учреждениях и регионах. Как видно, практически все приведенные значения не совпадают со «средней температурой по больнице».

Для построения третьей гистограммы, иллюстрирующей поддержку заявок, руководителями которых являются члены экспертного совета РНФ (далее ЭС) или их соавторы, пришлось применить некоторые допущения. В открытом доступе можно найти только информацию о том, кто из членов ЭС является руководи-телем поддержанных проектов. Так-же с помощью базы данных Web of Science (БД WoS) можно установить, кто из руководителей поддержанных проектов имеет совместные публикации с членами ЭС и в каком коли-честве. Поскольку состав секторов ЭС не обнародован и при их составлении приходится ориентироваться на аффилиации, процедуру поиска со-авторов я провел только в рамках своей специальности для членов ЭС из сектора по направлению 03 «Химия и науки о материалах». Уточню, что полученные данные я использую исключительно в качестве иллюстрации возможности анализа результатов конкурсов.

Гистограмма 2. Доля заявок, поддержанных РНФ по разным регионам и учреждениям
Гистограмма 2. Доля заявок, поддержанных РНФ по разным регионам и учреждениям

Тем не менее существенная часть информации недоступна, а именно: нельзя выяснить, сколько заявок, по-данных членами ЭС и их соавтора-ми, не получили поддержки. Поэтому для построения гистограмм приходится сделать два предположения. Во-первых, будем считать, что все 53 члена ЭС (за вычетом председателя и координаторов секторов, не имеющих права руководить проектами) подавали заявки на оба конкурса. В этом случае около четверти всех заявок, поданных членами ЭС, получили поддержку по каждому конкурсу. Во-вторых, предположим, что все соавторы членов ЭС также подавали проекты на оба конкурса. Это, конечно, маловероятно, но мы попробуем установить корреляцию между количеством совместных работ и долей поддержанных заявок. Так, на гистограмме приведено отношение числа грантов, полученных соавторами N-го количества работ, к общему числу соавторов N-го количества работ (как если бы все они подавали заявки). Видно, что при увеличении совместных работ с 1 до 5 вероятная доля поддержанных заявок возрастает почти в три раза, но при больших N закономерность пропадает. Одним словом, прямой корреляции между количеством совместных работ и долей поддержанных заявок при допущенных предположениях не наблюдается.

Вероятно, большей информативностью обладает диаграмма, иллюстрирующая количество совместных публикаций руководителей поддержанных проектов с членами ЭС сектора 03 (фамилии приведены, как они задавались при поиске в БД WoS). Каждая полоска соответствует одному соавтору — руководителю проекта, ширина полоски пропорциональна количеству совместных публикаций. Так, наиболее узкие полоски указывают на одну совместную статью; верхняя, самая широкая полоска соответствует 172 совместным статьям. Из диаграммы можно заметить, что около половины соавторов, проекты которых были поддержаны, имеют менее трех совместных публикаций с членами ЭС. Доля соавторов, у которых с членами ЭС более 10 совместных работ, составляет около 20%. При детальном анализе следовало бы учитывать еще и срок давности коллаборации. Например, чтобы учесть совместную работу, можно ограничить количество совместных статей только последними 3–5 годами.

Два мнения. Итак, какие возможны интерпретации приведенных данных? Можно выделить две не-сводимые позиции по отношению к грантовым системам.

Гистограмма 3. Вероятная доля заявок, поддержанных РНФ , поданных членами Экспертного совета и их соавторами
Гистограмма 3. Вероятная доля заявок, поддержанных РНФ , поданных членами Экспертного совета и их соавторами

Первая позиция, которой необходимо придержи­вается руководство Фонда и должны придерживаться экс­перты, заключается в том, что под­держки удостоены только лучшие проекты. Такое видение исключает статистическое отношение к долям и распределениям. Отклонения от среднего значения говорят только о более высоком качестве проектов данной категории. Все гистограммы поочередно могут быть интерпрети­рованы следующим образом:

1) биологи и медики более интегрированы в мировую науку и разрабатывают новейшие технологии, следовательно, их проекты получают бóльшие баллы, чем проекты про-чих исследователей. Поэтому они более достойны поддержки в целом и в пять раз больше, чем историки и экономисты в частности;

2) в МГУ высока концентрация великих научных школ, поэтому заявки, поступившие из МГУ, в целом лучше, чем заявки из институтов ФАНО, и в три раза лучше, чем заявки из про-чих организаций;

3) группы и лаборатории в Москве, Санкт-Петербурге и Новосибирске работают в два раза качественнее, чем научные сотрудники в регионах;

4) члены ЭС отобраны как выдающиеся ученые, и они много сотрудничают с такими же сильными учеными. Соответственно, высокая поддержка их проектов и проектов их соавторов совершенно закономерна.

Гистограмма 4. Количество совместных публикаций руковоДителей поДДержанных проектов с членами ЭС сектора 03 (химия и науки о материалах)
Гистограмма 4. Количество совместных публикаций руководителей поддержанных проектов с членами ЭС сектора 03 (химия и науки о материалах)

Вторая позиция заключается в том, что ученый, уважающий себя и коллег, уверен, что проект посылают на конкурс, только если он достоин гранта. В предельном случае после отбраковки наукообразной макулатуры в конкурсе участвуют проекты приблизительно равного достоинства и получают поддержку, грубо говоря, случайным образом. В рамках такой позиции максимальная открытость экспертизы достигается, когда в прямом эфире центрального телевидения длинноногая аспирантка извлекает из стеклянного ящика цветные шары с номерами проектов. Кому повезло — бинго! Остальным ждать следующего раунда, где конкуренция немного упадет за счет удовлетворения грантами более удачливых. Иначе говоря, из такой позиции данные гистограмм отражают чистую статистику. Доля поддержанных проектов строго отражает вероятность получения гранта в каждой категории. При таком взгляде гистограммы будут интерпретированы следующим образом:

1) сравнивать геолога с политологом бессмысленно, различия в долях поддержки обусловлены внутренними квотами по направлениям. Так, для биологов и медиков грантов выделено в два раза больше, чем для остальных, а для гуманитариев — в два раза меньше;

2) различие в долях поддержанных грантов, поданных разными организациями, указывает на лоббирование или квоты, в которых явное предпочтение отдано МГУ, незначительное — ФАНО, а иные организации поддержаны по остаточному принципу;

3) для научных групп и лабораторий в Москве и Санкт-Петербурге и для лабораторий в Новосибирске выделено в два раза больше гран-тов, чем для групп и лабораторий в остальных регионах;

4) члены ЭС могут способствовать продвижению своей заявки или заявок соавторов-коллег и могут вли-ять на конечное решение ЭС.

Иначе говоря, если изнутри первой позиции можно сказать, что единственным важным фактором для получения гранта является качество проектов, то из второй позиции внимание концентрируется на лоббировании и квотах. В определенном смысле эти две противоположные точки зрения можно свести к позициям «победивших» и «проигравших». Качество заявок первых верифицировано экспертизой, тог-да как неудовлетворенность вторых провоцирует их искать недостатки (ну да, автор этой заметки не попал в ряды исполнителей гранта РНФ). Казалось бы, пусть злопыхательствуют завистники, побеждают-то всё равно лучшие. Однако «победивших» во всём научном сообществе вряд ли наберется одна десятая от общей численности научных работников. Остальные — а это подавляющее большинство ученых — будут ждать от руководства Фонда понятных им разъяснений, не скрывающих проблемы, а, напротив, развеивающих сомнения и недоверие к экспертизе.

Легко предполагать, что все под-держанные проекты лучшие и достойные; а как это доказать? Как «победители» докажут свою право-ту «проигравшим»? И наоборот, что заставит сторонников первой позиции усомниться? Экспертиза, по сути, это система защиты и контро-ля, которая, как и все системы защиты, может быть взломана. Попробуем представить, как бы действовал ученый-хакер, желающий заполучить грант, несмотря на качество проекта. Смею утверждать, что такие проекты не только были поданы, но даже были поддержаны. Значит, хакер-ство имело место быть. Однако нас интересуют слабые места системы, для чего надо ее представлять хотя бы в общих чертах.

Опираясь на имеющиеся сведения, я составил механизм экспертизы РНФ следующим образом.

Шаг 1: Заявка, согласно своей тематике, отправляется экспертам в дан-ной области. Вероятно, ряд экспертов назначается машиной по классификатору, затем проверяющий, учитывая конфликт интересов (в частности, по графе «мировые конкуренты»), выбирает трех экспертов по конкурсу научных групп и двух — по конкурсу лабораторий.

Шаг 2: результаты экспертизы обрабатываются машинным образом. Две трети заявок, набравших ниже определенного критического балла, отбраковываются. Одна треть заявок проходит дальше.

Шаг 3: заявки рассматриваются в секторах ЭС, где может быть принято решение о дополнительной экспертизе. На этом этапе эксперты назначаются членами ЭС. После второго этапа проект также оценивается по критическому баллу, заданному машиной. Если и этот этап пройден, тог-да решение выносит ЭС.

Итак, допустим, вы не утруждали себя написанием хорошего проекта, а получить грант очень хочется. Как видно, первая задача — преодолеть машинный отсев двух третей заявок. Соответственно, надо добиться, чтобы проект попал к экспертам, которые поставят галочки так, чтобы машина увидела максимальные баллы. Допустим, что назначить экспертов «в лоб» невозможно. Также сделаем второе сильное допущение: нельзя миновать машинную обработку. В этом случае нужно, чтобы и проект, и требуемые эксперты имели исключительно редкий код специальности — тогда машина выделит их необходимым образом для оценки проекта. Однако в выборку машины могут по-пасть и другие эксперты. Внесите их в список «мировых научных конкурентов», и на этапе утверждения они будут исключены на основании «конфликта интересов». Допустим, проект попал к нужным экспертам, они по-ставили максимальные баллы, и машина пропустила его дальше. Собственно, если нет «своего» человека в ЭС, остается надеяться на слепой случай. Иное дело, если таковой имеется. Теперь — при сомнении коллегии — «ваш» член ЭС (если это не вы сами) может отправить ваш проект еще двум нужным экспертам, которые докажут важность вашего проекта соответствующими баллами. За-одно можно завалить просочившийся проект конкурентов, отдав его экспертам, баллы которых — уже, вероятно, проставляемые от руки — понизят средний балл ниже критического значения, установленного машиной. В этом случае никто ничего не заподозрит. Как видно, процедура сложна и трудоемка, но при нужных навыках, связях и, главное, владении информацией и возможностях влияния на ее циркуляцию вполне реализуема. Очевидно, что, несмотря на машинную обработку, влияние члена ЭС крайне велико и позволяет как про-тащить проект, так и утопить. Кроме продвижения коллег, член ЭС имеет возможность помочь близкому родственнику (есть и такие случаи). Од-нако следует признать, что в обоих конкурсах каждые две из трех поддержанных заявок нельзя заподозрить в лоббировании. Вероятно, это неплохой результат.

Если же верить в прямое лоббирование всей трети проектов и заодно в чисто статистическое распределение прочих проектов, то гарантированная вероятность получения гранта составляет 5% для научных групп и 6% для лабораторий. Если добавить к этому подозрения в наличии квот по направлениям, регионам и учреждениям, то для биологов из МГУ ве-роятность поддержки возрастает в 3–4 раза, а для филологов из УрФУ — падает в 5–6 раз. Надеюсь, кого-то такие цифры даже обнадежат. С другой стороны, следует проверить — вдруг у вас имеется пять совместных работ с членом экспертного совета? Говорят, это к удаче.

Вне зависимости от характера интерпретаций результатов кон­курсов, Фонду в любом случае по­требуется доверие научного сооб­щества, которое достигается тем, что благие намерения руководства и честность экспертов подтвержда­ются не только словами, но и дела­ми. Естественно, первый блин может быть комом, но презумпция неви­новности в нашем обществе легко оборачивается тотальным подозре­нием. Руководство Фонда в состо­янии показать ученым свою заин­тересованность в предотвращении лоббирования и засуживания, про­демонстрировать поиск слабых мест в системе и стремиться к повыше­нию прозрачности экспертизы. Толь­ко в этом случае репутация Фонда будет возрастать в глазах научно­го сообщества.

Подписаться
Уведомление о
guest

4 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
влад
влад
9 года (лет) назад

Написано толково, но где рекомендации??
А они уже предлагались различными авторами
(см статью Фрадкина в ТрВ об идеальной экспертизе и комменты к ней).
А главная из них = организовать диалог эксперта с автором заявки
т.к.экспертиза без диалога- игра в одни ворота, т.е. просто “избиение”.
Диалог реализовать просто.
Проекты заключений экспертов высылаются автору
на 1-2 дня для кратких комментариев.
Эти комментарии “снимают” случайные или надуманные недоразумения.
И вся эта информация сразу же идет на экспертный совет,
где “истина” благополучно разрешается.
Так что есть куда идти, товарищи!!!!

Алексей
Алексей
9 года (лет) назад

Квоты на научные направления были – их установили заранее из соображений чего-то вроде “национальных приоритетов”. Это заранее повысило конкурс для гуманитариев и понизило для медиков и аграриев. Правда, гуманитариям при этом назначили меньший входной билет по публикациям, что еще увеличило у них конкурс. Остальной разброс определился в основном активностью заявителей в разных направлениях. Никаких приоритетов МГУ или ФАНО не было, а регионы, как обычно, тянули за уши в ущерб Москве, но заявки в провинции преимущественно слабые. Возможно, от такой политики что-то выиграл Петербург, который тоже зачислили в провинцию, но по опубликованной на сайте РНФ статистике шансы петербуржцев на успех все равно были чуть ниже, чем у москвичей (по двум конкурсам получается что-то вроде 9 против 10 на место и 8 против 9 на место, что во всех случаях лучше среднероссийского).

vlad1950
vlad1950
9 года (лет) назад

да гранты это отвлекалка ппс и нс от их бедственного положения

начинающий алкоголик
начинающий алкоголик
9 года (лет) назад

…из соображений чего-то вроде «национальных приоритетов»
да это сами научные сотрудники делают. Каков отбор, таков результат.
Лысые, беззубые, тупые и ленивые – это те, кто называются нс сегодня.
Эту плесень государство не может отшелушить уже много лет. Демпфирует она всякие неустроенности государственные. Ненужные люди туда сливаются, кто ничего не умеет, и работать не желает.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...