Идеальная экспертиза

Рис. М. Смагина
Рис. М. Смагина

 

Александр Фрадков
Александр Фрадков

Александр Фрадков,
докт. техн. наук, зав. лабораторией «Управление сложными системами»
Института проблем машиноведения РАН, профессор СПбГУ

О недостатках существующих систем экспертизы проектов писали многие. Интерес к проблеме обостряется в периоды публикации итогов конкурсов, и сейчас как раз такой момент — весной прошли два конкурса нового Российского научного фонда (РНФ), беспрецедентные по разыгрываемым суммам финансирования. Итоги конкурсов, их достоинства и недостатки интенсивно обсуждаются [1–4]. Однако конструктивных предложений, как преодолеть недостатки, немного. Еще меньше системных предложений, основанных на прошлом опыте.

Автор берет на себя смелость выступить с такими предложениями, поскольку имеет, возможно, уникальный опыт: Экспертный совет РФФИ (2002–2005 годы) экспертная сессия конкурса проектов по европейской программе FP7 (Брюссель, 2007 год), Совет по грантам при Правительстве РФ (2012–2014 годы), многолетняя работа в качестве эксперта РФФИ. Анализу этого опыта посвящены публикации [5–7]. Экспертиза научных проектов имеет много общего с peer-review-рецензированием журнальных публикаций. Автор с 1998 года является членом редакционного совета по системам управления IEEE, и этот опыт отражен в публикациях [8–10]. Наконец, недавно появился опыт работы в качестве эксперта РНФ. Конечно, предлагаемая «идеальная» система экспертизы не идеальна, но обсуждать, как должна выглядеть идеальная система, по-моему, важно.

Итоги первых конкурсов РНФ

В апреле-мае 2014 года стали известны принципы организации системы экспертизы РНФ. В рецензировании заявок первого конкурса РНФ принимало участие около 3000 экспертов и поэтому достоинства и недостатки системы рецензирования заявок РНФ широко обсуждаются [1–3]. С последовательной критикой системы РНФ выступила Г.А. Цирлина [4].

Среди претензий, предъявляемых к РНФ, выделим следующие группы:

— претензии к составу экспертного совета (ЭС): много случаев явного или скрытого конфликта интересов у членов ЭС и координаторов по направлениям;

— претензии к работе экспертов: оценки разных экспертов сильно различаются по баллам и не соответствуют итоговым заключениям, представленным авторам;

— претензии к экспертной анкете: описания градаций невнятны, не указано, какой оценке (баллу) они соответствуют, имеется непонятный пункт «плохо или недостаточно информации»;

— претензии к классификатору областей наук.

С конфликтом интересов, безусловно, надо бороться, и способы этой борьбы известны. Они сформулированы, например, в Заявлении ОНР по поводу итогов конкурса научных групп РНФ [3]:

а) запретить руководителям научных и образовательных организаций, высокопоставленным чиновникам и их заместителям входить в экспертные советы Фонда и уж тем более руководить ими или их секциями;

б) запретить членам экспертных советов Фонда участвовать в экспертизе и обсуждении не только проектов, в которых они принимают участие, но и проектов, представляемых организацией, в которой они работают, в том числе по совместительству;

в) создать механизм опротестовывания решений и лишения уже присужденных грантов при обнаружении формальных нарушений правил подачи заявок (например, при выявлении недостаточного числа публикаций должного уровня).

Перечисленные требования не являются чем-то необычным. Похожие требования предъявляются к экспертам, участвующим в экспертных сессиях по европейским программам; они реализованы и при экспертизе российских мегагрантов, где неплохо работают. Был даже случай их нарушитель был исключен из Совета по грантам.

Кстати, требование в), как оказалось, уже учтено РНФ: в соглашениях, заключаемых с победителями конкурса существующих лаботаторий есть пункт

2.2. Фонд вправе:

2.2.1. Сокращать объем гранта, приостанавливать или прекращать перечисление средств гранта в случаях:

в) несоблюдения Руководителем проекта и (или) Организацией условий и цели предоставления гранта;

д) обнаружения в заявке, поданной на конкурс, результаты экспертизы которой явились основанием для заключения настоящего Соглашения, недостоверных сведений, существенно повлиявших на положительные выводы экспертов и результат экспертизы в целом.

К сожалению, в вопросах научной этики часто не ориентируются сами наши ученые и администраторы. Можно ли запретить директору или заместителю министра подавать на конкурсы малых научных групп РНФ или РФФИ? Конечно, нет, но их административный вес будет давать им «ненаучное» преимущество при рассмотрении, что их не красит. Может ли руководитель (административный или научный) быть исполнителем у своего подчиненного или ученика? В правилах РФФИ подобный запрет есть, а в РНФ нет.

Я сам, например, постеснялся включиться в заявку своего молодого подчиненного, а один уважаемый мной академик, известный ученый и администратор науки, не постеснялся, что, возможно, и привело к выигрышу заявки.

Разброс оценок экспертов

Что касается отбора экспертов, то, очевидно, надо создавать компетентные и авторитетные корпуса экспертов, но этого мало, так как для массовых конкурсов экспертов нужно много. Однако проблему разброса оценок не решить отбором. Как говорил герой В.М. Шукшина, «Два полена и то сгорают неодинаково, а вы хотите, чтоб люди прожили одинаково!» Наилучшее известное решение — проведение «консенсусных сессий», где рецензенты каждой заявки встречаются и обсуждают свои оценки до их полного совпадения [5]. Конечно, такой механизм для массовых конкурсов слишком затратен, даже если проводить такие сессии только для полупроходных заявок («серой зоны»).

Более реалистично применять метод Дельфи, организуя заочный обмен информацией между рецензентами или хотя бы одну итерацию такого обмена [7]. А именно: при рассылке проектов экспертам их предупреждают, что в случае, если оценки одного из экспертов будут сильно отличаться от остальных (порог задается так, чтобы коррекция затронула не более 3–5% заявок), всем экспертам будут разосланы их оценки с обоснованиями и предложено их скорректировать или уточнить обоснования в течение 2–3 дней. Оценки, которые после коррекции больше всего отличаются от средних значений, отбрасываются.

Обязательно нужно требовать от экспертов объяснения причин, по которым они выставили наивысшую или самую низшую оценку (эти причины не обязательно сообщать авторам). Полезно членам ЭС знать интегрирующее мнение координатора экспертизы по направлению наук, хотя практика Совета по грантам показывает, что мнение руководителей групп экспертов часто не имеет решающего значения.

Что касается экспертной анкеты, мне она даже понравилась: описания градаций примерно соответствуют градациям английской системы REF, пропагандируемой нашими математиками [11]: мировой лидер (world-leading); международный уровень (internationally excellent); международно признано (internationally recognised); признано в стране (nationally recognised). Нужно только сделать это соответствие более явным и установить соответствующие баллы (5, 4, 3, 2). Добавление нижнего уровня «недостаточно информации для оценки» считаю приемлемым. Нужно только при отсутствии информации не ставить нулевой балл, а не учитывать данную оценку данного эксперта при усреднении.

Трехэтапная система экспертизы

С учетом перечисленных и других соображений, ниже делается попытка представить контуры трехэтапной системы экспертизы, сочетающей в себе достоинства различных систем.

Система строится на ранжировании заявок по значениям трех групп показателей (критериев):

1) уровень руководителя;

2) уровень (новизна, качество) заявки;

3) уровень реализуемости проекта (складывается из уровня подготовленности коллектива и уровня проработанности плана работ).

Экспертиза проводится в три этапа. На этапе 1 эксперт определяет у каждой заявки по каждому показателю числовое значение уровня, соответствующее следующим градациям показателей:

5 — международное лидерство;

4 — международное признание;

3 — национальное лидерство;

2 — средненациональный уровень;

1 или 0 — неконкурентоспособность;

? — недостаточно информации.

Верхние четыре уровня соответствуют уровням, принятым в британской системе REF. При оценке «недостаточно информации» мнение данного эксперта по данному показателю не учитывается при расчете средних оценок.

Пояснения к уровням: экспертам сообщаются рекомендации, направленные на унификацию требований по областям науки (это не потому, что их компетентность подвергается сомнению, а лишь для того, чтобы повысить сбалансированность их оценок между областей).

Например, по критерию 1 наивысшую оценку рекомендуется ставить, если руководитель имеет значения хотя бы двух из четырех частных показателей не менее, чем на уровне 50% от значений показателей мировых лидеров по данной области науки. В качестве частных показателей можно брать индекс цитирования, индекс Хирша, число публикаций за последние 5 лет в журналах из Q1 (верхней четверти журналов по импакт-фактору для данной области науки), число приглашенных докладов на крупных международных конференциях за последние 5 лет.

На этапе 2 заявки ранжируются по среднему баллу отдельно по каждой области науки. Определяются квоты по каждой области и составляется шорт-лист из 2N заявок, где N — квота победителей по данной области науки.

Дополнительно нужно просматривать весь список, включая, возможно, в шортлист заявки с несколько меньшим средним баллом, но с большим разбросом баллов экспертов. Подготовку данных могут выполнять технические работники (организация, сопровождающая конкурс), но проверять и подписывать шортлисты должны руководители секций ЭС.

Этап 3. Заявки из шортлистов обсуждаются на заседаниях секций ЭС. Если секция разбивается на подсекции, то необходимо, чтобы каждую заявку обсуждало не менее 2–3 экспертов. После обсуждения — тайное голосование, по итогам которого победителями признаются, в соответствии с квотой, N заявок, набравших наибольшее число голосов.

Определение квот — это отдельная задача [7]. Демократический подход предлагает РФФИ: выигрывает каждая третья заявка, независимо от области наук. Казалось бы, такой подход универсален. Однако если на входе есть барьер (например, требование превысить порог публикационной активности, как на конкурсах РНФ), то ситуация меняется. Степень фильтрации предсказать трудно, и барьер может оказаться разной высоты. Выровнять пороги можно, меняя квоты.

О классификаторах

О недостатках существующих классификаторов не пишут только самые ленивые. Классификатор должен быть составлен специалистами, но беда в том, что полнота каждого специалиста односторонняя, это еще Козьма Прутков заметил. И если собираются вместе специалисты высокого уровня и начинают что-то предлагать, то каждый не лезет в чужую область, а свою раздувает. Поэтому многие классификаторы, в том числе и предлагаемый комиссией по контролю за реформами в сфере науки, недостаточно сбалансированы и между крупными областями (верхнего уровня), и внутри этих областей.

Вообще, классификатор менять — это трудное, неблагодарное и безнадежное дело. Правильней, если он меняется очень медленно, эволюционно. Я участвовал в обсуждении русификации классификатора OECD в Совете по грантам — мы замучались. Он не нравился всем! В конце концов было решено третий уровень просто не русифицировать.

Полезный пост «Песнь о классификаторах» опубликовал в своем блоге Иван Стерлигов. Вот что он пишет про ГРНТИ [12]: «Его фишка в том, что это классификатор не столько науки, сколько российской науки. В нем три уровня, все с отчетливым советским душком». В этом наша беда: каждый классифицирует не науку, а российскую науку, а еще чаще — свое представление о науке. И в большинстве новых областей специалистов в России — с гулькин нос. Что с этим делать? Не знаю.

Все-таки уверен, что классификатор не главная проблема. Да, по хорошему классификатору легче назначать экспертов на заявки. Но их можно назначать и иначе: по ключевым словам. Такой подход отработан, например, организаторами крупнейших конференций IEEE по системам управления (таких конференций ежегодно проводится три: CDC, ACC и MSC, с общим числом докладов около 3 тыс.) [9–10].

База данных авторов этих конференций накапливается уже около 20 лет и содержит примерно 70 тыс. людей со своими ключевыми словами, выбранными из списка ключевых слов IEEE, составленного техническими комитетами. Причем автор должен указать слово (фразу) первого, второго и третьего приоритета. Так вот человек, ведущий каждую статью, назначается машиной случайно! Классификатор вообще не нужен.

А сейчас, после прошедших конкурсов в РНФ: сложилась очень удобная ситуация для решения проблемы отбора экспертов, поскольку было подано около 15 тыс. заявок и руководителей многих из них можно приглашать в качестве экспертов. Надо только следить, чтобы эксперты сами удовлетворяли критериям допуска заявок к конкурсу, например по публикационной активности.

Мне кажется, задача повышения уровня экспертизы научных проектов до лучших мировых образцов вполне по плечу организаторам конкурсов. Нужно только прислушиваться к мнениям ученых. Если же эти мнения различаются, то надо их балансировать, а не отвергать под предлогом, что «ученые сами не могут между собой договориться».

1. «Это такие хорошие люди, как им можно не дать денег». Газета.Ру. 16.07.2014. www.gazeta.ru/science/2014/07/16_a_6116337.shtml

2. В ряду нерядовых. РНФ подвел итоги конкурса для существующих научных лабораторий и кафедр. Поиск, № 29-30(2014). www.poisknews.ru/theme/science-politic/11167/

3. Заявление Совета ОНР по итогам конкурса научных групп РНФ. ТрВ-Наука № 155, 03.06.2014. http://trv-science.ru/2014/06/03/zamestitelyu-predsedatelya-soveta-pri-prezidente-rf-po-nauke-i-obrazovaniyu-a-a-fursenko/

4. Цирлина Г.А. Покаянное (заметки об экспертизе проектов в РНФ). ТрВ-Наука № 156, 17.06.2014. http://trv-science.ru/2014/06/17/pokayannoe-zametki-ob-ehkspertize-proektov-v-rnf/

5. Фрадков А.Л. Как это делалось в Брюсселе. Заметки о рецензировании научных проектов. ТрВ-Наука № 60, 17.08.2010. http://trv-science.ru/2010/08/17/kak-eto-delalos-v-bryussele-zametki-ob-ekspertize-proektov-7-j-rp-es/

6. Фрадков А. Л. Блеск и нищета формальных критериев. ТрВ-Наука № 122, 12.02.2013. http://trv-science.ru/2013/02/12/blesk-i-nishheta-formalnykh-kriteriev/

7. Фрадков А. Л. Блеск и нищета формальных критериев научной экспертизы. Управление большими системами. Спец. выпуск 44. Наукометрия и экспертиза в управлении наукой, 2013, с.346–360.

8. Фрадков А.Л. Как опубликовать хорошую статью и отклонить плохую. Автоматика и телемеханика, 2003, № 10, с. 149–157.

Фрадков А.Л. Международные конференции по системам управления: традиции и тенденции. Автоматика и телемеханика, 2011, № 1, с. 174–178.

9. Фрадков А.Л. Научные конференции по управлению: цель или средство? Автоматика и телемеханика, 2012, № 9, с.149–158.

10.  Схема работы системы REF. www.saveras.ru/wp-content/uploads/2014/04/Схема-работы-системы-REF.pdf

11. Стерлигов И. Песнь о классификаторах. http://isterligov.blogspot.ru/2013/09/oecd-wos-scopus.html

Подписаться
Уведомление о
guest

9 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
начинающий алкоголик
начинающий алкоголик
10 года (лет) назад

правильно. Молодец автор…
Только эксперты эти не смогут до середины его заметку дочитать..
Есть еще одно палево….анкета экспертная такова, что если чел док и проф,
то он сразу 75% получает, даже если при этом полный м…к

начинающий алкоголик
начинающий алкоголик
10 года (лет) назад

есть еще одна деталь…пока мы все это «трем»…экспертов скоро мы будем из салонов сотовой связи брать..тех, кого туда спустили вместо их нормального пути..

начинающий алкоголик
начинающий алкоголик
10 года (лет) назад

Понимаете….есть еще такой фактор — ВРЕМЯ…
С ним у нас не считаются…но он определяет все.

жук
жук
10 года (лет) назад

В стране, где абсолютно все выборы фальсифицируются, даже такой мелочи как талисман игр в Сочи, совсем не тривиальное голосование за лучшие заявки неизбежно превращается в мыльную оперу с предсказуемыми жалобами в конце.
Ждем следующих серий)

Denny
Denny
10 года (лет) назад

«Система строится на ранжировании заявок по значениям трех групп показателей (критериев):
1) уровень руководителя;
2) уровень (новизна, качество) заявки;
3) уровень реализуемости проекта (складывается из уровня подготовленности коллектива и уровня проработанности плана работ).»

Я бы первый пункт убрал. Вернее, включил его в третий. Уровень руководителя имеет значение именно для реализуемости проекта. А не как самостоятельная величина.

ALF
ALF
10 года (лет) назад
В ответ на:  Denny

Все-таки решающую роль в успехе крупного проекта играет репутация и опыт лидера. Если лидер слабый, то и проект слабый. Дальше незачем рецензировать. И проверить уровень лидера проще всего, так что выделение уровня лидера в отдельный критерий оправдано.

Denny
Denny
10 года (лет) назад
В ответ на:  ALF

???? А я что написал?

«Уровень руководителя имеет значение именно для реализуемости проекта.»

влад
влад
10 года (лет) назад

Фрадков- спец!
И написано «идеально»
Но есть еще одна штука, которая практически мало применяется,
но которая очень важна по сути.
Этр обратная связь эксперта и заявителя.
Оч. часто эксперт мало «петрит» в тонкостях заявки.
И ему «тупо» нужно помочь.Просто снять первые набежавшие вопросы
Это и должен сделать заявитель
Поэтому предлагаю
усилить процесс экспертизы путем введения следующих 3х этапов:
1й этап- эксперты (в положенные сроки) пишут свой проект решения по заявке и отсылают заявителю.
Тот дает срочный (1-2 дня) мотивированный комментарий по проекту решения.
2й этап- эти комментарий рассматривает и сопоставляет и согласовывают все рабочие эксперты, принимавшие участия в подготовке проекта решения.
3й этап: заключительный совет экспертов принимает решение на основе сопоставления
проекта решения и комментариев заявителя.
Чуть более сложновато, чем предлагает Фрадков, но
Ведь «экспертиза без диалога — это танцы без музыки»!!
Т.е. что хочу, то и ворочу!!!!!
Короче, тов. Фрадков и члены ОНР, давайте проработаем этот вопрос и напишем в РНФ!!

Афонюшкин Василий
Афонюшкин Василий
10 года (лет) назад

«Определение квот — это отдельная задача [7]. Демократический подход предлагает РФФИ: выигрывает каждая третья заявка, независимо от области наук.» Это что получается — заявки по биологическим наукам пишут медики, сельскохозяйственники и чистые биологи, увеличивая квоты по биологии. А, потом гранты выигрывают преимущественно биологи из РАН…. (например, в среднем, в Векторе п.Кольцово проходит каждая шестая заявка, в алтайском ГУ — каждая двадцатая, у нас каждая 27 заявка). Получается что неРАНовцы и неМГУшники имеют мало шансов получить грант, но их заявки увеличивают квоты для «чистых» биологов из РАН и они должны выигрывать чаще чем остальные ученые (физики, химики). Если не представляется возможным расширить классификатор или снизить лоббизм, не следует ли для биологов сделать понижающий коэффициент?

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...