Покаянное (заметки об экспертизе проектов в РНФ)

3ТрВ-Наука продолжает публиковать развернутые мнения ученых о первом конкурсе Российского научного фонда по проведению фундаментальных и поисковых исследований отдельными научными группами.

Получилось совершенно как всегда, по крайней мере в ча­сти химии и наук о материалах. Среди поддержанных есть достойные руководители проектов, но их не сра­зу заметишь на фоне привычного хи­мического политбюро. Наиболее оди­озные личности видны по названиям проектов в стиле «Создание <разра­ботка> научных <физико-химических> основ…». Не столь явно одиозные, а также директорско-академические приближенные заметны по более тон­ким признакам. Особенно впечатляют ИОНХ и ИФХЭ. Как будто звонили ди­ректорам и спрашивали — кого изво­лите поддержать? А может, интуитивно угадали, или просто дурная привычка. Эти нюансы, впрочем, не существенны в разговоре об экспертизе, решающей две задачи: чтобы ни один недостой­ный проект не оказался поддержан, а ни один достойный не был отвергнут. Иное есть нарушение профессиональ­ной морали и нецелевое расходова­ние госсредств.

Мне ужасно стыдно. Я лично вино­вата в том, что получилось в резуль­тате первого конкурса РНФ, и столь же лично виноваты все эксперты и члены экспертного совета. Никто ведь не завопил своевременно о том, что уже в первых конкурсах РНФ допу­щено грубейшее нарушение зафик­сированного в документах порядка экспертизы. Или, может быть, кто-то вопил шепотом.

…Какими мы были наивными…

Надо было, черт возьми, до послед­него слова читать все бумаги — каки­ми бы бюрократическими они ни были. Если бы я с самого начала, несмотря на свалившуюся гору проектов и срок в 2 недели, внимательно читала доку­мент «Порядок проведения экспер­тизы научных, научно-технических программ и проектов, представлен­ных на конкурс российского науч­ного фонда» [1] … Там в п.12 напи­сано «…В оценках экспертов Фонда используется балльная система». А в экспертных анкетах не было никаких баллов — лишь предоставлялась воз­можность выбрать тот или иной зара­нее фиксированный вариант ответа. Довольно часто ни один из предла­гаемых вариантов не соответствовал ситуации, и приходилось в текстовых окнах писать комментарий. И откуда в моем возрасте такая наивность? — думала, что раз просят написать про каждый пункт «до 1 страницы», то на­писанное как-то учтут… Об эквива­лентности выбранных пунктов тому или иному числу баллов и об учете в балльной оценке комментариев (ча­сто вынужденных) я спросила только в конце мая, направив на безликие адреса @rscf.ru довольно обширное письмо с разбором недостатков ан­кет двух первых конкурсов.

Даже получение этого письма до сих пор не подтвердили, несмотря на повторную его отправку. Зато присла­ли на экспертизу проект третьего кон­курса — пришлось от него отказаться и воспользоваться окошком для объясне­ния причин отказа, чтобы в очередной раз попросить ответить на вопросы…

Кто бы ни ставил баллы за экспер­тов — человек или автомат, — нару­шение совершенно очевидно, и все мы его прошляпили.

Коды есть — а координаторов-то нет

С экспертами взаимодействует какой-то коллективный разум, явно не развившийся еще до уровня отве­тов на нестандартные вопросы. Или просто автомат (технически, следует признать, сделанный очень прилич­но). И пытается назначать экспертов путем сопоставления кодов проек­тов и экспертов. А коды — из класси­фикатора РНФ, каковой есть откро­венная компиляция на основе далеко не современных источников. Степень дробности для разных разделов со­вершенно разная, ряд формулиро­вок допускает двойное толкование.

В физической химии (03-400) обра­зовались совершенно немыслимые сочетания «03-405 Наноструктуры и кластеры. Супрамолекулярная химия. Коллоидные системы» или «03-406 Хи­мическая термодинамика. Физическая химия поверхности и межфазных гра­ниц. Адсорбция». При моторном спо­собе подбора адекватные эксперты отказываются от многих предложен­ных им проектов из-за несовпадения специализации, а неадекватные экс­перты лихо рецензируют какие угод­но проекты в сжатые сроки.

Физической химии еще, пожалуй, повезло — пусть устройство ее не по­нято, но хоть право на существование признано. А вот, например, атомной физики в классификаторе вовсе нет- хотя в России она очень даже есть, и во всем мире является сейчас бур­но развивающейся областью, с ре­гулярными нобелевскими результа­тами. Такие пенки получаются, если свой экспертный совет фонд собира­ет по статусным признакам, а не по очевидному принципу равномерной представительности специализаций. Но там же есть, среди статусных, впол­не достойные профессионалы… что б им не пригласить профильных ко­ординаторов для разбора завалов?

Google как инструмент научной экспертизы

Анкета эксперта включает подпун­кты, выбор которых в принципе не­возможен на основании сведений из заявки. Ответы требуют в буквальном смысле следственно-разыскной ра­боты. Даже тщательный эксперт да­леко не всегда может найти нужную информацию в открытых источниках. В то же время невозможно просто пропустить какой-либо пункт: чтобы завершить экспертизу, приходится вы­бирать вариант «…или информации недостаточно для оценки», который явно отвечает самому низкому (воз­можно, нулевому) баллу. Вот, напри­мер, какая конструкция:

1.3. Наличие опыта руководства и выполнения научных проектов.

Руководитель за последние 5 лет имеет опыт успешного руководства:

  • несколькими значимыми научно- исследовательскими проектами,
  • одним значимым научно-иссле­довательским проектом,
  • не осуществлял научного руковод­ства проектами, или достаточная для оценки информация отсутствует.

В соответствующих пунктах за­явки перечисляются проекты, но не предусмотрено никаких сведений об их содержании и результативности («успешности»). Поэтому приходится искать Acknowledgements в статьях, отчеты на сайтах фондов и органи­заций, а также просто использовать Google. Приведу пример результатов такого розыска по одному из направ­ленных мне проектов (цитата из экс­пертного заключения):

«Легко убедиться, что указанным в заявке проектом МНТЦ руководил представитель <совсем другого> ин­ститута N <сетевая ссылка>. На веб­странице, посвященной участию в про­екте Института NN <сетевая ссылка>, какие-либо конкретные сведения о роли этого соисполнителя отсутствуют (пустые поля). Фамилия руководите­ля рецензируемого проекта> нигде не упоминается. Руководителем проекта РФФИ № NNN является <другой чело­век>, а не <руководитель рецензируе­мого проекта> <сетевая ссылка>. Срав­нивая содержание отчета по проекту

РФФИ № NNNN <сетевая ссылка> (ру­ководителем которого действитель­но был руководитель рецензируемого проекта>) со списком статей авторов заявки по Scopus, можно найти две пу­бликации по результатам этого про­екта РФФИ, на основании чего услов­но признать его успешным».

Не искать нельзя — уровень наших заявителей, увы, таков, что привирают нередко… К сожалению, даже Google не скажет, что такое тут «значимый» — имеется в виду объем, статус фонда, значимость результатов (о которой нет сведений) или?.. кроме того, вариан­ты ответов предполагают почему-то только или успешное руководство — или отсутствие проектов. Казалось бы, куда важнее обоснованно опре­делить, сколько было проектов, руко­водство которыми не было успешным. Или они это вычитанием выясняют?

С оценкой реального вклада в об­разование дело обстоит еще хуже. Варианты ответов с подсказками в п.1.4 анкеты совершенно не учиты­вают специфики сопряжения научной и образовательной работы:

  • активно участвует в образователь­ной деятельности (руководит несколь­кими аспирантами, разрабатывает и читает новые образовательные кур­сы в российских и зарубежных вузах),
  • участвует в образовательной де­ятельности (руководит одним-двумя аспирантами и читает новый обра­зовательный курс в российских и за­рубежных вузах),
  • руководит несколькими аспиран­тами или читает новый образова­тельный курс,
  • участвует в образовательной де­ятельности в незначительной сте­пени, или достаточная для оценки информация отсутствует.

Первой формулировке фактиче­ски удовлетворяют только имитаторы- администраторы, часто приписанные сразу к нескольким вузам и кафе­драм и осуществляющие «номиналь­ное» руководство аспирантами. Науч­ный работник обычно не может тянуть более одного курса, тем более ново­го. И почему, кстати, речь идет только о новых курсах? Традиционные фун­даментальные курсы и спецкурсы в исполнении действующих ученых ничуть не менее важны. А ключевая функция руководства дипломными ра­ботами, трудоемкое проведение семи­наров и практикумов попадают в по­следний пункт вместе с «недостатком информации» (и, возможно, оцени­ваются нулевым баллом). Если фонду важно оценить вклад в образование, не проще ли сразу попросить указать открытые сетевые ресурсы? Вопреки распространенной российской прак­тике полагаю, что в современном образовании отсутствие таких ресурсов просто сразу означает отрицательную оценку (хотя их наличие вовсе не гарантирует положительную).

На выходе имеем два крайних случая: несправедливое занижение оценки заявителей, которые могли бы предоставить нужную информа­цию при наличии соответствующих требований в форме заявки, или не­справедливое завышение оценки экс­пертами, не тратившими времени на проверку и руководствовавшимися просто числом указанных проектов или читаемых курсов.

Зато мы делаем ракеты

Не буду расходовать газетную пло­щадь для подробного разбора разде­лов «Научная обоснованность проек­та» и «Значимость результатов». Там есть проблемы разной степени тяже­сти. Наиболее бездарно, по моим наблюдениям, заявители излагают «Со­временное состояние исследований по тематике проекта», зато очень бодро заполняют анекдотический пункт заявки «Основные мировые научные конкуренты»… IBM, General Motors и BASF уже просто дрожат от числа рос­сийских конкурентов, можно дальше их не пугать, а пункты эти слить и переформулировать так, чтобы совре­менное состояние дел отражалось со ссылками на ключевые работы и эксперт оценивал бы не болтовню, а кон­кретику. Это помогло бы минимизиро­вать стресс при переходе к пункту 3.1:

Запланированные результаты проекта:

  • имеют высокую значимость для мировой науки,
  • имеют высокую значимость для российской науки, значимость для ми­ровой науки ограничена,
  • имеют ограниченную значимость для российской науки,
  • не будут востребованы, или ин­формации недостаточно для оценки.

Варианты ответов явно намекают на второсортность российской науки, а может, написаны и в расчете на поддержку спецтематики. Если речь идет о результатах, важных для региона, то это вопрос не о российской науке, а о региональной специфике объекта исследования. Классифицировать зна­чимость можно по масштабу резуль­тата, по его возможному влиянию на дальнейшее развитие, но безусловно не по национальному признаку. Как-то выразив эти простые соображения в комментарии (до 1 страницы, кото­рые потом, видимо, никто не читает), эксперт нарывается на пункт

3.2. Возможность практического использования запланированных ре­зультатов осуществления проек­та в экономике и социальной сфере.

Этого нельзя учитывать при срав­нительной оценке проектов! — поскольку в большой части проектов фундаментального характера ника­кого практического использования в ближней перспективе быть не может и не должно. Сама постановка вопро­са провоцирует голословные заявле­ния. В конце списка вариантов отве­тов (видимо, как негативная оценка):

  • востребованность российской экономикой или социальной сферой не очевидна.

Но ведь эта же формулировка стро­го применима как раз к разработкам очень высокого уровня, которые в Рос­сии не могут быть востребованы из-за низкого уровня технологического развития. Не поддерживать проекты, результаты которых переросли рос­сийский технологический стандарт — это самый безнадежный тупик. В ан­кете нет никаких вариантов ответов, позволяющих обозначить и позитив­но оценить эту нередкую ситуацию.

Не комментирую подробно 3.3. Обя­зательства по количеству и качеству публикаций — нелепость, глубоко проникшую в документы фонда. План по валу может быть выполнен многими коллективами, и с большой вероятностью — в ущерб качеству. Куда по­лезнее было бы попросить у авторов примерный тематический план публи­каций, который действительно может быть объектом экспертной оценки — а иначе мы оцениваем шустрость, а не квалификацию. Валовые показатели предлагается оценивать и в разделе 3.4 Обязательства по привлечению к работе по проекту молодых исследо­вателей, хотя ответ следует просто из анкетных данных в заявке, и его впол­не могут получить клерки. И никаких вариантов ответа по существу — то есть о функциях молодежи в проекте. Есть ли для них хорошие задачи, разум­ный план работы, продумано ли руко­водство их работой, или они «вписа­ны» в проект и будут в лучшем случае привлекаться для лаборантских опе­раций? — соображения по этому по­воду опять попадают в коментарий…

Экспертная анкета РИФ пригодна для отсечения совсем безграмотных проектов. Однако она категорически не позволяет отличить сильный со­временный проект не только от сред­него, но даже и от «ниже среднего» по уровню. Так возникает дыра, че­рез которую без напряга пролезает привычное «как всегда».

Как латать дыру

Сомневаюсь что получится, но пытаться надо. Всё равно же РНФ не закроют.

Прежде всего, для сохранения хоть какой-то репутации фонда необходи­мо опубликовать не только аннотации и ожидаемые результаты всех поддержанных проектов (хорошо, что это наконец сделано, хотя и го­раздо позже объявления результатов конкурса), но и списки исполните­лей. Возможно, это увеличит уверен­ность в том, что в ряде случаев рабо­та действительно может быть сделана, несмотря на некомпетентность руко­водителя. Убедит нас в том, что про­ект составлен квалифицированными людьми, остающимися пока за кадром. К сожалению, даже выборочный про­смотр аннотаций показывает, что не все «высокопоставленные» проекты составлены таким образом.

Одновременно нужно в срочном порядке скорректировать эксперт­ную анкету и снабдить ее баллами, твердо сформулировав принцип ис­пользования этих баллов при при­нятии решения. И немедленно заменить классификатор.

Нужно также понять, кто эксперты, лучше всего просто опубликовать их полный список с указанием кодов. В письме, которое я получила в февра­ле, было написано «По рекоменда­ции экспертного совета Российского научного фонда (далее — Фонд) приглашаем Вас к участию в экс­пертизе проектов…» Вероятно, экспертный совет видит очень ограни­ченный круг специалистов. Ведь весь май РНФ криком кричал, что экспер­тов не хватает, хотя огромное число авторитетных и высококвалифициро­ванных ученых не удостоились приглашения. Принцип подбора, конеч­но, должен быть рекомендательным и/или основанным на экспертной истории, а раз он не сработал, зна­чит, неверно выбраны рекомендатели. И это совершенно не повод объ­являть, как сделано сейчас, «призыв экспертов-добровольцев» с планкой по числу статей — призыв нужно пре­кратить, а то еще хуже будет.

Затем необходимо скорректировать сроки экспертизы (при предлагаемом сейчас одному эксперту количестве проектов две недели — бессмысленно короткий срок). Для заявок на круп­ные проекты необходима обратная связь с авторами и двухступенчатая экспертиза, то есть сроки конкурсов должны быть еще больше.

Очень надеюсь на то, что коллеги, проводившие экспертизу для РНФ, тоже сформулируют свои впечатле­ния и сообщат о них как фонду, так и друг другу. При тиражировании пе­речисленных проблем в следующих конкурсах РНФ российская грантовая система обречена на имитацию экс­пертизы, и все мы уже вынужденно поспособствовали движению в этом направлении. Это наша общая вина, и не надо утешать себя поговоркой про первый блин — все последующие бли­ны тоже будут комом, если мы сейчас продолжим обсуждать итоги конкур­сов РНФ на форумах и в ЖЖ, а не там, где принимаются решения.

1. www.rscf.ru/fonddocs

Подписаться
Уведомление о
guest

73 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
СК
СК
10 года (лет) назад

Надо поблагодарить Галину Александровну за то, что он дала толчок к очень важной дискуссии об экспертизе. У многих это в душе тоже свербело, но не решались, хранили молчание, сидели в своих «норах». Все в нашем мире ветшает, и, как говорится, «замыливается». Это относится и к экспертизе. Революционная экспертиза, двадцать лет назад примененная в РФФИ, уже тоже состарилась и, не сказать, чтобы сегодня является эффективной. Под стать ей «рффишные» гранты. И вот государство еще раз решило «полить» деньгами «научное поле», чтобы что-то там начало расти и «колоситься». Величина гранта приятно удивила. Еще больше удивила активность ученых. Это же надо написали столько предложений! Значит живы еще! Вот тут бы все разделить по справедливости. Достоин – получай! Впопыхах применили почти рффишную экспертизу. «Вопросник» мало чем отличается. Да и эксперты оттуда же. А откуда взять других? Поручить «делить» чиновникам, как в ФЦП? Нет, лучше первое. Соблюсти справедливость при таком высоком конкурсе практически невозможно, однако экспертизу «поднастроить» следует. Одиозные и не совсем добросовестно работающие эксперты встречаются не редко. После них только разговоры, а дела мало. Какие меры по настройке экспертизы видятся актуальными? 1. Надо увеличить количество экспертных заключений. Скажу как эксперт, и тысячи хватит за экспертизу такого проекта. Не такие уж они великие эти проекты. РФФИ платит меньше. И не стонем, же. Это — не заработок, а поощрение. Зато количество заключений можно значительно увеличить. Конечно, это можно также достигнуть путем увеличения денег на экспертизу. Более дешевый способ — повторная экспертиза для спорных проектов. Для этого потребуется дополнительная неделя в графике конкурса. 2. Отсекать оценки, отличающиеся от средней на 25-30% (цифра для дискуссии). 3. Вести статистику по попаданию эксперта за рамки средней оценки. И этим регулировать частоту обращения к специалисту за экспертизой. Эксперт должен знать и помнить, что качество его работы тоже оценивается. 4. Составить пример ожидаемых ответов по задаваемым вопросам. Для этого можно воспользоваться… Подробнее »

Тимофей
Тимофей
10 года (лет) назад
В ответ на:  СК

Копаетесь палочкой в песочнице!
Не замечая, что в ней гадит все кому не лень.

Иванов К.
Иванов К.
10 года (лет) назад

Я поздравляю коллег получивших гранты РНФ, хотя не могу не отметить, что (будем так говорить) «центры влияния» в параде победителей хорошо просматриваются. Мной тоже был подан в РНФ проект «Фундамент Западно-Сибирского нефтегазоносного мегабассейна: геодинамическая история, оценка перспектив нефтегазоносности» (оценки 81, 108, 82). Все 3 эксперта (СПАСИБО ВАМ!) на словах высоко оценили проект и рекомендовали его поддержать. Было высказано 2 замечания, которые вероятно и привели (судя по статье Г. Цирлиной) к снижению оценок некоей таинственной промежуточной инстанцией в РНФ до 81 и 82 баллов и итоговой не поддержке моего проекта. Хотя с этими замечаниями (якобы отсутствие у меня аспирантов и опыта руководства проектами) я согласиться никак не могу. Аспирантов у меня, как у дурака фантиков – 6 человек под моим руководством защитили в последние годы кандидатские, и еще столько же их пишут. По поводу «отсутствия опыта руководства проектами» – еще смешнее. С 1991 г. мной со товарищи (1-2 помощниками) было подано в различные фонды (министерства, ведомства, компании и пр.) около 500 проектов. Чуть менее 150 из них получили хоть какие то деньги. Во всех этих финансировавшихся проектах я был фактическим руководителем, а примерно в половине – и официальным. Ни один из этих проектов не был провален, а подавляющее большинство были очень даже успешными. И это – «недостаточный опыт руководства проектами»? Считать ли эти проекты как того требует РНФ «значимыми»? А где критерии!? Я, ясен перец, считаю. И любой ученый любой свой проект, тем более выигравший финансирование, таковым считал, считает, и будет считать. Признаю, конечно, что не «атомный проект» и не запуск Юрия Гагарина. Опять же и всяко не из последних, особенно с учетом того, что нефть в России при таких темпах добычи к 2025 году будет покончаться…Можно, например, по поднятым деньгам пробовать судить (у меня — от стандартно малобюджетных РФФИ и др. и до 63 миллионов), но ясно что финансы… Подробнее »

Denny
Denny
10 года (лет) назад
В ответ на:  Иванов К.

Эх, вспомнили благословенные 90-е с массовым ростом и поддержкой изрядного процента грантов. Те времена прошли. Такая небедная организация как NIH по некоторым панелям поддерживает не более 10% заявок. Но старается держать марку и не размазывать финансирование тонким слоем. Размазывание денег по множеству проектов — сугубо порочная тактика. Серьезная работа требует серьезных затрат. Иначе она просто не может быть реализована. В результате размазывания ни одна из групп своих идей реализовать не сможет.

На самом деле ситуация РНФ этого года проста. Туда написали почти все, кто вообще писать умеет. В надежде проскочить и срубить. Денежки-то по нашим меркам немаленькие. В следующий раз многие, надеюсь, поймут, что это просто не их уровень. А ведь количество грантов было объявлено заранее.

Нобелевских премий тоже дают безобразно мало. И нет совершенно никаких гарантий, что работа, получившая нобелевку, действительно лучше той, что пролетела мимо. Будем выдавать больше маленьких нобелевских премий? На сколько предлагаете разделить?

VLadimirKox
10 года (лет) назад
В ответ на:  Иванов К.

Т.е. механические часики с 98% шестеренок ходить — не будут, а научный проект, с произвольно урезанным финансированием, — пойдет? Пожалуйста, не надо таких сюрпризов.

trackback

[…] По словам Базыкина, есть вопросы к процедуре экспертизы. «Эксперту приходилось заполнять анкету с многими не имеющими отношения к сути дела вопросами — и эта анкета потом, похоже, «за кадром» автоматически переводилась в число баллов за проект. Если эти баллы использовались затем напрямую для ранжирования проектов — это, конечно, чудовищно. Я большой сторонник формальных показателей, но, господа, нельзя же складывать баллы за уровень научных публикаций с баллами за преподавание; ученый, например, может не преподавать по самым разным причинам — это не должно автоматически приводить к снижению баллов за заявку. Подробнее об этом — в статье Галины Цирлиной в газете «Троицкий вариант &m…. […]

пипеткин
пипеткин
10 года (лет) назад

согласен с алкоголиком, как не странно….
Никогда не думал, что найду взаимопонимание с этим классом людей.

mrn
mrn
10 года (лет) назад

Проект по нейробиологии. Баллы 90, 92, 102, все рецензии прекрасные. Денег не дали, сославшись на то, что «руководитель проекта работает за границей». Практически то же самое по проекту новых лабораторий

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...