ТрВ-Наука продолжает публиковать развернутые мнения ученых о первом конкурсе Российского научного фонда по проведению фундаментальных и поисковых исследований отдельными научными группами.
Получилось совершенно как всегда, по крайней мере в части химии и наук о материалах. Среди поддержанных есть достойные руководители проектов, но их не сразу заметишь на фоне привычного химического политбюро. Наиболее одиозные личности видны по названиям проектов в стиле «Создание <разработка> научных <физико-химических> основ…». Не столь явно одиозные, а также директорско-академические приближенные заметны по более тонким признакам. Особенно впечатляют ИОНХ и ИФХЭ. Как будто звонили директорам и спрашивали — кого изволите поддержать? А может, интуитивно угадали, или просто дурная привычка. Эти нюансы, впрочем, не существенны в разговоре об экспертизе, решающей две задачи: чтобы ни один недостойный проект не оказался поддержан, а ни один достойный не был отвергнут. Иное есть нарушение профессиональной морали и нецелевое расходование госсредств.
Мне ужасно стыдно. Я лично виновата в том, что получилось в результате первого конкурса РНФ, и столь же лично виноваты все эксперты и члены экспертного совета. Никто ведь не завопил своевременно о том, что уже в первых конкурсах РНФ допущено грубейшее нарушение зафиксированного в документах порядка экспертизы. Или, может быть, кто-то вопил шепотом.
…Какими мы были наивными…
Надо было, черт возьми, до последнего слова читать все бумаги — какими бы бюрократическими они ни были. Если бы я с самого начала, несмотря на свалившуюся гору проектов и срок в 2 недели, внимательно читала документ «Порядок проведения экспертизы научных, научно-технических программ и проектов, представленных на конкурс российского научного фонда» [1] … Там в п.12 написано «…В оценках экспертов Фонда используется балльная система». А в экспертных анкетах не было никаких баллов — лишь предоставлялась возможность выбрать тот или иной заранее фиксированный вариант ответа. Довольно часто ни один из предлагаемых вариантов не соответствовал ситуации, и приходилось в текстовых окнах писать комментарий. И откуда в моем возрасте такая наивность? — думала, что раз просят написать про каждый пункт «до 1 страницы», то написанное как-то учтут… Об эквивалентности выбранных пунктов тому или иному числу баллов и об учете в балльной оценке комментариев (часто вынужденных) я спросила только в конце мая, направив на безликие адреса @rscf.ru довольно обширное письмо с разбором недостатков анкет двух первых конкурсов.
Даже получение этого письма до сих пор не подтвердили, несмотря на повторную его отправку. Зато прислали на экспертизу проект третьего конкурса — пришлось от него отказаться и воспользоваться окошком для объяснения причин отказа, чтобы в очередной раз попросить ответить на вопросы…
Кто бы ни ставил баллы за экспертов — человек или автомат, — нарушение совершенно очевидно, и все мы его прошляпили.
Коды есть — а координаторов-то нет
С экспертами взаимодействует какой-то коллективный разум, явно не развившийся еще до уровня ответов на нестандартные вопросы. Или просто автомат (технически, следует признать, сделанный очень прилично). И пытается назначать экспертов путем сопоставления кодов проектов и экспертов. А коды — из классификатора РНФ, каковой есть откровенная компиляция на основе далеко не современных источников. Степень дробности для разных разделов совершенно разная, ряд формулировок допускает двойное толкование.
В физической химии (03-400) образовались совершенно немыслимые сочетания «03-405 Наноструктуры и кластеры. Супрамолекулярная химия. Коллоидные системы» или «03-406 Химическая термодинамика. Физическая химия поверхности и межфазных границ. Адсорбция». При моторном способе подбора адекватные эксперты отказываются от многих предложенных им проектов из-за несовпадения специализации, а неадекватные эксперты лихо рецензируют какие угодно проекты в сжатые сроки.
Физической химии еще, пожалуй, повезло — пусть устройство ее не понято, но хоть право на существование признано. А вот, например, атомной физики в классификаторе вовсе нет- хотя в России она очень даже есть, и во всем мире является сейчас бурно развивающейся областью, с регулярными нобелевскими результатами. Такие пенки получаются, если свой экспертный совет фонд собирает по статусным признакам, а не по очевидному принципу равномерной представительности специализаций. Но там же есть, среди статусных, вполне достойные профессионалы… что б им не пригласить профильных координаторов для разбора завалов?
Google как инструмент научной экспертизы
Анкета эксперта включает подпункты, выбор которых в принципе невозможен на основании сведений из заявки. Ответы требуют в буквальном смысле следственно-разыскной работы. Даже тщательный эксперт далеко не всегда может найти нужную информацию в открытых источниках. В то же время невозможно просто пропустить какой-либо пункт: чтобы завершить экспертизу, приходится выбирать вариант «…или информации недостаточно для оценки», который явно отвечает самому низкому (возможно, нулевому) баллу. Вот, например, какая конструкция:
1.3. Наличие опыта руководства и выполнения научных проектов.
Руководитель за последние 5 лет имеет опыт успешного руководства:
- несколькими значимыми научно- исследовательскими проектами,
- одним значимым научно-исследовательским проектом,
- не осуществлял научного руководства проектами, или достаточная для оценки информация отсутствует.
В соответствующих пунктах заявки перечисляются проекты, но не предусмотрено никаких сведений об их содержании и результативности («успешности»). Поэтому приходится искать Acknowledgements в статьях, отчеты на сайтах фондов и организаций, а также просто использовать Google. Приведу пример результатов такого розыска по одному из направленных мне проектов (цитата из экспертного заключения):
«Легко убедиться, что указанным в заявке проектом МНТЦ руководил представитель <совсем другого> института N <сетевая ссылка>. На вебстранице, посвященной участию в проекте Института NN <сетевая ссылка>, какие-либо конкретные сведения о роли этого соисполнителя отсутствуют (пустые поля). Фамилия руководителя рецензируемого проекта> нигде не упоминается. Руководителем проекта РФФИ № NNN является <другой человек>, а не <руководитель рецензируемого проекта> <сетевая ссылка>. Сравнивая содержание отчета по проекту
РФФИ № NNNN <сетевая ссылка> (руководителем которого действительно был руководитель рецензируемого проекта>) со списком статей авторов заявки по Scopus, можно найти две публикации по результатам этого проекта РФФИ, на основании чего условно признать его успешным».
Не искать нельзя — уровень наших заявителей, увы, таков, что привирают нередко… К сожалению, даже Google не скажет, что такое тут «значимый» — имеется в виду объем, статус фонда, значимость результатов (о которой нет сведений) или?.. кроме того, варианты ответов предполагают почему-то только или успешное руководство — или отсутствие проектов. Казалось бы, куда важнее обоснованно определить, сколько было проектов, руководство которыми не было успешным. Или они это вычитанием выясняют?
С оценкой реального вклада в образование дело обстоит еще хуже. Варианты ответов с подсказками в п.1.4 анкеты совершенно не учитывают специфики сопряжения научной и образовательной работы:
- активно участвует в образовательной деятельности (руководит несколькими аспирантами, разрабатывает и читает новые образовательные курсы в российских и зарубежных вузах),
- участвует в образовательной деятельности (руководит одним-двумя аспирантами и читает новый образовательный курс в российских и зарубежных вузах),
- руководит несколькими аспирантами или читает новый образовательный курс,
- участвует в образовательной деятельности в незначительной степени, или достаточная для оценки информация отсутствует.
Первой формулировке фактически удовлетворяют только имитаторы- администраторы, часто приписанные сразу к нескольким вузам и кафедрам и осуществляющие «номинальное» руководство аспирантами. Научный работник обычно не может тянуть более одного курса, тем более нового. И почему, кстати, речь идет только о новых курсах? Традиционные фундаментальные курсы и спецкурсы в исполнении действующих ученых ничуть не менее важны. А ключевая функция руководства дипломными работами, трудоемкое проведение семинаров и практикумов попадают в последний пункт вместе с «недостатком информации» (и, возможно, оцениваются нулевым баллом). Если фонду важно оценить вклад в образование, не проще ли сразу попросить указать открытые сетевые ресурсы? Вопреки распространенной российской практике полагаю, что в современном образовании отсутствие таких ресурсов просто сразу означает отрицательную оценку (хотя их наличие вовсе не гарантирует положительную).
На выходе имеем два крайних случая: несправедливое занижение оценки заявителей, которые могли бы предоставить нужную информацию при наличии соответствующих требований в форме заявки, или несправедливое завышение оценки экспертами, не тратившими времени на проверку и руководствовавшимися просто числом указанных проектов или читаемых курсов.
Зато мы делаем ракеты
Не буду расходовать газетную площадь для подробного разбора разделов «Научная обоснованность проекта» и «Значимость результатов». Там есть проблемы разной степени тяжести. Наиболее бездарно, по моим наблюдениям, заявители излагают «Современное состояние исследований по тематике проекта», зато очень бодро заполняют анекдотический пункт заявки «Основные мировые научные конкуренты»… IBM, General Motors и BASF уже просто дрожат от числа российских конкурентов, можно дальше их не пугать, а пункты эти слить и переформулировать так, чтобы современное состояние дел отражалось со ссылками на ключевые работы и эксперт оценивал бы не болтовню, а конкретику. Это помогло бы минимизировать стресс при переходе к пункту 3.1:
Запланированные результаты проекта:
- имеют высокую значимость для мировой науки,
- имеют высокую значимость для российской науки, значимость для мировой науки ограничена,
- имеют ограниченную значимость для российской науки,
- не будут востребованы, или информации недостаточно для оценки.
Варианты ответов явно намекают на второсортность российской науки, а может, написаны и в расчете на поддержку спецтематики. Если речь идет о результатах, важных для региона, то это вопрос не о российской науке, а о региональной специфике объекта исследования. Классифицировать значимость можно по масштабу результата, по его возможному влиянию на дальнейшее развитие, но безусловно не по национальному признаку. Как-то выразив эти простые соображения в комментарии (до 1 страницы, которые потом, видимо, никто не читает), эксперт нарывается на пункт
3.2. Возможность практического использования запланированных результатов осуществления проекта в экономике и социальной сфере.
Этого нельзя учитывать при сравнительной оценке проектов! — поскольку в большой части проектов фундаментального характера никакого практического использования в ближней перспективе быть не может и не должно. Сама постановка вопроса провоцирует голословные заявления. В конце списка вариантов ответов (видимо, как негативная оценка):
- востребованность российской экономикой или социальной сферой не очевидна.
Но ведь эта же формулировка строго применима как раз к разработкам очень высокого уровня, которые в России не могут быть востребованы из-за низкого уровня технологического развития. Не поддерживать проекты, результаты которых переросли российский технологический стандарт — это самый безнадежный тупик. В анкете нет никаких вариантов ответов, позволяющих обозначить и позитивно оценить эту нередкую ситуацию.
Не комментирую подробно 3.3. Обязательства по количеству и качеству публикаций — нелепость, глубоко проникшую в документы фонда. План по валу может быть выполнен многими коллективами, и с большой вероятностью — в ущерб качеству. Куда полезнее было бы попросить у авторов примерный тематический план публикаций, который действительно может быть объектом экспертной оценки — а иначе мы оцениваем шустрость, а не квалификацию. Валовые показатели предлагается оценивать и в разделе 3.4 Обязательства по привлечению к работе по проекту молодых исследователей, хотя ответ следует просто из анкетных данных в заявке, и его вполне могут получить клерки. И никаких вариантов ответа по существу — то есть о функциях молодежи в проекте. Есть ли для них хорошие задачи, разумный план работы, продумано ли руководство их работой, или они «вписаны» в проект и будут в лучшем случае привлекаться для лаборантских операций? — соображения по этому поводу опять попадают в коментарий…
Экспертная анкета РИФ пригодна для отсечения совсем безграмотных проектов. Однако она категорически не позволяет отличить сильный современный проект не только от среднего, но даже и от «ниже среднего» по уровню. Так возникает дыра, через которую без напряга пролезает привычное «как всегда».
Как латать дыру
Сомневаюсь что получится, но пытаться надо. Всё равно же РНФ не закроют.
Прежде всего, для сохранения хоть какой-то репутации фонда необходимо опубликовать не только аннотации и ожидаемые результаты всех поддержанных проектов (хорошо, что это наконец сделано, хотя и гораздо позже объявления результатов конкурса), но и списки исполнителей. Возможно, это увеличит уверенность в том, что в ряде случаев работа действительно может быть сделана, несмотря на некомпетентность руководителя. Убедит нас в том, что проект составлен квалифицированными людьми, остающимися пока за кадром. К сожалению, даже выборочный просмотр аннотаций показывает, что не все «высокопоставленные» проекты составлены таким образом.
Одновременно нужно в срочном порядке скорректировать экспертную анкету и снабдить ее баллами, твердо сформулировав принцип использования этих баллов при принятии решения. И немедленно заменить классификатор.
Нужно также понять, кто эксперты, лучше всего просто опубликовать их полный список с указанием кодов. В письме, которое я получила в феврале, было написано «По рекомендации экспертного совета Российского научного фонда (далее — Фонд) приглашаем Вас к участию в экспертизе проектов…» Вероятно, экспертный совет видит очень ограниченный круг специалистов. Ведь весь май РНФ криком кричал, что экспертов не хватает, хотя огромное число авторитетных и высококвалифицированных ученых не удостоились приглашения. Принцип подбора, конечно, должен быть рекомендательным и/или основанным на экспертной истории, а раз он не сработал, значит, неверно выбраны рекомендатели. И это совершенно не повод объявлять, как сделано сейчас, «призыв экспертов-добровольцев» с планкой по числу статей — призыв нужно прекратить, а то еще хуже будет.
Затем необходимо скорректировать сроки экспертизы (при предлагаемом сейчас одному эксперту количестве проектов две недели — бессмысленно короткий срок). Для заявок на крупные проекты необходима обратная связь с авторами и двухступенчатая экспертиза, то есть сроки конкурсов должны быть еще больше.
Очень надеюсь на то, что коллеги, проводившие экспертизу для РНФ, тоже сформулируют свои впечатления и сообщат о них как фонду, так и друг другу. При тиражировании перечисленных проблем в следующих конкурсах РНФ российская грантовая система обречена на имитацию экспертизы, и все мы уже вынужденно поспособствовали движению в этом направлении. Это наша общая вина, и не надо утешать себя поговоркой про первый блин — все последующие блины тоже будут комом, если мы сейчас продолжим обсуждать итоги конкурсов РНФ на форумах и в ЖЖ, а не там, где принимаются решения.
Надо поблагодарить Галину Александровну за то, что он дала толчок к очень важной дискуссии об экспертизе. У многих это в душе тоже свербело, но не решались, хранили молчание, сидели в своих «норах». Все в нашем мире ветшает, и, как говорится, «замыливается». Это относится и к экспертизе. Революционная экспертиза, двадцать лет назад примененная в РФФИ, уже тоже состарилась и, не сказать, чтобы сегодня является эффективной. Под стать ей «рффишные» гранты. И вот государство еще раз решило «полить» деньгами «научное поле», чтобы что-то там начало расти и «колоситься». Величина гранта приятно удивила. Еще больше удивила активность ученых. Это же надо написали столько предложений! Значит живы еще! Вот тут бы все разделить по справедливости. Достоин – получай! Впопыхах применили почти рффишную экспертизу. «Вопросник» мало чем отличается. Да и эксперты оттуда же. А откуда взять других? Поручить «делить» чиновникам, как в ФЦП? Нет, лучше первое. Соблюсти справедливость при таком высоком конкурсе практически невозможно, однако экспертизу «поднастроить» следует. Одиозные и не совсем добросовестно работающие эксперты встречаются не редко. После них только разговоры, а дела мало. Какие меры по настройке экспертизы видятся актуальными? 1. Надо увеличить количество экспертных заключений. Скажу как эксперт, и тысячи хватит за экспертизу такого проекта. Не такие уж они великие эти проекты. РФФИ платит меньше. И не стонем, же. Это — не заработок, а поощрение. Зато количество заключений можно значительно увеличить. Конечно, это можно также достигнуть путем увеличения денег на экспертизу. Более дешевый способ — повторная экспертиза для спорных проектов. Для этого потребуется дополнительная неделя в графике конкурса. 2. Отсекать оценки, отличающиеся от средней на 25-30% (цифра для дискуссии). 3. Вести статистику по попаданию эксперта за рамки средней оценки. И этим регулировать частоту обращения к специалисту за экспертизой. Эксперт должен знать и помнить, что качество его работы тоже оценивается. 4. Составить пример ожидаемых ответов по задаваемым вопросам. Для этого можно воспользоваться… Подробнее »
Копаетесь палочкой в песочнице!
Не замечая, что в ней гадит все кому не лень.
Я поздравляю коллег получивших гранты РНФ, хотя не могу не отметить, что (будем так говорить) «центры влияния» в параде победителей хорошо просматриваются. Мной тоже был подан в РНФ проект «Фундамент Западно-Сибирского нефтегазоносного мегабассейна: геодинамическая история, оценка перспектив нефтегазоносности» (оценки 81, 108, 82). Все 3 эксперта (СПАСИБО ВАМ!) на словах высоко оценили проект и рекомендовали его поддержать. Было высказано 2 замечания, которые вероятно и привели (судя по статье Г. Цирлиной) к снижению оценок некоей таинственной промежуточной инстанцией в РНФ до 81 и 82 баллов и итоговой не поддержке моего проекта. Хотя с этими замечаниями (якобы отсутствие у меня аспирантов и опыта руководства проектами) я согласиться никак не могу. Аспирантов у меня, как у дурака фантиков – 6 человек под моим руководством защитили в последние годы кандидатские, и еще столько же их пишут. По поводу «отсутствия опыта руководства проектами» – еще смешнее. С 1991 г. мной со товарищи (1-2 помощниками) было подано в различные фонды (министерства, ведомства, компании и пр.) около 500 проектов. Чуть менее 150 из них получили хоть какие то деньги. Во всех этих финансировавшихся проектах я был фактическим руководителем, а примерно в половине – и официальным. Ни один из этих проектов не был провален, а подавляющее большинство были очень даже успешными. И это – «недостаточный опыт руководства проектами»? Считать ли эти проекты как того требует РНФ «значимыми»? А где критерии!? Я, ясен перец, считаю. И любой ученый любой свой проект, тем более выигравший финансирование, таковым считал, считает, и будет считать. Признаю, конечно, что не «атомный проект» и не запуск Юрия Гагарина. Опять же и всяко не из последних, особенно с учетом того, что нефть в России при таких темпах добычи к 2025 году будет покончаться…Можно, например, по поднятым деньгам пробовать судить (у меня — от стандартно малобюджетных РФФИ и др. и до 63 миллионов), но ясно что финансы… Подробнее »
Эх, вспомнили благословенные 90-е с массовым ростом и поддержкой изрядного процента грантов. Те времена прошли. Такая небедная организация как NIH по некоторым панелям поддерживает не более 10% заявок. Но старается держать марку и не размазывать финансирование тонким слоем. Размазывание денег по множеству проектов — сугубо порочная тактика. Серьезная работа требует серьезных затрат. Иначе она просто не может быть реализована. В результате размазывания ни одна из групп своих идей реализовать не сможет.
На самом деле ситуация РНФ этого года проста. Туда написали почти все, кто вообще писать умеет. В надежде проскочить и срубить. Денежки-то по нашим меркам немаленькие. В следующий раз многие, надеюсь, поймут, что это просто не их уровень. А ведь количество грантов было объявлено заранее.
Нобелевских премий тоже дают безобразно мало. И нет совершенно никаких гарантий, что работа, получившая нобелевку, действительно лучше той, что пролетела мимо. Будем выдавать больше маленьких нобелевских премий? На сколько предлагаете разделить?
Т.е. механические часики с 98% шестеренок ходить — не будут, а научный проект, с произвольно урезанным финансированием, — пойдет? Пожалуйста, не надо таких сюрпризов.
[…] По словам Базыкина, есть вопросы к процедуре экспертизы. «Эксперту приходилось заполнять анкету с многими не имеющими отношения к сути дела вопросами — и эта анкета потом, похоже, «за кадром» автоматически переводилась в число баллов за проект. Если эти баллы использовались затем напрямую для ранжирования проектов — это, конечно, чудовищно. Я большой сторонник формальных показателей, но, господа, нельзя же складывать баллы за уровень научных публикаций с баллами за преподавание; ученый, например, может не преподавать по самым разным причинам — это не должно автоматически приводить к снижению баллов за заявку. Подробнее об этом — в статье Галины Цирлиной в газете «Троицкий вариант &m…. […]
согласен с алкоголиком, как не странно….
Никогда не думал, что найду взаимопонимание с этим классом людей.
Проект по нейробиологии. Баллы 90, 92, 102, все рецензии прекрасные. Денег не дали, сославшись на то, что «руководитель проекта работает за границей». Практически то же самое по проекту новых лабораторий