ТрВ-Наука продолжает публиковать развернутые мнения ученых о первом конкурсе Российского научного фонда по проведению фундаментальных и поисковых исследований отдельными научными группами.

Получилось совершенно как всегда, по крайней мере в ча­сти химии и наук о материалах. Среди поддержанных есть достойные руководители проектов, но их не сра­зу заметишь на фоне привычного хи­мического политбюро. Наиболее оди­озные личности видны по названиям проектов в стиле «Создание <разра­ботка> научных <физико-химических> основ…». Не столь явно одиозные, а также директорско-академические приближенные заметны по более тон­ким признакам. Особенно впечатляют ИОНХ и ИФХЭ. Как будто звонили ди­ректорам и спрашивали – кого изво­лите поддержать? А может, интуитивно угадали, или просто дурная привычка. Эти нюансы, впрочем, не существенны в разговоре об экспертизе, решающей две задачи: чтобы ни один недостой­ный проект не оказался поддержан, а ни один достойный не был отвергнут. Иное есть нарушение профессиональ­ной морали и нецелевое расходова­ние госсредств.

Мне ужасно стыдно. Я лично вино­вата в том, что получилось в резуль­тате первого конкурса РНФ, и столь же лично виноваты все эксперты и члены экспертного совета. Никто ведь не завопил своевременно о том, что уже в первых конкурсах РНФ допу­щено грубейшее нарушение зафик­сированного в документах порядка экспертизы. Или, может быть, кто-то вопил шепотом.

…Какими мы были наивными…

Надо было, черт возьми, до послед­него слова читать все бумаги – каки­ми бы бюрократическими они ни были. Если бы я с самого начала, несмотря на свалившуюся гору проектов и срок в 2 недели, внимательно читала доку­мент «Порядок проведения экспер­тизы научных, научно-технических программ и проектов, представлен­ных на конкурс российского науч­ного фонда» [1] … Там в п.12 напи­сано «…В оценках экспертов Фонда используется балльная система». А в экспертных анкетах не было никаких баллов – лишь предоставлялась воз­можность выбрать тот или иной зара­нее фиксированный вариант ответа. Довольно часто ни один из предла­гаемых вариантов не соответствовал ситуации, и приходилось в текстовых окнах писать комментарий. И откуда в моем возрасте такая наивность? – думала, что раз просят написать про каждый пункт «до 1 страницы», то на­писанное как-то учтут… Об эквива­лентности выбранных пунктов тому или иному числу баллов и об учете в балльной оценке комментариев (ча­сто вынужденных) я спросила только в конце мая, направив на безликие адреса @rscf.ru довольно обширное письмо с разбором недостатков ан­кет двух первых конкурсов.

Даже получение этого письма до сих пор не подтвердили, несмотря на повторную его отправку. Зато присла­ли на экспертизу проект третьего кон­курса – пришлось от него отказаться и воспользоваться окошком для объясне­ния причин отказа, чтобы в очередной раз попросить ответить на вопросы…

Кто бы ни ставил баллы за экспер­тов — человек или автомат, — нару­шение совершенно очевидно, и все мы его прошляпили.

Коды есть — а координаторов-то нет

С экспертами взаимодействует какой-то коллективный разум, явно не развившийся еще до уровня отве­тов на нестандартные вопросы. Или просто автомат (технически, следует признать, сделанный очень прилич­но). И пытается назначать экспертов путем сопоставления кодов проек­тов и экспертов. А коды – из класси­фикатора РНФ, каковой есть откро­венная компиляция на основе далеко не современных источников. Степень дробности для разных разделов со­вершенно разная, ряд формулиро­вок допускает двойное толкование.

В физической химии (03-400) обра­зовались совершенно немыслимые сочетания «03-405 Наноструктуры и кластеры. Супрамолекулярная химия. Коллоидные системы» или «03-406 Хи­мическая термодинамика. Физическая химия поверхности и межфазных гра­ниц. Адсорбция». При моторном спо­собе подбора адекватные эксперты отказываются от многих предложен­ных им проектов из-за несовпадения специализации, а неадекватные экс­перты лихо рецензируют какие угод­но проекты в сжатые сроки.

Физической химии еще, пожалуй, повезло – пусть устройство ее не по­нято, но хоть право на существование признано. А вот, например, атомной физики в классификаторе вовсе нет- хотя в России она очень даже есть, и во всем мире является сейчас бур­но развивающейся областью, с ре­гулярными нобелевскими результа­тами. Такие пенки получаются, если свой экспертный совет фонд собира­ет по статусным признакам, а не по очевидному принципу равномерной представительности специализаций. Но там же есть, среди статусных, впол­не достойные профессионалы… что б им не пригласить профильных ко­ординаторов для разбора завалов?

Google как инструмент научной экспертизы

Анкета эксперта включает подпун­кты, выбор которых в принципе не­возможен на основании сведений из заявки. Ответы требуют в буквальном смысле следственно-разыскной ра­боты. Даже тщательный эксперт да­леко не всегда может найти нужную информацию в открытых источниках. В то же время невозможно просто пропустить какой-либо пункт: чтобы завершить экспертизу, приходится вы­бирать вариант «…или информации недостаточно для оценки», который явно отвечает самому низкому (воз­можно, нулевому) баллу. Вот, напри­мер, какая конструкция:

1.3. Наличие опыта руководства и выполнения научных проектов.

Руководитель за последние 5 лет имеет опыт успешного руководства:

• несколькими значимыми научно- исследовательскими проектами,
• одним значимым научно-иссле­довательским проектом,
• не осуществлял научного руковод­ства проектами, или достаточная для оценки информация отсутствует.

В соответствующих пунктах за­явки перечисляются проекты, но не предусмотрено никаких сведений об их содержании и результативности («успешности»). Поэтому приходится искать Acknowledgements в статьях, отчеты на сайтах фондов и органи­заций, а также просто использовать Google. Приведу пример результатов такого розыска по одному из направ­ленных мне проектов (цитата из экс­пертного заключения):

«Легко убедиться, что указанным в заявке проектом МНТЦ руководил представитель <совсем другого> ин­ститута N <сетевая ссылка>. На веб­странице, посвященной участию в про­екте Института NN <сетевая ссылка>, какие-либо конкретные сведения о роли этого соисполнителя отсутствуют (пустые поля). Фамилия руководите­ля рецензируемого проекта> нигде не упоминается. Руководителем проекта РФФИ № NNN является <другой чело­век>, а не <руководитель рецензируе­мого проекта> <сетевая ссылка>. Срав­нивая содержание отчета по проекту

РФФИ № NNNN <сетевая ссылка> (ру­ководителем которого действитель­но был руководитель рецензируемого проекта>) со списком статей авторов заявки по Scopus, можно найти две пу­бликации по результатам этого про­екта РФФИ, на основании чего услов­но признать его успешным».

Не искать нельзя – уровень наших заявителей, увы, таков, что привирают нередко… К сожалению, даже Google не скажет, что такое тут «значимый» – имеется в виду объем, статус фонда, значимость результатов (о которой нет сведений) или?.. кроме того, вариан­ты ответов предполагают почему-то только или успешное руководство — или отсутствие проектов. Казалось бы, куда важнее обоснованно опре­делить, сколько было проектов, руко­водство которыми не было успешным. Или они это вычитанием выясняют?

С оценкой реального вклада в об­разование дело обстоит еще хуже. Варианты ответов с подсказками в п.1.4 анкеты совершенно не учиты­вают специфики сопряжения научной и образовательной работы:

• активно участвует в образователь­ной деятельности (руководит несколь­кими аспирантами, разрабатывает и читает новые образовательные кур­сы в российских и зарубежных вузах),
• участвует в образовательной де­ятельности (руководит одним-двумя аспирантами и читает новый обра­зовательный курс в российских и за­рубежных вузах),
• руководит несколькими аспиран­тами или читает новый образова­тельный курс,
• участвует в образовательной де­ятельности в незначительной сте­пени, или достаточная для оценки информация отсутствует.

Первой формулировке фактиче­ски удовлетворяют только имитаторы- администраторы, часто приписанные сразу к нескольким вузам и кафе­драм и осуществляющие «номиналь­ное» руководство аспирантами. Науч­ный работник обычно не может тянуть более одного курса, тем более ново­го. И почему, кстати, речь идет только о новых курсах? Традиционные фун­даментальные курсы и спецкурсы в исполнении действующих ученых ничуть не менее важны. А ключевая функция руководства дипломными ра­ботами, трудоемкое проведение семи­наров и практикумов попадают в по­следний пункт вместе с «недостатком информации» (и, возможно, оцени­ваются нулевым баллом). Если фонду важно оценить вклад в образование, не проще ли сразу попросить указать открытые сетевые ресурсы? Вопреки распространенной российской прак­тике полагаю, что в современном образовании отсутствие таких ресурсов просто сразу означает отрицательную оценку (хотя их наличие вовсе не гарантирует положительную).

На выходе имеем два крайних случая: несправедливое занижение оценки заявителей, которые могли бы предоставить нужную информа­цию при наличии соответствующих требований в форме заявки, или не­справедливое завышение оценки экс­пертами, не тратившими времени на проверку и руководствовавшимися просто числом указанных проектов или читаемых курсов.

Зато мы делаем ракеты

Не буду расходовать газетную пло­щадь для подробного разбора разде­лов «Научная обоснованность проек­та» и «Значимость результатов». Там есть проблемы разной степени тяже­сти. Наиболее бездарно, по моим наблюдениям, заявители излагают «Со­временное состояние исследований по тематике проекта», зато очень бодро заполняют анекдотический пункт заявки «Основные мировые научные конкуренты»… IBM, General Motors и BASF уже просто дрожат от числа рос­сийских конкурентов, можно дальше их не пугать, а пункты эти слить и переформулировать так, чтобы совре­менное состояние дел отражалось со ссылками на ключевые работы и эксперт оценивал бы не болтовню, а кон­кретику. Это помогло бы минимизиро­вать стресс при переходе к пункту 3.1:

Запланированные результаты проекта:

• имеют высокую значимость для мировой науки,
• имеют высокую значимость для российской науки, значимость для ми­ровой науки ограничена,
• имеют ограниченную значимость для российской науки,
• не будут востребованы, или ин­формации недостаточно для оценки.

Варианты ответов явно намекают на второсортность российской науки, а может, написаны и в расчете на поддержку спецтематики. Если речь идет о результатах, важных для региона, то это вопрос не о российской науке, а о региональной специфике объекта исследования. Классифицировать зна­чимость можно по масштабу резуль­тата, по его возможному влиянию на дальнейшее развитие, но безусловно не по национальному признаку. Как-то выразив эти простые соображения в комментарии (до 1 страницы, кото­рые потом, видимо, никто не читает), эксперт нарывается на пункт

3.2. Возможность практического использования запланированных ре­зультатов осуществления проек­та в экономике и социальной сфере.

Этого нельзя учитывать при срав­нительной оценке проектов! – поскольку в большой части проектов фундаментального характера ника­кого практического использования в ближней перспективе быть не может и не должно. Сама постановка вопро­са провоцирует голословные заявле­ния. В конце списка вариантов отве­тов (видимо, как негативная оценка):

• востребованность российской экономикой или социальной сферой не очевидна.

Но ведь эта же формулировка стро­го применима как раз к разработкам очень высокого уровня, которые в Рос­сии не могут быть востребованы из-за низкого уровня технологического развития. Не поддерживать проекты, результаты которых переросли рос­сийский технологический стандарт – это самый безнадежный тупик. В ан­кете нет никаких вариантов ответов, позволяющих обозначить и позитив­но оценить эту нередкую ситуацию.

Не комментирую подробно 3.3. Обя­зательства по количеству и качеству публикаций – нелепость, глубоко проникшую в документы фонда. План по валу может быть выполнен многими коллективами, и с большой вероятностью – в ущерб качеству. Куда по­лезнее было бы попросить у авторов примерный тематический план публи­каций, который действительно может быть объектом экспертной оценки – а иначе мы оцениваем шустрость, а не квалификацию. Валовые показатели предлагается оценивать и в разделе 3.4 Обязательства по привлечению к работе по проекту молодых исследо­вателей, хотя ответ следует просто из анкетных данных в заявке, и его впол­не могут получить клерки. И никаких вариантов ответа по существу — то есть о функциях молодежи в проекте. Есть ли для них хорошие задачи, разум­ный план работы, продумано ли руко­водство их работой, или они «вписа­ны» в проект и будут в лучшем случае привлекаться для лаборантских опе­раций? – соображения по этому по­воду опять попадают в коментарий…

Экспертная анкета РИФ пригодна для отсечения совсем безграмотных проектов. Однако она категорически не позволяет отличить сильный со­временный проект не только от сред­него, но даже и от «ниже среднего» по уровню. Так возникает дыра, че­рез которую без напряга пролезает привычное «как всегда».

Как латать дыру

Сомневаюсь что получится, но пытаться надо. Всё равно же РНФ не закроют.

Прежде всего, для сохранения хоть какой-то репутации фонда необходи­мо опубликовать не только аннотации и ожидаемые результаты всех поддержанных проектов (хорошо, что это наконец сделано, хотя и го­раздо позже объявления результатов конкурса), но и списки исполните­лей. Возможно, это увеличит уверен­ность в том, что в ряде случаев рабо­та действительно может быть сделана, несмотря на некомпетентность руко­водителя. Убедит нас в том, что про­ект составлен квалифицированными людьми, остающимися пока за кадром. К сожалению, даже выборочный про­смотр аннотаций показывает, что не все «высокопоставленные» проекты составлены таким образом.

Одновременно нужно в срочном порядке скорректировать эксперт­ную анкету и снабдить ее баллами, твердо сформулировав принцип ис­пользования этих баллов при при­нятии решения. И немедленно заменить классификатор.

Нужно также понять, кто эксперты, лучше всего просто опубликовать их полный список с указанием кодов. В письме, которое я получила в февра­ле, было написано «По рекоменда­ции экспертного совета Российского научного фонда (далее – Фонд) приглашаем Вас к участию в экс­пертизе проектов…» Вероятно, экспертный совет видит очень ограни­ченный круг специалистов. Ведь весь май РНФ криком кричал, что экспер­тов не хватает, хотя огромное число авторитетных и высококвалифициро­ванных ученых не удостоились приглашения. Принцип подбора, конеч­но, должен быть рекомендательным и/или основанным на экспертной истории, а раз он не сработал, зна­чит, неверно выбраны рекомендатели. И это совершенно не повод объ­являть, как сделано сейчас, «призыв экспертов-добровольцев» с планкой по числу статей – призыв нужно пре­кратить, а то еще хуже будет.

Затем необходимо скорректировать сроки экспертизы (при предлагаемом сейчас одному эксперту количестве проектов две недели – бессмысленно короткий срок). Для заявок на круп­ные проекты необходима обратная связь с авторами и двухступенчатая экспертиза, то есть сроки конкурсов должны быть еще больше.

Очень надеюсь на то, что коллеги, проводившие экспертизу для РНФ, тоже сформулируют свои впечатле­ния и сообщат о них как фонду, так и друг другу. При тиражировании пе­речисленных проблем в следующих конкурсах РНФ российская грантовая система обречена на имитацию экс­пертизы, и все мы уже вынужденно поспособствовали движению в этом направлении. Это наша общая вина, и не надо утешать себя поговоркой про первый блин – все последующие бли­ны тоже будут комом, если мы сейчас продолжим обсуждать итоги конкур­сов РНФ на форумах и в ЖЖ, а не там, где принимаются решения.

1. www.rscf.ru/fonddocs