Проекту «Корпус экспертов по естественным наукам» [1] вскоре исполнится восемь лет. Все эти годы «Индексы цитирования работ российских ученых» (известные также как «Списки Штерна») [2], размещенные с 2009 года на сайте проекта, привлекали, пожалуй, больше внимания, чем собственно формирование экспертного корпуса.
Алгоритм опроса специалистов из «Списков Штерна» с приглашением в корпус экспертов людей, вызывающих доверие сообщества и потому многократно названных рекомендателями, хорошо работает для крупных цельных научных направлений, в которых сохранились устойчивые внутренние традиции. Наиболее результативными (и в смысле формирования пула экспертов, и в смысле их дальнейшего участия в различных экспертных задачах) были опросы по физике конденсированного состояния, молекулярной и клеточной биологии, астрономии. Значительно менее активно участвовали в опросах представители других наук, и часто не удавалось выбрать заметное число экспертов просто из-за небольшого числа рекомендаций в каждой анкете. Одной из важных проблем этого «недобора», безусловно, была и неполнота «Списков Штерна» в части некоторых наук.
Рабочая группа использовала разнообразные способы пополнения списков цитирования. Наиболее последовательный, хотя и чрезвычайно трудоемкий способ с 2013 года в инициативном порядке реализует консультант проекта Сергей Крашаков. Он извлекает из РИНЦ (то есть фактически из коллективного списка отделов кадров всех научных организаций) фамилии специалистов, у которых, согласно этому РИНЦ, имеется заметное цитирование, и проверяет данные по Web of Science (WoS). В ряде случаев оказывается, что найденные таким образом специалисты отсутствуют в «Списках Штерна», хотя и соответствуют принятым в них критериям. После этого новые фамилии немедленно выводятся в списки.
С 2014 года в списки цитирования выводятся также и представители диаспоры. Было только два случая отказа от публикации имени в этих списках: один представитель диаспоры не хотел иметь ничего общего с российским ресурсом, и один работающий в РФ специалист был глубоко возмущен невозможностью вывести вместо данных WoS более высокий индекс цитирования по Google Scholar. Сейчас в списках в четыре раза больше специалистов, чем было при переводе ресурса с scientifc.ru на expertcorps.ru в 2009-м. И, как мы надеемся, шансы на формирование более широкого экспертного корпуса появились.
В апреле 2015 года в рамках проекта «Корпус экспертов по естественным наукам» был начат большой опрос всех специалистов, входящих в «Списки Штерна». Цель опроса — существенно расширить списки экспертов и обеспечить «охват» ими как можно большего числа научных областей в ожидании массированной оценки научных организаций.
После летнего перерыва с 5 сентября опрос продолжается. В каждой рассылке направляется около 500 писем рекомендателям в порядке их включения в списки цитирования. Пока ответивших немногим более 30%. Рабочая группа проекта «Корпус экспертов» обращает внимание коллег на то, что не слишком большие затраты времени на заполнение анкеты могут вполне реально повлиять на последствия оценки институтов, способствуя обеспечению квалифицированной экспертизы. Это, конечно, не избавит нас от законодательно зафиксированного подсчета «формальных показателей», но может существенно ослабить его негативные последствия.
У коллег, получивших письма с просьбой заполнить анкеты, возникает много вопросов, комментариев и предложений. Недавно, например, поступило предложение «не изобретать кривой велосипед с квадратными колесами» и использовать для оценки институтов два критерия: «а) стоимость единицы импакт-фактора и б) стоимость единицы цитирования опубликованных работ». И поступило оно вовсе не из Минобрнауки. Мы отдаем себе отчет в том, что далеко не все цитируемые специалисты являются сторонниками экспертной оценки вообще, а многие не являются сторонниками алгоритма выбора экспертов, используемого в данном проекте. Безусловно, могут быть независимо реализованы и какие-то иные алгоритмы. Однако они пока что никем даже не проработаны, а время и «реформа науки» движутся вполне необратимо.
От рабочей группы проекта «Корпус экспертов по естественным наукам» Михаил Гельфанд, Михаил Фейгельман, Галина Цирлина
2. http://expertcorps.ru/science/whoiswho