От «списков Штерна» — к карте российской науки

Проекты «Корпус экспертов» и «Кто есть кто в российской науке» с 2010 г. функционируют совместно при поддержке фонда «Династия». Михаил Фейгельман и Галина Цирлина отвечают на вопросы ТрВ-Наука об обновлении списков цитирования на сайте проекта www.expertcorps.ru. Вопросы задавал Михаил Гельфанд.

Вы готовите вторую версию списков «Кто есть кто в российской науке», известных как «списки Штерна». Когда она будет готова, и что в ней нового?

От «списков Штерна» - к карте российской науки
Галина Цирлина

Г.Ц.: Мы надеемся, что полная версия списков 2010-2011 годов появится в апреле. Сохранены основные принципы — автор включается в списки при наличии не менее 1000 цитирований всех работ или не менее 100 цитирований статей, опубликованных в последние 7 лет (пока это период 2003-2010 годов). Однако отменены некоторые эмпирические правила — сняты ограничения по порядку авторов, изменена методика для работ с десятками соавторов, какие бывают в физике высоких энергий, да и в других областях.

Уже и в биологии…

Г.Ц.: Да, и в материаловедении. Ранее цитирование статей с более чем 30 авторами не учитывалось. Сейчас оно не учитывается при включении новых людей в списки, но для ранее включенных цитирование суммируется уже по всем статьям. Это вызывает возра -жения ряда «зрителей», возможные решения обсуждаются.

На Scientific.ru происходил не ежегодный пересчет по всем статьям, а суммирование текущего результата и цитирований, появившихся за последний год. Так будет и в новой версии, но единожды (сейчас) для каждого производится полный пересчет с самой первой публикации. По возможности устраняются ошибки, их довольно много. Наводится порядок со специализациями и с местами работы, что возможно при использовании единой базы данных для списков цитирования и «Корпуса экспертов».

От «списков Штерна» - к карте российской науки
Михаил Фейгельман

Но ошибки — это прежде всего путаница с однофамильцами и с разными написаниями фамилий. Как это учитывается при пересчете?

Г.Ц.: Как и раньше — «помощь зала», без нее просто невозможно. Сейчас кроме форума www.scientific.ru/dforum/whoiswho действует более стабильный канал: по e-mail администратору проекта пишут о замеченных неточностях, и сама она тоже ищет, у кого спросить про особо сложных однофамильцев. Скажем, сестры Ольга и Олеся из одной лаборатории — не сразу догадаешься, что это два автора. Или отец и сын с одинаковыми фамилиями, именами и отчествами и пользуются одним адресом электронной почты. Или два столь же «полных» однофамильца, оба — биологи, у которых еще совпадают день и год рождения (это один из них сообщил). И даже просто 23 Ивановых. Многие соглашаются смотреть разметку списков своих работ или присылать списки трудов.

А как кандидаты на включение попадают в поле зрения проекта?

Г.Ц.: По старому каналу — через форум, через сообщения по e-mail corr.lists@gmail.com, и еще постепенно проверяются все названные ранее в опросах «Корпуса». Если «кандидаты» проходят пороги, то включаются в списки вне алфавитного порядка, в котором идет основной пересчет.

Давайте сделаем шаг назад и обсудим, зачем вообще этот проект нужен. Есть Web of Science, в который каждый сам при необходимости может пойти, есть Scopus, есть открытый Google Scholar…

М.Ф.: Этот проект не нужен для отдельного научного работника, чтобы просто узнать, сколько у него цитирований. Он нужен, если требуется готовая, достаточно большая выборка по этим показателям, скажем, если с их учетом принимаются административные или финансовые решения. Иногда цитирование сотрудников института учитывается при выписывании им премиальных. По меньшей мере один такой случай мне известен.

Я могу в скобках написать: «В этом месте интервьюируемый загадочно улыбнулся»?

М.Ф.: Можете. И от себя добавить: «И сразу стало ясно, что речь идет о его институте». Хотя подозреваю, что их существенно больше. Как раз в конце декабря у нас было принято правило, по которому учитываются все эти самые показатели, и возникла надобность в подсчете данных для всех сотрудников. Их и до того было больше половины в списках, но проверили всех остальных, и оказалось, что порог проходит три четверти сотрудников, если не больше.

Получается, что чем больше будет таких замечательных институтов, как Ваш, тем скорее проект навсегда захлебнется, потому что большой институт пересчитать — это очень много работы.

М.Ф.: Нет, таких случаев больше не будет, на это можно было пойти только для сравнительно небольшого института, уже существенно представленного в базе.

Что абсолютно не является типичной ситуацией…

М.Ф.: Тут надо напомнить, что в проекте сохраняется очень важный принцип: хотя из списка активного цитирования люди могут «выпадать», но в базе данных они сохраняются, и имена публикуются в списках по институтам. И для них пересчет тоже ведется.

Г.Ц.: Есть еще мемориальный список www.expertcorps.org/science/whoiswho/memlist со ссылками на биографические тексты. Если есть некролог из научного журнала, то публикуется он, а если нет — ссылка на веб-страницу с как можно более развернутым сообщением. Однако еще немало людей из списков, про которых достоверно известно, что их нет в живых, но нет подобной информации. Это совершенно отдельный вопрос, более эмоциональный, хорошо бы нам присылали такие материалы, у кого они есть.

Кого еще интересуют списки, кроме просвещенной администрации отдельных институтов?

М.Ф.: По некоторым областям это интересует отдельных представителей технологического бизнеса. Например, венчурный фонд «Сколково-Нанотех».

Оба слова — совершенно страшные с точки зрения любого научного сотрудника.

М.Ф.: Это потому, что научные сотрудники естественным образом не подозревают, о чем идет речь. Это не имеет никакого отношения к проекту «иннограда Сколково». Это — венчурный фонд, созданный совместно корпорацией «Роснано», которая дала половину средств фонда,и компанией «Тройка-диалог», которая привлекла вторую половину, самостоятельно или еще откуда-то, не знаю. Фонд работает под управлением «Тройки-диалог» и предназначен для финансирования венчурных проектов, имеющих отношение к нанотехнологиям.

И как этот фонд использует списки?

М.Ф.: Фонд использует «Корпус экспертов», для формирования которого эти списки играют ключевую роль, поэтому одно с другим связано. Система экспертизы этого венчурного фонда вся выстроена на использовании «Корпуса экспертов». Не по всем научным направлениям, которые могут понадобиться при рассмотрении подаваемых в этот фонд проектов, уже сформированы списки экспертов «Корпуса». На этот случай предусмотрена система дополнительных опросов по еще не охваченным областям, в которой рекомендатели экспертов — из тех же списков цитирования.

То есть списки цитирования — это предварительные данные для «Корпуса экспертов»?

М.Ф.: Да, и кроме того — массив данных для поиска возможных специалистов в тех или иных областях. Венчурные фонды интересуются не только тем, где взять экспертов. Фонду интересно, где взять проекты, достойные того, чтобы их рассматривать, а таких проектов на нашей территории немного. И чтобы их стало больше, людям, которые управляют этим венчурным фондом, важно знать, каково вообще-то поле, на котором можно что-нибудь найти. Где и кто, в какой научной области что-нибудь умеет делать. Выяснить этот вопрос очень трудно, и оказалось, что списки помогают.

А еще примеры есть?

Г.Ц.: Даже и Роснанотех, который не нужно рассматривать как средоточие зла. Это — сложным и местами безумным способом организованная система, которая, тем не менее, пыталась аккумулировать здоровые экспертные механизмы. Туда в качестве рядовых экспертов попало довольно много дельного народа. И их участие даже в некорректно организуемых экспертизах все-таки некоторый порядок наводит: как минимум не позволяет пропускать проекты, заведомо близкие к альтернативной науке, а в некоторых случаях достигается даже и более полезный результат. В поиске экспертов очень важна точность сведений о специализациях. И главное усовершенствование при соединении проекта «Кто есть кто» с проектом «Корпуса» — это уточнение специализаций.

Насколько подробный классификатор для этого используется?

Г.Ц.: Какой бы подробный классификатор ни был на старте, при соприкосновении с живым материалом неизбежно выясняется, что он должен быть модифицирован. Это -нормальное явление, так происходило, например, при опросах по физике и биологии. Постепенно все классификаторы могут быть доведены, по-видимому, до двух-, а может быть, и трехуровневой структуры, а более детально специализация может выявляться по ключевым словам. Эти сведения сейчас хранятся в базе данных и публикуются только для экспертов, а в списках цитирования только крупные разделы.

Кто определяет специализации в базе и списках?

Г.Ц.: По наукам, по которым были проведены опросы «Корпуса», это определялось в ходе опроса. А в химии и науках о Земле нашлись консультанты, которые взяли на себя труд предположительно расставить коды и определить разделы.

А в биологии и физике используется уже тот глубокий классификатор, который есть в «Корпусе экспертов»?

Г.Ц.: Да, там фактически используется трехуровневый классификатор.

При таком способе использования, насколько хорошо, что для всех наук выставлены стандартные пороги 100 и 1000?

Г.Ц.: Плохо. Но пока для всех точно не выяснена специализация — какой смысл говорить о порогах? Один эксперимент с порогами уже был произведен. Физика плазмы -разнородная область, там есть люди очень разного профиля, и у них существенно разное среднее цитирование. Был придуман алгоритм, довольно трудоемкий, — как понизить порог до чего-то разумного: проводился анализ всех российских авторов статей в журналах со словом plasma в названии. Ясно, что исчерпывающей точности такой анализ дать не может. Но было выяснено, что разумным порогом для физики плазмы, чтобы обеспечить представительность всех ее направлений, является 60, а не 100 по активному цитированию. Был проведен дополнительный опрос среди рекомендателен найденных по этому порогу. Но включать этих дополнительных выборщиков в публикуемые списки цитирования никто пока не решается, потому что вопрос о порогах должен быть решен как-то более универсально.

Кто будет принимать такие решения?

Г.Ц.: Они могут быть приняты только коллегиально.

А из кого будет состоять коллегия? Кто те сионские мудрецы, которые соберутся и скажут, что вот, по таким-то областям снижаем пороги?

Г.Ц.: Помимо собственно рабочей группы имеется немаленькая команда консультантов проекта, их имена есть на сайте www.expertcorps.org. Люди, которые готовы тратить время и вдумываться во все эти вопросы. Они высказывают суждения каждый по своей области, и эти суждения всегда выносятся на публичное обсуждение, через хронику «Корпуса» или на семинарах. Иногда поступают отклики по электронной почте, они всегда принимаются во внимание.

В чем механизм взаимодействия рабочей группы с сообществом?

М.Ф.: Фиксированного механизма нет. Есть саморазвивающийся проект, а как именно он будет развиваться еще через две стадии, никому не известно.

За какую часть этого результатов Вы отвечаете в том смысле, что Вы считаете, что она относительно полна? Вы говорили, что списки цитирований полезны тем, кто хочет себе представить состояние дел в российской науке и посмотреть, что там есть живого. Но формально глядя на списки, можно ошибиться, потому что какие-то области не представлены там не потому, что они не являются живыми, а потому что критерии для них не годятся.

Г.Ц.: В сводных материалах хроники написано, за какие области в настоящий момент более-менее можно отвечать.

Это про «Корпус экспертов», а я спрашиваю про списки цитирования.

Г.Ц.: А это взаимосвязанные вещи.

Все-таки это два разных проекта, и есть области, по которым опросов для списка экспертов пока просто не было.

Г.Ц.: Надо разделить этот вопрос на два. Есть науки, из которых мало людей в списках, потому что там нужно снижать порог. А есть области, в которых цитирования и публикации вообще, по-видимому, не являются прямым критерием оценки результата.

IT, скажем.

Г.Ц.: По IT мы даже не планируем опросов, как и по техническим наукам. Там нужно по каким-то другим критериям искать выборку рекомендателей. В основном думаем о «полевиках», геологах и биологах, для которых результат — атласы, карты, каталоги. Возможно, их могут рекомендовать люди других специализаций из той же области знания, как в уже прошедшем дополнительном опросе по астрономии.

Но все-таки, чисто формально: как венчурному капиталисту, глядя на списки, понять: область не представлена, потому что ее в России нет, или потому, что критерии для нее не подходят?

Г.Ц.: Ему надо взять адрес, который написан сверху, снизу, сбоку от публикуемых списков, и задать вопрос по этому адресу — и он получит подробные пояснения по поводу заинтересовавшей его области исследований.

М.Ф.: Да, готового списка «представленных» областей нет, и его стоит завести.

Г.Ц.: Думаю, что мы это сделаем после завершения пересчета с учетом всех тех особенностей, которые по ходу дела выясняются.

Ваш проект — не единственный, потому что есть РИНЦ. Казалось бы, РИНЦ по замыслу куда более полный. Он содержит сведения не только о количестве цитирований, но и о самих цитированиях, причем сразу по всем областям.

М.Ф.: Про алгоритмы РИНЦ в ТрВ только что предметно написал директор Библиотеки естественных наук РАН Н. Каленов. А что по этим алгоритмам получается — можно вот на графиках посмотреть (см. рисунок). Были взяты данные РИНЦ по цитированию для 100 человек, случайно выбранных из числа уже «обработанных» в ходе пересчета. Выяснилось, что данные РИНЦ с высокой степенью точности могут быть описаны как белый шум в логарифмической шкале. Они отличаются от данных WoS иногда в 30 раз (даже на глаз попадались легко), иногда даже в 100, иногда в 3-5 (это уже совершенно типично).

От «списков Штерна» - к карте российской наукиОт «списков Штерна» - к карте российской науки
Результаты выборочного сравнительного анализа данных РИНЦ и WoS: полное цитирование (вверху) и индекс Хирша (внизу). Случайная выборка из 100 человек в базе «Корпуса», из них в РИНЦ найдено 98

В какую сторону?

М.Ф.: В единичных случаях они завышены. Обычно они занижены, в произвольное количество раз. Такие истории часто обсуждались, от РИНЦ следовал ответ типа «вы тут привели какой-то экзотический пример». Выборка из сотни человек показала, что это не экзотический пример, это правило. Это не просто какое-то распределение с шириной порядка среднего, оно в логарифмической шкале будет с шириной, наверное, даже больше чем среднее. А двух людей с вполне заметным цитированием по WoS — РИНЦ просто не знает. Все это означает, что подсчеты РИНЦ методически совершенно некорректны, а сотрудников РИНЦ это не интересует, судя по результату.

Г.Ц.: Мы понимаем, насколько необъятная задача — пересчитать всю страну, но не надо ничего публиковать и придавать своим цифрам какой-то статус до тех пор, пока они методически не апробированы и в них нет уверенности.

М.Ф.: Если бы различия были на уровне десятков процентов, то можно было бы сказать «зато там большие объемы и все равно это полезно». Но когда эта разница не на 30%, а в 30 раз, то использование продукта для каких бы то ни было оценок, решений и т.д. — это уже просто полное безобразие.

РИНЦ принят в качестве основы в нескольких министерских программах и в академической программе. Причем там бывает по-разному: где-то надо строго по РИНЦу, где-то можно через запятую указывать РИНЦ, Web of Science и Scopus, по-видимому, кто как хочет. И что делать?

Г.Ц.: Увеличивать число подписок на международные базы, работать над квалификацией персонала и над методиками. Нам приходилось сталкиваться на консультативном уровне с ситуациями, когда министерство хочет посчитать по WoS, пишет инструкцию на многих страницах, там вроде бы много правильных пунктов, но на выходе получаются совершенно некорректные цифры. Значит, нужен либо какой-то ликбез для исполнителей, либо методические железно описанные надежные источники, из которых можно эти цифры получить.

Какие источники? Допустим, обсуждаемый общественный проект «Корпус экспертов», мы уже выяснили, охватывает не все области.

Г.Ц.: Его можно пытаться расширять, это предмет разговора. Кроме того, организаторы какого-то конкурса (если это разумный конкурс) могли бы обращаться к рабочей группе с просьбой проанализировать претендентов по тому же алгоритму. Сам этот проект — способ апробировать методику надежного и корректного подсчета.

Вот, значит, для чего нужен этот проект..

М.Ф.: Вопрос о том, зачем нужен этот проект, было бы в высшей степени уместно задавать, если бы этот проект финансировался на государственные деньги, чего не было и не будет.

Это — жесткая позиция?

От «списков Штерна» - к карте российской науки
Администратор проекта «Корпус экспертов» Владислава Сабрауи

М.Ф.: Да. Это не значит, что рабочая группа проекта не готова взаимодействовать с теми или иными представителями государственных органов. Готовы, разумеется, если они хотят задавать какие-нибудь конкретные вопросы.

Рабочая группа будет это делать бесплатно?

М.Ф.: Это зависит? Рабочая группа может подписать контракт с организацией, которая заказала ей какую-то конкретную работу. Текущий проект, который мы сейчас обсуждаем, существует сам по себе.

А на какие же деньги он тогда существует?

М.Ф.: Благотворительный частный фонд «Династия» обеспечивает оплату технической работы и время от времени оплату внешним специалистам за конкретные трудоемкие консультации. В регулярном режиме работают три человека: IT-специалист Александр Прокофьев, который создал и поддерживает базу данных и средства для автоматической генерации списков, администратор проекта Владислава Сабрауи, и оператор базы Юлия Вахтеева. Рабочая группа и, кстати, большинство консультантов работают бесплатно.

А что будет, когда грант «Династии» закончится?

М.Ф.: На ту часть этого единого проекта, которая связана с «Корпусом экспертов», может быть, удастся привлечь средства заинтересованных венчурных капиталистов. Тогда на остаток можно надеяться получить продолжение гранта «Династии».

От «списков Штерна» - к карте российской науки
Оператор базы данных Юлия Вахтеева

Г.Ц.: При имеющемся алгоритме повторный пересчет следующего года на порядок менее трудоемок, чем то, что происходит сейчас, и реально может быть сделан за месяц-полтора в конце года. Еще был план посмотреть цитирования руководителей проектов РФФИ, но это не сейчас, конечно. Тем более, что РФФИ очень замедленно публикует сведения о поддержанных проектах. И, кстати, к вопросу, с кем взаимодействовать, а с кем — нет. Все-таки ключевыми словами в этом проекте являются «экспертиза», «проведение конкурсов». Когда рабочая группа решает, во что ввязываться, а во что — нет (неважно, на каких условиях), то прежде всего она выясняет — а как конкурс-то будет проведен, каковы регламенты? Практика показала, что в рамках отдельных секций РФФИ, отдельных конкурсов РФФИ при существующих регламентах можно сделать что-то разумное, и тогда в этом есть смысл участвовать.

Можно сказать, какие это секции?

М.Ф.: В 2009 году происходил довольно известный специальный конкурс РФФИ под названием «офи-м».

К этому конкурсу были большие нарекания.

М.Ф.: Специфика этого конкурса состояла в том, что каждый из его 18 разделов жил своей независимой жизнью. Раздел «Криогенные наноструктуры» находился под попечением академика А.Ф.Андреева, и по этому разделу была создана экспертная коллегия из специалистов по физике низких температур и нанофизике. Был проведен конкурс с использованием «Корпуса экспертов» по физике конденсированного состояния, и к этому разделу конкурса, насколько мне известно, никаких нареканий не было. Что касается конкурса в целом, то самое странное — что нам до сих пор не удается найти, где опубликованы его результаты (почти 2 года прошло!).

Имеется другая (финансируемая «Династией») программа — «Краткосрочные визиты иностранных ученых в Россию». Любая лаборатория в области физики или математики, работающая где угодно в России, может подать заявку на приглашение человека из-за границы на две недели — на семинар, курс лекций и тому подобное и в течение недели или двух получить ответ. Заявку рассматривают три или изредка два рецензента из «Корпуса экспертов».

Г.Ц.: Есть еще пример крупномасштабного действия: один из экспертов по физике, Владимир Шабаев из СПбГУ, был привлечен ректоратом к организации внутриуниверситетского распределения грантов. Он делал совершенно нетривиальные, на наш взгляд, в масштабах такого учреждения шаги, в результате которых состоялся реальный конкурс. Там было много проблем и компромиссов, разумеется, много претензий от тех, кто эти гранты не получил, но там удалось осуществить нечто разумное. Так, топ-группа 10% была определена просто «по наукометрии». А для остальных была экспертиза, к которой привлекались и эксперты «Корпуса». Дополнительно по просьбе организаторов мы предоставляли список возможных экспертов по химической физике, которые по общему алгоритму в «Корпус» не попали, набрав 4, а не 5 голосов (химфизика «размазана» и в списках цитирования представлена слабо).

В этом случае мы взаимодействовали с госучреждением потому, что регламенты, надо которыми люди в Санкт-Петербурге работали и пробивали их через ректорат ценой, по-видимому, очень больших усилий, оказались разумными. Это было впервые для масштаба целого университета.

— Видимо, проект, направленный на организацию действительно независимой экспертизы, неизбежно должен быть общественным.

М.Ф.: Безусловно. Сколько-нибудь содержательное исследование в этой области не может начинаться с инструкции, пригодной для утверждения каким-нибудь органом. А инстанции не могут действовать иначе. Это — исследовательский проект, его нельзя строго запрограммировать с самого начала, иначе он с неизбежностью придет к бессмыслице. По ходу проекта нужно все время его подправлять.

В этом смысле у наукометрических исследований злая судьба, потому что непонятно, кто, собственно, специалист. Если специалистов не сложилось по историческим причинам, этой деятельностью занимаются администраторы, которым исследовательский подход к делу обычно не свойственен. А здесь без него не обойтись, если хотите какого-то осмысленного результата. Этим приходится заниматься научным работникам, отрываясь от своей непосредственной области деятельности.

Подписаться
Уведомление о
guest

0 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии