КРН им. И. Сусанина и ее защитники

FelgelmanДискуссию вокруг «Карты российской науки», начатую в ТрВ-Наука № 143, продолжает полемическая статья докт. физ.-мат. наук, зам. директора Института теоретической физики им. Л.Д. Ландау РАН, профессора МФТИ, члена рабочей группы проекта «Корпус экспертов» Михаила Фейгельмана.

«Карта российской науки»  предназначена для того,  чтобы представить максимально полные данные об отдельных исследователях и научных институтах России, которые, в свою очередь, «могут быть использованы для оценки эффективности и конкурентоспособности российской науки, для принятия управленческих и финансовых решений в отношении научных организаций и коллективов, а также для разработки мер по дальнейшему развитию научной деятельности» (из заявки на конкурс, выигранный компанией «ПрайсвотерхаусКуперс Раша Б.В.»).

Интересное явление представляет собой дискуссия о «Карте российской науки» (далее — КРН), опубликованная в ТрВ-Наука, № 143 от 3 декабря 2013 года. При чтении материалов на эту тему (их довольно много) возникает ощущение примерно как от правительственного российского телевидения образца начала 2000-х годов. Нельзя сказать, чтобы совсем уж одна пропаганда, как это принято нынче. Однако же смещение акцентов с обсуждения реальности к не вполне понятным частным обстоятельствам — налицо. Соотношение объемов материалов «Pro et contra» (стр. 4-5) — примерно 3 к 1. У того читателя, который «с мороза», несомненно, создается впечатление, что прогрессивная научная общественность «в целом — за», а всякие замечания про огрехи и опечатки — это мелочи, ну конечно, у кого же их нет, разве только у тех, кто ничего не делает.

Я постараюсь показать, что в действительности КРН прямо подпадает под формулировку Михаила Булгакова о «так называемом вранье», причем весьма масштабном. Начну, однако, с почти ритуальной фразы из заявления Комиссии общественного контроля за ходом и результатами реформ в сфере науки: «Мы не отрицаем полезности самой идеи создания единой информационной системы для российской науки». Оказывается, к моему удивлению, есть люди, именно что отрицающие «саму эту идею». Иногда они даже довольно агрессивны. Однако ниже речь пойдет не об этих странных персонажах, а о благостных попытках примирить нас с неизбежностью вранья.

Среди множества комментариев на тему КРН выделяется своей основательностью опубликованная вот здесь [1] подборка важнейших ошибок «Карты», тщательно систематизированных археологом Ириной Сапрыкиной по поручению Комиссии. Рассмотрим сначала список, приведенный в начале текста (важен порядок перечисления!):

««Карта российской науки», представленная для открытого тестирования, вследствие неверной идеологической основы, принятой разработчиками, содержит следующие системные ошибки, для устранения которых требуется работа высококвалифицированных специалистов по анализу данных в течение длительного времени:

  1. использование классификатора (рубрикатора) научных направлений, не применимого к действующим направлениям в российской науке;
  2. произвольный отбор (группировка) научных учреждений по рубрикам;
  3. отсутствие контроля по уровню случайных совпадений;
  4. несоответствие числовых показателей реальным значениям (по численности состава научных учреждений, по количеству публикаций в WoS и РИНЦ, патентов, по индексу цитирования), ошибки при переносе операторами данных из одной базы в другую;
  5. некорректный отбор «ведущих» учреждений или исследователей (числом всегда 5), построенный на использовании произвольных признаков, не имеющих друг с другом связи (либо данные по WoS, либо по РИНЦ, либо алфавитный порядок, либо рубрикатор и т.д.);
  6. низкое качество технической поддержки сайта, зависимость его работы от браузера, отсутствие корреляции данных».

Мы еще вернемся к обсуждению этих ошибок, но сначала сравним их список с замечаниями, которые цитируют как «основные», и на которые отвечают О. Москалева и А. Цыганов в упомянутом номере ТрВ-Наука:

Ольга Москалева:

  • несовпадение сведений о количестве публикаций ученого в WoS или РИНЦ с тем, что видно в «Карте науки», а также неверная «привязка» публикаций к ученым;
  • неверные сведения об организациях в целом — количество сотрудников, количество академиков, докторов и т.д.;
  • появление непрофильных научных направлений в сведениях об институтах.

Андрей Цыганов:

  • разные сведения о количестве публикаций и цитирований ученого в WoS, РИНЦ и «Карте науки»;
  • учет русской и переводной версии статей в личной карточке ученого;
  • неверные сведения об организациях в целом, например количество и состав сотрудников;
  • список всех, в том числе и непрофильных, научных направлений в сведениях об институтах и т.д. и т.п.

Как видно, госпожа Москалева и господин Цыганов выделяют в основном частные проявления единственной системной ошибки (п.4), игнорируя другие содержательные пункты. На последнем месте каждый из этих коллег упоминает обстоятельство, связанное с самой главной системной ошибкой (п.1), делая вид, что это одно из частных и исправимых замечаний.

М.В. Фаюстов. Иван Сусанин
М.В. Фаюстов. Иван Сусанин

Им удобнее отвечать на вопросы именно о частностях, причем делают они это в довольно общем виде. Главный ответ Ольги Москалевой на перечисленные ею претензии: «Все эти ошибки совершенно неизбежны и легко объяснимы». Это мне напоминает ответ очередного полицейского начальника на вопрос об очередном бесчинстве его подчиненных: «Общество у нас такое». Ассоциация эта не случайна: О. Москалева — член рабочей группы, сформированной Минобрнауки для решения методологических вопросов проекта. К этому мы еще вернемся. Весь комментарий О. Москалевой исходит из логики «отечественного товаропроизводителя» — не будем сравнивать товар с техзаданием на него, лучше объясним, почему в этом тяжелом климате ничего другого сделать было никак нельзя.

У Андрея Цыганова еще лучше: «Дело не в данных, а в правилах обработки и оценки информации…» Вдумайтесь, дамы и господа! Еще бы ладно, если бы это написал представитель артбогемы, а то ведь — доктор физ.-мат. наук и член ОНР. Хорошо еще, что не все члены ОНР используют такую логику: рядом имеется четкий комментарий геохимика Алексея Иванова, причем он куда короче (что не случайно) материалов цитированных выше членов рабочей группы.

Вернемся к сути. Если пунктов 1-6 слишком много для восприятия этими членами, обобщим их, указав три системные проблемы. Первая (и ключевая) сформулирована в п.1 выше: использование классификатора (рубрикатора) научных направлений, не применимого к действующим направлениям в российской науке. Добавлю от себя: не только к российской науке неприменима эта «классификация», но и вообще к науке.

Отвлечение исторического характера. Я участвовал в одном из первых публичных совещаний в Минобрнауки на тему «Карты российской науки» поздней осенью 2012 года. Совещание вел зам. министра Игорь Федюкин, участвовало примерно человек 30, из коих научных работников, представлявших естественные или технические науки, было не более пяти человек (включая академика РАН А. Хохлова). Обсуждение было весьма активным, основным докладчиком был представитель «ПрайсвотерхаусКуперс Раша Б.В.», на вопросы, обращенные к докладчику, отвечали либо И. Федюкин, либо С. Салихов.

Многократно поднимался вопрос о схеме классификации, которую предполагается использовать при создании «Карты». Многократно звучали разъяснения того очевидного (для научных работников) факта, что здесь нельзя использовать классификационную схему Web of Science, ибо она не для той цели предназначена (это классификация журналов, а не областей научных исследований). Ответы И. Федюкина сводились к обещаниям «учесть пожелания ученых».

В конце заседания было обещано подвести его итоги и разослать подробный протокол обсуждения. Этого не было сделано никогда, причем вполне сознательно (я сам напоминал устроителям
про обещанный протокол и получал в ответ министерские отписки по e-mail). Уже на этом этапе мне стало ясно, что руководители Минобрнауки запланировали не «обсуждение с научным сообществом», а имитацию такового обсуждения. План действий у них уже был готов, и обсуждений по существу он не предполагал. В результате именно это и получилось (см. комментарий А. Иванова).

Многие мои коллеги, последовав призыву участвовать в объявленном «обсуждении», приходили впоследствии на заседания в Минобрнауки, обнаруживали, что их собираются держать за «дураков в подкидном», и уходили. Это естественная реакция научных работников, занятых своим реальным делом. Можно отвлечься от него на время ради участия в важной общественной инициативе, но уж никак не ради имитации, контролируемой бюрократами.

Некорректная классификация научных дисциплин автоматически ведет к большей части фатальных для КРН последствий. В частности, с ней связаны и указанные в пп. 2 и 5 системные ошибки. Никакая активность отдельных научных работников по приведению в порядок данных об их собственных публикациях не может исправить исходных структурных пороков конструкции. На мой взгляд, призыв Совета ОНР «зарегистрироваться на сайте КРН, чтобы принять активное участие в тестировании проекта и в выработке предложений по его доработке» — это призыв к срочной переклейке обоев в квартирах дома, который построен в болоте на гнилом фундаменте.

Вторая проблема внятно указана в п. 3: в КРН отсутствует, как многими отмечалось, разделение однофамильцев — даже если оба инициала различаются. Объем возникающих при этом недоразумений таков, что никакая локальная правка по заявлениям научных работников (да еще в письменном виде и с печатью организации) неисполнима за разумное время. Заказчики и разработчики КРН, очевидно, ни разу не подумали о масштабе проблемы, решать которую взялись.

Не то чтобы эта проблема была непреодолима в принципе — скажем, она решена в базе «Корпуса экспертов», насчитывающей сейчас более 12 тысяч представителей естественнонаучных специальностей (сделано трудами пяти человек безо всякого бюджетного финансирования). Для решения такого рода проблем, как при подборе схемы классификации, необходим «системный подход» — то есть сначала крепко подумать, а потом делать. Но российским чиновникам думать некогда, они всегда «на пожаре» — только погорельцами оказываются потом не они.

Наконец, ошибки, указанные в «Основных замечаниях» пп. 4 и 6, ведут свое происхождение от третьей проблемы — присущего бюрократии глубокого и искреннего неуважения к людям, которыми она «руководит». Пункт 4 означает вот что: в базе РИНЦ по Вашей фамилии значатся, к примеру, 17 статей за такие-то пять лет, а в КРН сообщается, что по данным РИНЦ у Вас статей в этот период нет вовсе.

Советую перечитать предыдущую фразу еще раз, ибо с первого прочтения смысл ее может остаться недоступным. Что касается п. 6, то он Вам сообщает чистосердечно от имени заказчиков-разработчиков КРН: «Ну ты попробуй эту нашу чушь исправить, вот ты у нас и побегаешь, замучаешься пыль глотать».

Резюме: если и можно считать КРН картой, то лишь для целей очередного Ивана Сусанина, дабы ворогов наших в болота завести безвозвратно (а что и самим там же пропасть — так то не беда).

Каково же происхождение комментариев граждан из ученой среды, высказывающихся в духе цитированных выше О. Москалевой и А. Цыганова? Конечно, в реальности их заметно меньше, чем коллег, выражающих по поводу КРН разного рода возмущения и страхи, однако же пренебречь существованием этих «прогрессистов» было бы неверно. Рядовой представитель «российской научной общественности» нередко твердо знает, что начальство его учреждения занято черт знает чем, а если выше по начальственной иерархии пойти — только хуже окажется. Президиум РАН тоже немало постарался в этом отношении за последние двадцать лет. Рядовому представителю всё это надоело, он хочет, наконец, луча света в столь затхлом царстве. Чтобы не «чиновник решал» (как сказано у А. Цыганова в цитированном тексте), а как-то само, вероятно, на скатерти-самобранке всё образовывалось, и в самом лучшем виде. И тут начинается величественный проект «Карта российской науки». Начальники Минобрнауки приглашают научный люд большими толпами к дискуссиям, записывают их в «экспертные группы»… Честь оказана, внимание к трудовому народу проявлено, и на ум нейдет, что всё это — одно надувательство. «Ах, обмануть меня нетрудно, я сам обманываться рад».

Проходит время, люди потратили много дней/часов жизни на дискуссии, бессмысленности коих так и не осознали. Праздник подходит к концу — продукт коллективных трудов вынесен на божий свет и признан научным сообществом негодным к употреблению. И тут «корпоративная солидарность» создателей КРН оказалась в ряде случаев сильнее, чем общенаучная добросовестность.

На мой взгляд, есть простая и грубая реальность: «Карта российской науки» никуда не годится и исправлению при помощи поправок от отдельных ученых и даже целых институтов не подлежит. Вложенные в ее создание средства растрачены без всякой пользы, минимизировать бы вред. Как выяснилось на днях, просмотровый доступ к КРН закрыт. Однако проблема осталась: реальная карта научной местности в самом деле необходима для принятия осмысленных управленческих решений.

A priori не очевидно, следует ли для создания настоящей карты радикально переработать КРН или придется начинать с чистого листа. В любом случае, первым шагом должен быть честный и публичный анализ имеющегося «продукта», организованный не теми, кто участвовал в его создании. К такому анализу необходимо привлечь как научных работников различных специальностей, так и экспертов по созданию баз данных. И не надо аврала — хотя бы уже сейчас следует обойтись без спешки.

В заключение — поскольку номер газеты предновогодний — предлагаю тост: «Выпьем за мореплавателей и землепроходцев, ибо они знают, как важно иметь верные карты — и как трудно и интересно их создавать!»

1. www.rascommission.ru/index.php/documents/statements/57-zamechaniya-k-karte-rossiyskoy-nauk

Подписаться
Уведомление о
guest

41 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Doctor Z
Doctor Z
10 года (лет) назад

Отвечаю Сергею К. Искренне рад за дирекцию Института математики им. С.Л. Соболева. Оказывается проблемы, о которой я писал, для нее не существует. Конечно, границы между различными науками весьма размыты, так что, может быть, и правы те, кто считает, что теория литературы и литературная критика есть разделы математики. А тогда скажите мне, а что же не является математикой? Тем не менее я считаю, что пример товарища Бывалова дирекции Института математики им. С.Л. Соболева может еще пригодиться. В списке основных направлений исследования Института Математики имени С.Л. Соболева мы находим также и следующие: <>. В то же время основные направления исследований, те, в которых Институт Математики им. С.Л. Соболева может считаться лидером, если не мировой, то уж Российской науки точно, в карте даже не упомянуты. Ведутся ли в этом институте исследования по обыкновенным дифференциальным уравнениям и уравнениях в частных производных, по функциональному анализу, по математической логике, по геометрии и топологии, наконец,— это из составленной МОНом карты науки мы не узнаем. В карте науки указаны только два математических направления: <> и <>, без расшифровки. В ВАКовском списке специальностей указано, если не ошибаюсь, 8 математических специальностей и не в каждом математическом институте все они представлены. Очень странно, что составители карты игнорировали список ВАКа. Адресуясь к поклонникам всяких Хиршей хочу сказать следующее. Кроме количества есть еще и качество. Одно дело заметка, содержащая какое либо частное замечание, и другое дело работа, в которой решена некая трудная проблема. Если о трудности решенной проблемы на момент публикации на всем земном шаре знают и понимают ее важность только два-три человека (в математике это обычное дело), то у первой публикации индекс цитирования будет значительно выше. Исходя из этого индекса можно будет сделать вывод, что автор мелкой заметки крупный ученый, а того, кто семь лет решал свою проблему и,наконец, решил, скорее всего, из Института надо уволить, поскольку его сочинение никто не… Подробнее »

Doctor Z
Doctor Z
10 года (лет) назад

Добавление к предыдущему посту
В списке направлений исследования Института Математики имени С.Л. Соболева мы находим
также и следующие:
<>.

Doctor Z
Doctor Z
10 года (лет) назад

В списке направлений исследования Института Математики имени С.Л. Соболева мы находим

<>.

Doctor Z
Doctor Z
10 года (лет) назад

<Общее машиностроение, Теория информации и библиотековедение, Инженерное дело — междисциплинарное, Музыковедение, Публичное управление и политика, Химия — междисциплинарная, Языки и лингвистика, Терапия и лечебное дело, История

Denny
Denny
10 года (лет) назад
В ответ на:  Doctor Z

Математики со своими методами работают в разных специальных науках. ИМХО, это хорошо для института. Или не так?

vlad19501950
vlad19501950
10 года (лет) назад

для меня профессора вуза — КРН лишняя а потому неприятная работа никакого смыяла заниматься которой я вообще не вижу ну почему я должен где-то регистрироваться иметь мороку с паролями и пр что касается моиз показателей я знаю и от Штерна да и прямо ну а подглядывание кто как стоит мне вовсе непристно да и просто претит хачется ливановым- федюкиным это делать вместо того чтобы выполнять указы президента о повышении зарплат нищих ппс и нс ну так это их проблема благо себе они уже установили зарплаты на уровне Ес а то и выше

Эмэнэс
10 года (лет) назад

На вопрос Denny можно сказать, чтоо Институту математики это практически ничего не дает.

Что касается карты еауки, то тут Министерство Образования и проявило полное неуважение к ученым. Нет, чтобы прежде чем выкладывать что то в интернет разослать по институтам и затем внести необходимые исправления.
Получился конфуз.Это стиль Ливанова — неуважение к людям науки

саша андреев
саша андреев
10 года (лет) назад

Я согласен с позицией автора статьи. КРН никуда не годится. Кроме распила бюджета тут явно присутствует и элемент вредительста. Якобы берутся данные из разумный независимой системы ISI WoS, искажаются (в том числе умышленно) и потом начинают размахивать этими искаженными данными.

VV
VV
10 года (лет) назад
В ответ на:  саша андреев

Саша Андреев, не пустословь

3alex7
10 года (лет) назад

Михаил Фейгельман стократно прав относительно нынешней карты науки , несмотря на то, что сама идея карты пришла «снизу» — от ОНР,почти от «народа» и этим, якобы, заведомо надежно узаконена. Но как писал Декарт «в трудных вопросах к истине придет скорее один человек, чем группа людей или даже целый народ». А дать подлинную картину соаременной российской науке — очень сожный вопрос. Дать же его в формате «карты российской науки», наверное, просто невозможно, поскольку «карта — не территория», поэтому Фейгельман справедливо преобразует формат в «карту реальной научной местности» — это существенно лучше, но тоже не гарантирует успеха. В своей оценке КРН Фейгельман весьма деликатен, хотя много раз употребляет слово «враньё», но все же не bullshit, которое в подобных случаях использует американский профессор Гарри Гордон Франкфурт, но которое трудно раскрыть во всей полноте в рамках нормативной лексики. Подвергая bullshit философскому (да!)анализу Франкфурт видит природу и причины этого феномена, прежде всего, в «обособлении от заботы об истине» и в «безразличии к существу дела» — а это отличительные признаки всякой бюрократии. Наверное это не все причины, но они — главные.

сергей
10 года (лет) назад
В ответ на:  3alex7

Кластеры, кластеры… надоели эти прописные истины и существа.