Возможна ли новая жизнь без старых граблей?

Анна Кулешова
Анна Кулешова
К вопросу о пересмотре показателей публикационной активности и возможности создания суверенных баз данных научного цитирования

Власти ввели мораторий на учет публикаций российских ученых в зарубежных научных журналах и их участия в международных конференциях [1], Минобрнауки активно собирает предложения по созданию национальной системы оценки результативности научных исследований и разработок [2] и вариантам создания новой базы данных научного цитирования.

На мой взгляд, целью никогда не могут стать показатели как таковые, ведь они нужны не просто так. Поэтому смотрела бы на ситуацию шире, поставив во главу угла не оценку, а создание условий, в которых к российским ученым возрастет доверие. Новые показатели публикационной активности и суверенная база данных научного цитирования могут в этом деле помочь, но, как говорится, не оценками едиными жив ученый… Вела бы параллельно два процесса: думала бы о показателях и базах, а заодно реализовывала бы усилия, нацеленные на выстраивание новой нормальности.

Новая нормальность подразумевает, что научные статьи пишутся не для отчетов, что имеет значение репутация ученого, этичное поведение в сфере науки целесообразно, есть ответственность за нарушения академической честности — подложные ученые степени и публикации рассматриваются как элемент коррупции в рамках статей УК РФ: служебный подлог (статья 292 УК РФ), мошенничество (статья 159 УК РФ), нецелевой расход бюджетных средств (статья 285.1 УК РФ).

Начать можно с амнистии: нарушители академической честности сохранят свои должности (кроме руководителей сферы науки и образования), но отказываются от ученых степеней. Это серьезным образом снизит наукометрическую нагрузку и разного рода искажения в экспертном поле, упростит работу с университетами (пока в руководстве есть люди с доказанной академической бесчестностью, сложно поверить в реальные, а не номинальные перемены).

Перспективными представляются «штрафы» за нарушения академической честности, при расчете показателей делала бы автоматический пересчет рейтинга в пользу того, у кого текст недобросовестно заимствован.

Важно разработать несколько НПА (нормативно-правовых актов), например, запрещающих работу журналов-хищников, покупное, приписное авторство и иные устойчивые нарушения норм этики научных публикаций; запрещающих рекламу недобросовестных академических практик (покупное авторство, написание текстов на заказ, публикации «под ключ» и т. п.).

Сфокусировала бы внимание на развитии института экспертизы и рецензирования, формировании корпуса экспертов (с привлечением низовых инициатив).

Представляется важным учесть, что наметившийся отказ от международного сотрудничества повлечет увеличение нагрузки на отечественные издания. Это означает, что должен быть пересмотрен статус научного редактора, в отрасль необходимо привлечь молодых специалистов и обеспечить адекватную заработную плату.

Уместно обязать распоряжения Минобрнауки к общественной экспертизе (чтобы не повторилась ситуация, когда за нарушения и мошенничество массово выдаются надбавки, а добросовестное оказывается нецелесообразным).

Джузеппе Арчимбольдо. Библиотекарь. 1560-е годы
Джузеппе Арчимбольдо. Библиотекарь. 1560-е годы

А теперь про суверенную базу данных. По моим ощущениям, пора все-таки слезть с лошади, которая умерла. Не стоит строить очередной «Хирш», пусть и на базе «государственной системы научно-технической информации, обеспечивающей централизованную обработку и децентрализованное использование научно-технической информации». Мы уже знаем наверняка, почему это не работает.

При этом оптимистично отмечу, что суверенная база может быть реализована в новой логике, отличающей ее от конкурентов, то есть стать флагманской. Например, ее можно сделать с использованием инструментов ИИ (искусственного интеллекта). Это хороший шанс сформировать базу с нуля, сделав менее уязвимой и более адекватной современному миру и его возможностям.

Что может дать ИИ? Например, «обратный» вариант разработки индекса. С помощью группы экспертов по ряду отраслей или направлений отбираются действительно важные авторы и публикации, затем ИИ на базе этой выборки анализирует их публикации, цитирования — и строит модель, которая будет давать некоторый индекс уже на базе неизвестной заранее методики (методику построит ИИ).

При разработке показателей публикационной активности и суверенной базы данных научного цитирования учитывала бы следующее:

  • Важно проанализировать параметры, заложенные в существующие индексы, провести адекватный отбор необходимых показателей. Провести проработку и учет новых показателей для создания математической модели индекса, в том числе полноценно принять во внимания обзоры и исследования по данной теме, например [3]. Проверить параметры на устойчивость к мошенничеству. Обеспечить совместимость созданного индекса с существующими (иначе это будет не совсем внятная система, повисшая «в вакууме»).
  • Алгоритм оценки должен быть динамическим. В противном случае он не защищен от мошенничества (симулировать необходимые параметры под статистическую оценку совершенно не трудно, в итоге мы видим, что на настоящий момент имеет место не поощрение научной деятельности, а поощрение лучших мошеннических практик).
  • Подсчет индекса — это работа с динамически быстро изменяемой системой (постоянно возникают новые направления, данные, важные изобретения в совершенно различных областях, при этом часть прежне важных данных быстро устаревает), это должно быть учтено при разработке базы данных. Надо помнить, что речь идет не об одном индексе, а о системе индексов, включающей оценку не только статей, но и авторов, академических изданий, научных направлений, рецензентов. В научных публикациях все они неразрывно связаны, невозможно построить полноценную систему анализа, опираясь на мониторинг лишь одного из них.
  • Важна опция рейтингования журналов и издательств, в которых цитировались статьи авторов.
  • Рецензирование (экспертные заключения для журналов должны учитываться и иметь свой вес при оценке репутации ученого).
  • Работа с «шумами» в информационном смысле (по Шеннону) — необходима опция фильтрации: исключение дублирующих публикаций и т. д. Это даст возможность, например, для анализа корпуса соавторов с целью выявления «покупного соавторства».
  • Каталогизация: чтобы поддерживать актуальность сведений, надо новые публикации (и старые, возможно, тоже) каталогизировать, то есть относить к тем или иным областям научных знаний. Важные разработки идут на стыках научных дисциплин и возникает сложная задача: куда отнести публикацию? Пример — радиометрия с использованием радиоактивного материала в медицине (это и ядерная физика, и медицина).
  • Учитывать размывание границ между техническими и «гуманитарными» дисциплинами. Пример — генетический анализ в медицине, археологии и истории (пути миграций), т. е. необходима возможность относить материалы сразу к нескольким категориям.
  • Важно заложить адекватные параметры оценки цитирования авторами из смежных научных дисциплин. Таким образом, ученые, работающие на стыке нескольких дисциплин, могут получить более высокие показатели.
  • Индекс должен позволять «измерять» важность публикаций для конкретной страны или отрасли, для оценки вложений ресурсов в это направление.
  • Подсчет индекса — это «большие данные». Нужны полноценные поисковые системы со статистической обработкой.
  • Поддержка множества языков (как минимум основные европейские и азиатские).
  • Анализ и проработка корреляции между существующими индексами и новым для возможности проверки оценочных характеристик публикаций и учета исторических данных.
  • Связь с актуальностью научного направления: если проводить измерения наибольшего количества новых патентов или исследований в том или ином направлении (например, резкий рост исследований и новых материалов при открытии графена), то можно связать индекс цитирования с актуальностью с точки зрения инноваций.
  • Реализация возможности рейтингования материалов экспертами (из «белого» корпуса экспертов), т. е. опция саморегулирования академической среды.
  • Интеграция с базой ретрагированных статей.
  • Интеграция с сервисами депонирования.
  • Возможность публикации и учета препринтов.

Несмотря на кажущуюся сложность, мы вполне можем наметить план действий для создания такой суверенной базы:

  • Создание списков источников данных, на основе которых будет разрабатываться индекс (на первых этапах в основу отечественной базы данных могут быть заложены издания из RSCI, «белые» списки НИУ ВШЭ, ядро РИНЦ).
  • Создание математического аппарата построения индекса.
  • Определение объемов обрабатываемых данных в динамике, требований к подобной системе и т. д.
  • Построение «пилота» для одного или нескольких языков и регионов, либо научных направлений, отладка системы.
  • Постепенное развертывание с добавлением источников данных для глобального охвата.

Анна Кулешова, канд. социол. наук, председатель Совета по этике научных публикаций,
член Комиссии РАН по противодействию фальсификации научных исследований

1. forbes.ru/society/459835-vlasti-vveli-moratorij-na-ucet-statej-rossijskih-ucenyh-v-zarubeznyh-zurnalah

2. minobrnauki.gov.ru/press-center/news/? ELEMENT_ID=48219

3. Saarela M., Kärkkäinen T., Lahtonen T., Rossi T. Expert-based versus citation-based ranking of scholarly and scientific publication channels // Journal of Informetrics. Volume 10. Issue 3. 2016. P. 693–718. DOI: 10.1016/j.joi.2016.03.004

Подписаться
Уведомление о
guest

23 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Рабочий
Рабочий
2 года (лет) назад

Нет науки, нет проблем с ее оценкой!

semen Semenov
semen Semenov
2 года (лет) назад

Нас опять ведут к великим потрясениям, которых так не хотел наш президент (РАН). Еще не заработала как следует «старая» система, и пока нельзя оценить ее эффективность, но нам уже опять предлагают «до основанья, а затем…». Да можно как угодно составить эту самую базу, но система оценок в любом случае должна содержать критерии оценки публикаций. Какие будут суверенные критерии вместо квартилей прочих импакт-факторов? И зачем их вводить? Ведь господин вице-премьер Чернышенко, когда повелел создать новую систему оценки эффективности научного труда, он мотивировал это некими сведениями о дискриминации российских авторов в международных журналах. Я не знаю, кто нашептал это на ухо господину Чернышенко, его собственные публикации на английском явно никто не дискриминировал. Я публикуюсь в англоязычных журналах с середины восьмидесятых. Случаи дискриминации действительно были, но они не были связаны с тем, что я работал в СССР или в России. Господин Чернышенко явно путает прикладную науку, для которой все эти критерии работали не так, чтобы очень, и науку фундаментальную, эффективность которой практически везде оценивают одинаково.
В СССР действительно была создана некая суверенная наука, сравнимая по мощности с мировой. И для нее действительно не было особой нужды в неких интернационализированных критериях оценки. Просто потому, что денег все равно давали немеряно и на всех хватало. Но я не думаю, что мы сейчас можем безболезненно для остатков советской науки вернуться к такой системе. Ну, создадим мы некую местечково-хуторянскую фундаментальную науку, а с какой целью?

Михаил
Михаил
2 года (лет) назад
В ответ на:  semen Semenov

Проблема дискриминации русских ученых, на мой взгляд, слишком преувеличена. В последнее время мне приходилось подавать рукописи в иностранные журналы. Не заметил особой предвзятости. Более того, отдельные журналы (в основном платные, но с высоким импакт-фактором) даже повысили интенсивность работы по привлечению меня в качестве автора и рецензента.

semen Semenov
semen Semenov
2 года (лет) назад
В ответ на:  Михаил

Да ее по-моему вообще нет. Мне об этом говорили люди, публикующие в англоязычных журналах от силы одну статью в несколько лет, в компании нескольких подчиненных. У меня, все-таки выборка побольше. Дискриминация начинается, когда задеваешь чьи-то групповые интересы. В моем случае — это наглое «нецитирование» и воспроизводство под своими именами наших старых результатов.

res
res
2 года (лет) назад
В ответ на:  semen Semenov

Руководство понять можно. Нужно как-то заинтересовать работников заниматься прикладными работами, ориентированными на технологии и промышленное внедрение. А какие там публикации, когда всё под теми или иными грифами? Патент на 20 человек, включая всех начальников раз в 5 лет?

Рабочи
Рабочи
2 года (лет) назад
В ответ на:  res

А какой смысл заниматься этими «работами»? Я бы ни за какие деньги не стал (которых там никогда и не будет). Не один нормальный человек на себя гриф не возьмет. Залезешь туда, потом тебя там прокинут, а ты и рассказать никому не сможешь… гриф-с.

semen Semenov
semen Semenov
2 года (лет) назад
В ответ на:  res

С этим спорить невозможно. Прикладная наука должна оцениваться как-то иначе. Во всем белом свете она оценивается просто деньгами, которых в фундаментальной науке сроду не заработаешь. Но не бывает нигде прикладной науки без фундаментальной. Это же действительно фундамент. И в этой самой фундаментальной науке невозможно создать свою, отдельную систему оценки результатов, не опирающуюся на международно признанные критерии. Все остальное в теперешних условиях — от лукавого, ведет просто к понижению уровня и местечковизации.

Последняя редакция 2 года (лет) назад от semen Semenov
Пал Палыч
Пал Палыч
2 года (лет) назад
В ответ на:  semen Semenov

да, наглость нецитирования становится запредельной.
цитируют только группы больших начальников, от которых зависит получение ИХ будущих грантов.
от русских не зависит вообще ничего, поэтому можно

  1. попросту присвоить их результаты, немного переделав название
  2. не цитировать их вообще

ограничивается это всё только (отсутствующей) совестью.

semen Semenov
semen Semenov
2 года (лет) назад
В ответ на:  Пал Палыч

Ну, по-настоящему меня изумил только один испанский коллега, опубликовавший не где-нибудь, а Phys Rev Letters статью, где в довольно убогом виде излагались наши результаты, изложенные в десятке статей. Пикантность ситуации была в том, что примерно за год до этого я прислал на конференцию, где он был председателем, абстракт с названием, которое близко к тексту пересказано в статье. На конференцию я не поехал, и этот сеньор решил, что идея хорошая и уже можно.

Последняя редакция 2 года (лет) назад от semen Semenov
Denny
Denny
2 года (лет) назад

Преступление против принципа Оккама.

res
res
2 года (лет) назад
В ответ на:  Denny

В смысле? ))

Denny
Denny
2 года (лет) назад
В ответ на:  res

«При разработке показателей публикационной активности и суверенной базы данных научного цитирования учитывала бы следующее»

res
res
2 года (лет) назад
В ответ на:  Denny

Не могу понять эту бюрократическую казуистику ((
Помогите ))

Denny
Denny
2 года (лет) назад
В ответ на:  res

Пардон. Предлагаемые к рассмотрению и учету факторы ужасно переусложнены. ИМХО, такая сложная система никогда реально работать не будет.

res
res
2 года (лет) назад
В ответ на:  Denny

Согласен, маниловщина. Впрочем, и предыдущие не работали а кормили трутневый бюраппарат.

Последняя редакция 2 года (лет) назад от res
semen Semenov
semen Semenov
2 года (лет) назад
В ответ на:  Denny

Все как обычно: если оценивать опубликованные статьи просто по вражеским квартилям журналов, как сейчас только-только начали делать, то для самодеятельности администраторов остается относительно немного места, а каждая бюрократическая система по определению стремится к максимальному увеличению своих полномочий и к расширению их области действия. Ясно, что для руководства чем сложнее — тем лучше. Тем оно нужнее делается.

eugen
eugen
2 года (лет) назад
В ответ на:  Denny

Мне кажется, что эта фраза отражает ход мыслей благодаря которому развиваются два процесса, потенциально опасные для науки в России — это «суверенизация» фундаментальных исследований и требования соединить фундаментальные исследования с прикладными разработками. Для фундаментальных исследований (где в принципе не может быть никаких тайн и секретов) необходима интеграция в международное академическое сообщество для свободного общения с коллегами, доступа к свежей информации, а также к («их») экспериментальным facilities. Для российского бюджета такие исследования как правило не требуют больших затрат (а иногда вообще выполняются за счет «принимающей стороны»). Эти исследования фактически обеспечивают поток научной информации в Россию. Что касается прикладных разработок, то они и должны регулироваться правительством, т.к. могут быть и секретными, и затратными.

Old_Scientist
Old_Scientist
2 года (лет) назад

Академия наук, как известно, сейчас не имеет никакого отношения к научным институтам, которые раньше были в ее составе. Но чиновникам и общественным активистам, заседающим в комиссиях РАН, по прежнему хочется руководить, указывать, и оценивать работу научных сотрудников в этих институтах. Как известно, любимое занятие чиновников в любой конторе — это желание быть главными, контролировать, управлять и надзирать за людьми, которые реально работают. Чиновники в РАН называют это «экспертной деятельностью». И вот теперь эти, чужие для ученых люди, опять настойчиво лезут в научные институты. Не имея никакого права на вмешательство в жизнь ученых. Вы разберитесь для начала с ситуацией в РАН, к которой вы относитесь. Например, сколько среди членов РАН абсолютных пустышек в науке, и как их из академии выгнать.И отстаньте уже от рядовых научных работников.

Последняя редакция 2 года (лет) назад от Old_Scientist
res
res
2 года (лет) назад
В ответ на:  Old_Scientist

Самым эффективным средством очищения РАН от балласта есть отмена академических пожизненных стипендий. Их, кстати, нигде и нет ))

Рабочи
Рабочи
2 года (лет) назад
В ответ на:  res

Мне кажется наоборот, те смешные копейки нужно оставить, но выводить людей из активных членов в почетные после 65 лет «с сохранение» выплат. На их места набирать новых. Но доплата должна быть не абсолютной, а доплатой до этих величин. То есть если человек и так имеет эти деньги, то ему 0.

Denny
Denny
2 года (лет) назад
В ответ на:  Рабочи

Кого брать-выгонять-платить — все это относится к области методов. Непонятно, зачем вообще нужна РАН и каковы ее задачи. Только исходя из задач и учитывая ситуацию, можно говорить о методах решения задачи. Нынешняя проблема в том, что от того, кого куда вибирт и кому сколько заплатят, вообще ничего не зависит. Вот и выбирают кого попало. А если бы эти люди нужны были для какого-то реального дела, то исходя из интересов этого дела уже можно было бы формулировать критерии отбора.

В.П.
В.П.
2 года (лет) назад
В ответ на:  Denny

РАН — это атавизм. Использовался в основном для отвлечения внимания внешних наблюдателей как спорт и балет. Вот у нас есть фундаментальная наука, это вклад России в мировую цивилизацию, мы ею гордимся. Теперь такая потребность отпала. А атавизм пока ещё не отпал.

Denny
Denny
2 года (лет) назад
В ответ на:  В.П.

Да, заголовок не про это, но подходит.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (21 оценок, среднее: 3,95 из 5)
Загрузка...