К вопросу о пересмотре показателей публикационной активности и возможности создания суверенных баз данных научного цитирования
Власти ввели мораторий на учет публикаций российских ученых в зарубежных научных журналах и их участия в международных конференциях [1], Минобрнауки активно собирает предложения по созданию национальной системы оценки результативности научных исследований и разработок [2] и вариантам создания новой базы данных научного цитирования.
На мой взгляд, целью никогда не могут стать показатели как таковые, ведь они нужны не просто так. Поэтому смотрела бы на ситуацию шире, поставив во главу угла не оценку, а создание условий, в которых к российским ученым возрастет доверие. Новые показатели публикационной активности и суверенная база данных научного цитирования могут в этом деле помочь, но, как говорится, не оценками едиными жив ученый… Вела бы параллельно два процесса: думала бы о показателях и базах, а заодно реализовывала бы усилия, нацеленные на выстраивание новой нормальности.
Новая нормальность подразумевает, что научные статьи пишутся не для отчетов, что имеет значение репутация ученого, этичное поведение в сфере науки целесообразно, есть ответственность за нарушения академической честности — подложные ученые степени и публикации рассматриваются как элемент коррупции в рамках статей УК РФ: служебный подлог (статья 292 УК РФ), мошенничество (статья 159 УК РФ), нецелевой расход бюджетных средств (статья 285.1 УК РФ).
Начать можно с амнистии: нарушители академической честности сохранят свои должности (кроме руководителей сферы науки и образования), но отказываются от ученых степеней. Это серьезным образом снизит наукометрическую нагрузку и разного рода искажения в экспертном поле, упростит работу с университетами (пока в руководстве есть люди с доказанной академической бесчестностью, сложно поверить в реальные, а не номинальные перемены).
Перспективными представляются «штрафы» за нарушения академической честности, при расчете показателей делала бы автоматический пересчет рейтинга в пользу того, у кого текст недобросовестно заимствован.
Важно разработать несколько НПА (нормативно-правовых актов), например, запрещающих работу журналов-хищников, покупное, приписное авторство и иные устойчивые нарушения норм этики научных публикаций; запрещающих рекламу недобросовестных академических практик (покупное авторство, написание текстов на заказ, публикации «под ключ» и т. п.).
Сфокусировала бы внимание на развитии института экспертизы и рецензирования, формировании корпуса экспертов (с привлечением низовых инициатив).
Представляется важным учесть, что наметившийся отказ от международного сотрудничества повлечет увеличение нагрузки на отечественные издания. Это означает, что должен быть пересмотрен статус научного редактора, в отрасль необходимо привлечь молодых специалистов и обеспечить адекватную заработную плату.
Уместно обязать распоряжения Минобрнауки к общественной экспертизе (чтобы не повторилась ситуация, когда за нарушения и мошенничество массово выдаются надбавки, а добросовестное оказывается нецелесообразным).
А теперь про суверенную базу данных. По моим ощущениям, пора все-таки слезть с лошади, которая умерла. Не стоит строить очередной «Хирш», пусть и на базе «государственной системы научно-технической информации, обеспечивающей централизованную обработку и децентрализованное использование научно-технической информации». Мы уже знаем наверняка, почему это не работает.
При этом оптимистично отмечу, что суверенная база может быть реализована в новой логике, отличающей ее от конкурентов, то есть стать флагманской. Например, ее можно сделать с использованием инструментов ИИ (искусственного интеллекта). Это хороший шанс сформировать базу с нуля, сделав менее уязвимой и более адекватной современному миру и его возможностям.
Что может дать ИИ? Например, «обратный» вариант разработки индекса. С помощью группы экспертов по ряду отраслей или направлений отбираются действительно важные авторы и публикации, затем ИИ на базе этой выборки анализирует их публикации, цитирования — и строит модель, которая будет давать некоторый индекс уже на базе неизвестной заранее методики (методику построит ИИ).
При разработке показателей публикационной активности и суверенной базы данных научного цитирования учитывала бы следующее:
- Важно проанализировать параметры, заложенные в существующие индексы, провести адекватный отбор необходимых показателей. Провести проработку и учет новых показателей для создания математической модели индекса, в том числе полноценно принять во внимания обзоры и исследования по данной теме, например [3]. Проверить параметры на устойчивость к мошенничеству. Обеспечить совместимость созданного индекса с существующими (иначе это будет не совсем внятная система, повисшая «в вакууме»).
- Алгоритм оценки должен быть динамическим. В противном случае он не защищен от мошенничества (симулировать необходимые параметры под статистическую оценку совершенно не трудно, в итоге мы видим, что на настоящий момент имеет место не поощрение научной деятельности, а поощрение лучших мошеннических практик).
- Подсчет индекса — это работа с динамически быстро изменяемой системой (постоянно возникают новые направления, данные, важные изобретения в совершенно различных областях, при этом часть прежне важных данных быстро устаревает), это должно быть учтено при разработке базы данных. Надо помнить, что речь идет не об одном индексе, а о системе индексов, включающей оценку не только статей, но и авторов, академических изданий, научных направлений, рецензентов. В научных публикациях все они неразрывно связаны, невозможно построить полноценную систему анализа, опираясь на мониторинг лишь одного из них.
- Важна опция рейтингования журналов и издательств, в которых цитировались статьи авторов.
- Рецензирование (экспертные заключения для журналов должны учитываться и иметь свой вес при оценке репутации ученого).
- Работа с «шумами» в информационном смысле (по Шеннону) — необходима опция фильтрации: исключение дублирующих публикаций и т. д. Это даст возможность, например, для анализа корпуса соавторов с целью выявления «покупного соавторства».
- Каталогизация: чтобы поддерживать актуальность сведений, надо новые публикации (и старые, возможно, тоже) каталогизировать, то есть относить к тем или иным областям научных знаний. Важные разработки идут на стыках научных дисциплин и возникает сложная задача: куда отнести публикацию? Пример — радиометрия с использованием радиоактивного материала в медицине (это и ядерная физика, и медицина).
- Учитывать размывание границ между техническими и «гуманитарными» дисциплинами. Пример — генетический анализ в медицине, археологии и истории (пути миграций), т. е. необходима возможность относить материалы сразу к нескольким категориям.
- Важно заложить адекватные параметры оценки цитирования авторами из смежных научных дисциплин. Таким образом, ученые, работающие на стыке нескольких дисциплин, могут получить более высокие показатели.
- Индекс должен позволять «измерять» важность публикаций для конкретной страны или отрасли, для оценки вложений ресурсов в это направление.
- Подсчет индекса — это «большие данные». Нужны полноценные поисковые системы со статистической обработкой.
- Поддержка множества языков (как минимум основные европейские и азиатские).
- Анализ и проработка корреляции между существующими индексами и новым для возможности проверки оценочных характеристик публикаций и учета исторических данных.
- Связь с актуальностью научного направления: если проводить измерения наибольшего количества новых патентов или исследований в том или ином направлении (например, резкий рост исследований и новых материалов при открытии графена), то можно связать индекс цитирования с актуальностью с точки зрения инноваций.
- Реализация возможности рейтингования материалов экспертами (из «белого» корпуса экспертов), т. е. опция саморегулирования академической среды.
- Интеграция с базой ретрагированных статей.
- Интеграция с сервисами депонирования.
- Возможность публикации и учета препринтов.
Несмотря на кажущуюся сложность, мы вполне можем наметить план действий для создания такой суверенной базы:
- Создание списков источников данных, на основе которых будет разрабатываться индекс (на первых этапах в основу отечественной базы данных могут быть заложены издания из RSCI, «белые» списки НИУ ВШЭ, ядро РИНЦ).
- Создание математического аппарата построения индекса.
- Определение объемов обрабатываемых данных в динамике, требований к подобной системе и т. д.
- Построение «пилота» для одного или нескольких языков и регионов, либо научных направлений, отладка системы.
- Постепенное развертывание с добавлением источников данных для глобального охвата.
Анна Кулешова, канд. социол. наук, председатель Совета по этике научных публикаций,
член Комиссии РАН по противодействию фальсификации научных исследований
2. minobrnauki.gov.ru/press-center/news/? ELEMENT_ID=48219
3. Saarela M., Kärkkäinen T., Lahtonen T., Rossi T. Expert-based versus citation-based ranking of scholarly and scientific publication channels // Journal of Informetrics. Volume 10. Issue 3. 2016. P. 693–718. DOI: 10.1016/j.joi.2016.03.004
Нет науки, нет проблем с ее оценкой!
Нас опять ведут к великим потрясениям, которых так не хотел наш президент (РАН). Еще не заработала как следует «старая» система, и пока нельзя оценить ее эффективность, но нам уже опять предлагают «до основанья, а затем…». Да можно как угодно составить эту самую базу, но система оценок в любом случае должна содержать критерии оценки публикаций. Какие будут суверенные критерии вместо квартилей прочих импакт-факторов? И зачем их вводить? Ведь господин вице-премьер Чернышенко, когда повелел создать новую систему оценки эффективности научного труда, он мотивировал это некими сведениями о дискриминации российских авторов в международных журналах. Я не знаю, кто нашептал это на ухо господину Чернышенко, его собственные публикации на английском явно никто не дискриминировал. Я публикуюсь в англоязычных журналах с середины восьмидесятых. Случаи дискриминации действительно были, но они не были связаны с тем, что я работал в СССР или в России. Господин Чернышенко явно путает прикладную науку, для которой все эти критерии работали не так, чтобы очень, и науку фундаментальную, эффективность которой практически везде оценивают одинаково.
В СССР действительно была создана некая суверенная наука, сравнимая по мощности с мировой. И для нее действительно не было особой нужды в неких интернационализированных критериях оценки. Просто потому, что денег все равно давали немеряно и на всех хватало. Но я не думаю, что мы сейчас можем безболезненно для остатков советской науки вернуться к такой системе. Ну, создадим мы некую местечково-хуторянскую фундаментальную науку, а с какой целью?
Проблема дискриминации русских ученых, на мой взгляд, слишком преувеличена. В последнее время мне приходилось подавать рукописи в иностранные журналы. Не заметил особой предвзятости. Более того, отдельные журналы (в основном платные, но с высоким импакт-фактором) даже повысили интенсивность работы по привлечению меня в качестве автора и рецензента.
Да ее по-моему вообще нет. Мне об этом говорили люди, публикующие в англоязычных журналах от силы одну статью в несколько лет, в компании нескольких подчиненных. У меня, все-таки выборка побольше. Дискриминация начинается, когда задеваешь чьи-то групповые интересы. В моем случае — это наглое «нецитирование» и воспроизводство под своими именами наших старых результатов.
Руководство понять можно. Нужно как-то заинтересовать работников заниматься прикладными работами, ориентированными на технологии и промышленное внедрение. А какие там публикации, когда всё под теми или иными грифами? Патент на 20 человек, включая всех начальников раз в 5 лет?
А какой смысл заниматься этими «работами»? Я бы ни за какие деньги не стал (которых там никогда и не будет). Не один нормальный человек на себя гриф не возьмет. Залезешь туда, потом тебя там прокинут, а ты и рассказать никому не сможешь… гриф-с.
С этим спорить невозможно. Прикладная наука должна оцениваться как-то иначе. Во всем белом свете она оценивается просто деньгами, которых в фундаментальной науке сроду не заработаешь. Но не бывает нигде прикладной науки без фундаментальной. Это же действительно фундамент. И в этой самой фундаментальной науке невозможно создать свою, отдельную систему оценки результатов, не опирающуюся на международно признанные критерии. Все остальное в теперешних условиях — от лукавого, ведет просто к понижению уровня и местечковизации.
да, наглость нецитирования становится запредельной.
цитируют только группы больших начальников, от которых зависит получение ИХ будущих грантов.
от русских не зависит вообще ничего, поэтому можно
ограничивается это всё только (отсутствующей) совестью.
Ну, по-настоящему меня изумил только один испанский коллега, опубликовавший не где-нибудь, а Phys Rev Letters статью, где в довольно убогом виде излагались наши результаты, изложенные в десятке статей. Пикантность ситуации была в том, что примерно за год до этого я прислал на конференцию, где он был председателем, абстракт с названием, которое близко к тексту пересказано в статье. На конференцию я не поехал, и этот сеньор решил, что идея хорошая и уже можно.
Преступление против принципа Оккама.
В смысле? ))
«При разработке показателей публикационной активности и суверенной базы данных научного цитирования учитывала бы следующее»
Не могу понять эту бюрократическую казуистику ((
Помогите ))
Пардон. Предлагаемые к рассмотрению и учету факторы ужасно переусложнены. ИМХО, такая сложная система никогда реально работать не будет.
Согласен, маниловщина. Впрочем, и предыдущие не работали а кормили трутневый бюраппарат.
Все как обычно: если оценивать опубликованные статьи просто по вражеским квартилям журналов, как сейчас только-только начали делать, то для самодеятельности администраторов остается относительно немного места, а каждая бюрократическая система по определению стремится к максимальному увеличению своих полномочий и к расширению их области действия. Ясно, что для руководства чем сложнее — тем лучше. Тем оно нужнее делается.
Мне кажется, что эта фраза отражает ход мыслей благодаря которому развиваются два процесса, потенциально опасные для науки в России — это «суверенизация» фундаментальных исследований и требования соединить фундаментальные исследования с прикладными разработками. Для фундаментальных исследований (где в принципе не может быть никаких тайн и секретов) необходима интеграция в международное академическое сообщество для свободного общения с коллегами, доступа к свежей информации, а также к («их») экспериментальным facilities. Для российского бюджета такие исследования как правило не требуют больших затрат (а иногда вообще выполняются за счет «принимающей стороны»). Эти исследования фактически обеспечивают поток научной информации в Россию. Что касается прикладных разработок, то они и должны регулироваться правительством, т.к. могут быть и секретными, и затратными.
Академия наук, как известно, сейчас не имеет никакого отношения к научным институтам, которые раньше были в ее составе. Но чиновникам и общественным активистам, заседающим в комиссиях РАН, по прежнему хочется руководить, указывать, и оценивать работу научных сотрудников в этих институтах. Как известно, любимое занятие чиновников в любой конторе — это желание быть главными, контролировать, управлять и надзирать за людьми, которые реально работают. Чиновники в РАН называют это «экспертной деятельностью». И вот теперь эти, чужие для ученых люди, опять настойчиво лезут в научные институты. Не имея никакого права на вмешательство в жизнь ученых. Вы разберитесь для начала с ситуацией в РАН, к которой вы относитесь. Например, сколько среди членов РАН абсолютных пустышек в науке, и как их из академии выгнать.И отстаньте уже от рядовых научных работников.
Самым эффективным средством очищения РАН от балласта есть отмена академических пожизненных стипендий. Их, кстати, нигде и нет ))
Мне кажется наоборот, те смешные копейки нужно оставить, но выводить людей из активных членов в почетные после 65 лет «с сохранение» выплат. На их места набирать новых. Но доплата должна быть не абсолютной, а доплатой до этих величин. То есть если человек и так имеет эти деньги, то ему 0.
Кого брать-выгонять-платить — все это относится к области методов. Непонятно, зачем вообще нужна РАН и каковы ее задачи. Только исходя из задач и учитывая ситуацию, можно говорить о методах решения задачи. Нынешняя проблема в том, что от того, кого куда вибирт и кому сколько заплатят, вообще ничего не зависит. Вот и выбирают кого попало. А если бы эти люди нужны были для какого-то реального дела, то исходя из интересов этого дела уже можно было бы формулировать критерии отбора.
РАН — это атавизм. Использовался в основном для отвлечения внимания внешних наблюдателей как спорт и балет. Вот у нас есть фундаментальная наука, это вклад России в мировую цивилизацию, мы ею гордимся. Теперь такая потребность отпала. А атавизм пока ещё не отпал.
Да, заголовок не про это, но подходит.