Комментарий к «дискуссии про методы оценки»

Михаил Фейгельман
Михаил Фейгельман

В ТрВ-Наука № 305 от 19.05.2020 опубликовано несколько материалов на одну тему (основной — А. Абалкиной, А. Заякина и А. Ростовцева — и два отклика на него — А. Иванчика и О. Богомоловой [1]). Как сообщается в «подводках» к ним, имеет место дискуссия на тему методов оценки продуктивности научных организаций. Суть дискуссии такова: авторы основной статьи показывают, что принятая после «жарких дискуссий» новая министерская система провоцирует использование фальшивок под видом научных статей, в то время как их оппоненты утверждают, что эта система всё же лучше исходной, обнародованной в январе 2020 года (то был последний всхлип министерства под управлением М. Котюкова).

Мне кажется, тут нет предмета для дискуссии — правы и те, и другие. Однако всё это обсуждение идет в рамках выбора между плохим и очень плохим — и потому неудовлетворительно. Стоит задуматься о том, как привести состояние дел к приемлемому. Ответ, на мой взгляд, довольно прост: нужно создать открытый сетевой ресурс, содержащий список фальшивых квазинаучных журналов, рекламирующих свои услуги по созданию «научных публикаций под ключ». После чего выпустить приказ министерства, согласно коему статьи, предъявленные энтузиастами подтасовок и опубликованные в журналах из этого списка, не будут учитываться в «общем зачете» учреждения (даже если будут по недоразумению проиндексированы WoS или Scopus). А через год можно еще усилить эти меры, объявив наличие публикаций в таких журналах приводящим к отрицательным баллам в «общем зачете».

Сделать такой ресурс, безусловно, под силу специалистам «Диссернета». Достаточно уже того, что эти «журналы» сами о себе сообщают в бесконечных рекламных рассылках.

Только не надо создавать очередную министерскую комиссию (с параллельной комиссией Президиума РАН) и проводить очередной многомиллионный конкурс — вот «этого всего» точно не надо, хватит уже. Нужно всего лишь публичное заявление В. Фалькова о том, что Министерство науки и высшего образование будет использовать такой пополняемый «список паразитов», если его кто-то создаст. Поддержание списка в актуальном состоянии потребует некоторых регулярных расходов, но небольших, и министерство, безусловно, найдет способ их обеспечить при желании.

Михаил Фейгельман

1. А WoS и ныне там, или Квартильный вопрос; «Лекарство не должно быть хуже болезни»; «Наукометрия — лишь инструмент, а не универсальный критерий».

Подписаться
Уведомление о
guest

31 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Ilya Garber
4 года (лет) назад

Предложение разумное, но недостаточное. Все-таки это оценка журнала, а не статьи, опубликованной в нем. Есть издания со сложной репутацией, например, Frontiers. В них есть немало первоклассных публикаций, но есть и мусор.

Елена
Елена
4 года (лет) назад
В ответ на:  Ilya Garber

Можно ограничится официальным списком журналов, которые скопус выкидывает каждый год. Одного этого хватит для начала.

Леонид Аснин
4 года (лет) назад

Предложение разумное, но оно борется с предложением, а не со спросом. Пока будет публикационное давление, будут публиковаться мусорные статьи. ВУЗы начнут выпускать сборники с меняющимися названиями или еще что-нибудь придумают.

Надо квалификационные требования делать разумными. Нельзя требовать публикаций от преподавателя с нагрузкой 900 часов в год (25 ч/неделя). Пока Министерство будет давить, не создавая условий для выполнения своих требований, люди будут искать (и находить) способы обойти эти требования.

Denny
Denny
4 года (лет) назад
В ответ на:  Леонид Аснин

Не согласен. Требовать от ВУЗовского преподавателя реальной научной работы можно и нужно. Нельзя его нагружать на 900 часов в год. Беда как раз в том, что ВУЗовские преподаватели выбирают именно такую схему. Причина проста. Тянуть свои часы могут, а вот делать научную работу — уже в большинстве не могут совсем. Они действительно стали преподавателями и перестали быть учеными (не все, разумеется, но в очень большой степени).

А цивилизованный мир живет по другой схеме. То, что 30 лет назад было игрушками молодых ученых, сейчас превратилось в передовые и высокодоходные отрасли. А сами молодые ученые как раз стали профессорами в университетах. И могут заниматься подготовкой специалистов для этих самых отраслей. Ибо сами прошли это дело от А до Я.

Но никаких специалистов не подготовят преподаватели, которые окромя своих 900 часов ничего никогда не делали.

В.П.
В.П.
4 года (лет) назад
В ответ на:  Denny

Как Вы полагаете инженерам нужно преподавать матан? Хватит ли в России математиков, публикующихся в Q1-Q2, чтобы заполнить преподавательские вакансии только в московских инженерных вузах?

Denny
Denny
4 года (лет) назад
В ответ на:  В.П.

Я писал про университеты и о подготовке соответствующих кадров. Что до инженеров, то им преподавать должны те, кто в их инженерном деле работал и работает. У них иные критерии профпригодности. Не статейные. И таких специалистов должно хватать просто из пропорции работающих и обучающихся.

В.П.
В.П.
4 года (лет) назад
В ответ на:  Denny

Сейчас требуют статьи у всех вузовских преподавателей и у тех, кто учит инженеров, педагогов, медиков и менеджеров. Сомневаюсь, что для обучения инженеров интегрированию нужен опытный высококвалифицированный инженер, мне кажется достаточно заурядного выпускника мехмата.

Denny
Denny
4 года (лет) назад
В ответ на:  В.П.

Совершенно согласен с тем, что не надо требовать от всех именно статей. Это для тех, кто реально наукой занимается и соответствующие кадры готовит. Есть много видов деятельности помимо науки, которые требуют высшего образования. И там свои критерии. Грубо говоря, врач должен уметь лечить, а не статьи писать. А инженер — проектировать и строить.

А вот про заурядного выпускника мехмата не согласен. Он может только заурядно пересказывать то, чему худо-бедно на мехмате научили. Он понятия не имеет, кому, что и для чего читать.

Какое интегрирование нужно инженеру? По Риману или по Лебегу? Нужны ли все хитрости взятия первообразных, или достаточно знать, где по таблице искать? А может инженеру важнее численные методы интегрирования и умение соответствующим софтом пользоваться? Нужны инженеру кратные, криволинейные и поверхностные интегралы? В каком объеме? В каких областях большого инженерного дела что надо знать и уметь? Курс-то не резиновый…

Опыт показывает, что заурядный выпускник мехмата читает просто галопом-по-Европам. В результате будущие инженеры НИЧЕГО толком не знают.

Тут нужен специалист с математической подготовкой, который в данной инженерной области работал и работает. Он может и курс грамотно составить и курсовые-дипломные работы вести на нужном уровне.

В.П.
В.П.
4 года (лет) назад
В ответ на:  Denny

Хорошо. Пусть такие лекторы по высшей математике найдутся в достаточном количестве. Но ведь помимо лекторов ещё практику по высшей математике кто-то должен вести. Даже на нашем новосибирском мехмате практику ведут не только научные сотрудники, но и профессиональные преподаватели. Потому что у них это не хуже получается, и научные сотрудники вовсе не горят желанием набирать себе по 20 учебных часов в неделю.

Denny
Denny
4 года (лет) назад
В ответ на:  В.П.

Это наша большая беда (ИМХО). Я об этом писал неоднократно. Преподаватели имеют по 900 часов именно потому, что университеты/институты есть просто учебные заведения, не связанные с практическим делом. Если бы институт, обучающий инженеров, был центром компетенций в своей области, вовлеченный в реальные проекты, людей бы на все хватило.

Михаил
4 года (лет) назад
В ответ на:  В.П.

Если тем, кто публикуется в  Q1-Q2, будут хорошо платить в России, то хватит.:)

В.П.
В.П.
4 года (лет) назад
В ответ на:  Михаил

Россия увы резервную валюту не печатает, поэтому так хорошо платить всем преподавателям здесь не смогут.

Михаил
4 года (лет) назад
В ответ на:  В.П.

Ну, можно же расходы на высшее образование, скажем, утроить.:)

eugen
eugen
4 года (лет) назад
В ответ на:  Denny

«ВУЗовские преподаватели выбирают именно такую схему». Мне кажется, что «такую схему» создает министерство, а у преподавателей выбора просто нет. Причем правила «игры» все время меняются. Какие российские университеты имеют facilities для ведения исследований на современном международном уровне? МГУ? Где еще? «А цивилизованный мир живет по другой схеме». Наверное стоит обратить внимание именно на «схему». Думается, что преподаватели, «которые окромя своих 900 часов ничего никогда не делали» просто соответствуют условиям, созданными для них.

Denny
Denny
4 года (лет) назад
В ответ на:  eugen

Совершенно верно. Преподаватели соответствуют схеме функционирования ВУЗов.
 
Вопрос в другом. Хотят ли преподаватели, чтобы эта схема поменялась? Готовы ли они меняться сами при изменении схемы? Или будут эту схему защищать?
 

eugen
eugen
4 года (лет) назад
В ответ на:  Denny

«Хотят ли преподаватели, чтобы эта схема поменялась?… будут эту схему защищать?» по моим наблюдениям за штатными преподавателями (я совместитель на 4% или уже 2% ставки) им совсем не нравится когда их вынуждают заниматься созданием бумаг с нелепым, с их точки зрения, содержанием. IMHO: университетское образование должно определяться именно профессурой, которая должна иметь возможность успешно работать в науке. Проблема в том, что такая схема действует в немецких, американских и возможно еще каких университетах, но там министерства если и есть, то их совсем не заметно.

Denny
Denny
4 года (лет) назад

Не могу поддержать. Кто-то будет создавать некие проскрипционные списки. Приведет это только к огромной сваре за право такие списки составлять. И к бесконечным жалобам и конфликтам интересов. В результате получится жалкая пародия на списки WoS, Scopus и РИНЦ. Которые именно для этой цели и существуют. Многочисленные заморочки этих систем показывают, что дело это (фильтрация мусора) трудное, неоднозначное и затратное.

res
res
4 года (лет) назад
В ответ на:  Denny

+1 ))

Old_Scientist
Old_Scientist
4 года (лет) назад

Забудьте про WoS, Scopus и РИНЦ. Прочитайте в этом номере ТРВ статью В. Власова «Еще китайский поворот». Резкое изменение в оценке эффективности китайских ученых. Больше никаких импакт-факторов и рейтингов. Только реальные достижения, опубликованные в первую очередь в китайских журналах. Наконец-то, добавлю от себя. Надо прекращать эту безумную гонку за рейтингами.

Леонид Коганов
Леонид Коганов
4 года (лет) назад
В ответ на:  Old_Scientist

«Забудьте все, чему вас учили раньше…. Теперь учитесь у типа китайцефф, особливо уханьского розлива…»
В.И., простите, что щас в Пензе столь же жарко, как в Москве?
Мы еще сами китайцефф обучим, как врать поменьше, в науке, в том числе, в медицинской и прочей.
Л.К.

Леонид Коганов
Леонид Коганов
4 года (лет) назад

А Галина Александровна (кажется, я не вру! — Л.К.) Цирлина — где?
Как чувствует себя, нормально? Спрашиваю без подколки и типа безо всяких задних мыслей.
Споры — спорами (иногда и ссорами), но здоровья (и чтобы безо всякого совершенно ненужного ковида) — всем! Без исключения.
Л.К.

Леонид Коганов
Леонид Коганов
4 года (лет) назад
В ответ на:  Леонид Коганов

https://www.mk.ru/social/2020/06/08/rezhim-samoizolyacii-v-moskve-otmenyat-9-iyunya.html
Маски и перчатки — в общественных местах — пока что обязательны!
(согласно НСН — Л.К.).
Л.К.

Наиль Фаткуллин
Наиль Фаткуллин
4 года (лет) назад

Если завести разговор всерьез, то нужно
стартовать, как минимум, со следующего:
1. Природа российского государства.
2. Место и роль фундаментальной науки в этом государстве (для чего попу гармонь..?).
3. Почему интеллектуальная деятельность столь низко ставится российском государстве?

Михаил Родкин
Михаил Родкин
4 года (лет) назад

Так ведь, в «министерских начинаниях» по этому вопросу почти уже и ответ — статьи оцениваются по рейтингу издания. Ну … с огрублениями в виде разных квартилей и их параметризации. Если оценка тесна связана с рейтингом — читаемостью-цитируемостью данного журнала, то публиковаться в мусорных изданиях обычному сотрудники станет просто бессмысленно, да даже и бесплатно. «Публикации за деньги без рецензирования» отомрут сами. Другое дело, «генералу от науки» — ему не нужны эти «денежки за ПРНД», ему важнее длинный список трудов. Но у таких не мало возможностей размножать свои труды и иными способами. Кстати, оценивать публикуемость не по валу (типично социалистический подход — тонны и метры), а на основе цитируемости изданий — как основу ПРНД — предлагал здесь еще на заре оной … и там же писал, что так реализовано не будет, так как это вредно академическому генералитету.

Александр
Александр
4 года (лет) назад
В ответ на:  Михаил Родкин

Не только по этому. Цитируемость в различных областях разная, придется или все равно для каждой области вводить некие баллы, или же просто загубить эти области. Пока что более-менее работает. В среднем доля полезных высококачественных работ в Q1 существенно выше, чем в журналах списка ВАК без попадания в WoS, Scopus

Михаил Родкин
Михаил Родкин
4 года (лет) назад
В ответ на:  Александр

Так ведь — если грамотно — никто и не сравнивает медицину с математикой. На независимое шкалирование по разным направлениям у чиновников понимания хватило. Ошибки конечно будут … и будут всегда. Вопрос просто в разной степени разумности … ну или глупости.

Александр
Александр
4 года (лет) назад
В ответ на:  Михаил Родкин

Слишком много шкал. В одной физике будет порядка сотен направлений для которых надо разные шкалы. И для каждой шкалы надо созвать комиссию, которая в этой области разбирается. Не реально.

Михаил Родкин
Михаил Родкин
4 года (лет) назад
В ответ на:  Александр

Вопрос в точности. Ошибка в 50% здесь допустима. А идеального решения не бывает в принципе. Вообще то стандартные рекомендации НарОбРаза в этом смысле и не столь чудовищны.

Александр
Александр
4 года (лет) назад
В ответ на:  Михаил Родкин

Разогнать 50% направлений? Зачем придумывать новые критерии, которые не лучше старых?
 

Елена
Елена
4 года (лет) назад

Здравствуйте! 1.Я точно такую же идею высказывала несколько раз, как только мусорные журналы будут убраны из оценки научной эффективности(результативности), моментально Вузы и Академия среагируют и подобных публикаций будет в разы меньше. 2. Однако при этом я бы все таки рекомендовала (в разы) увеличить баллы за публикацию топа q1 в Web of science. 3. Я очень сомневаюсь, что это будет когда-то принято, потому уровень отечественных ученых настолько упал, что в реальной международной конкуренции нашим ученым по рядам специальностям уже делать нечего. И против этого сейчас больше всего будут возмущаться те псевдо ученые, кто понимают, отберут мусорные журналы, публикаций не будет никогда, а конкурс проходить надо и по баллам отчитываться и по грантам. Международный уровень не достигается за день, когда берется любой связанный текст, переводится и публикуется и все показатели закрыты. Тут иногда годами работать надо, а кто же этого хочет? Пока не обвалится еще несколько ракет, будет несколько аварий и т.д. Тогда может понимание будет того, что все вокруг взаимосвязано. И, если мы подтасовываем научные показатели и деньги по госзаданиям и по грантам пускаем на поддержку мусорных журналов, то лучше реальность не сделаем. Неэффективное использование бюджетных средств.

Елена
Елена
4 года (лет) назад
В ответ на:  Елена

Хотела еще добавить, что умственный труд -он везде тяжелый. И тут нет особой разницы между научной специализацией, и когда говорят, ну вот математикам-то легко, а вот экономисты как могут статьи написать? Тяжело и нервно всем и, если экономисты и гумманитарии дальше будут стоять на позиции, что пусть остальные ученые сутками пашут и работают, а мы вот статьями ВАк закрывать будем гранты и показатели, да еще и мусором, то прогресса не будет нигде(думаете, этими решениями лучше делают для ученых-гумманитариев? У государства денег на всех не хватит, рано или поздно математики пролоббируют свои интересы для грантов, и гумманитарии вообще останутся без денег или по остаточному принципу)
Поэтому показатели должны быть везде одинаковые, но может отличаться немного для специализаций. Т.е. из показателей научной эффективности Вуза нужно выкидывать мусорные статьи для всех специальностей, как и ставить баллы только для топовых журналов опять же для всех, для всех учреждения науки и образования. Раз в год список Scopus обновляется, указывается причина, если журнал удалили из списка по причине нарушения редакционной этики, то на количество этих статей уменьшать показатели научной эффективности, также можно ввести понижающий коэффициент, учитывающий процент этих статей в общем объеме публикаций. И проблема решена сразу. Да, забыла написать, тезисы конференций не учитывать. Только статьи.

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (4 оценок, среднее: 4,25 из 5)
Загрузка...