Как оценивать и премировать ученых?

Рис. М. Смагина
Рис. М. Смагина

PavelКак оценить эффективность работы ученого? Как поощрить лучших? Есть ли зарубежный опыт, которым можно разумно воспользоваться? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г.н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.

О попытке выполнить данное не нам поручение

Одним из поручений [1] по итогам заседания Совета по науке и обра­зованию, состоявшегося 20 декабря 2013    года [2], было «представить предложения по установлению по­вышенной оплаты труда отдельным категориям научных работников, до­стигших высоких результатов в на­учной деятельности. Срок — 1 мая 2014   года. Ответственные: Медве­дев Д.А., Фортов В.Е.»

Еще в январе несколько членов ОНР, включая автора этих строк, по­пытались что-то предложить на сей счет. Первой мыслью было взять за отправную точку предложение Сове­та ОНР лета 2012 года [3]. Оно сво­дилось к следующему: на первом этапе поддержать стипендиями по 30 тыс. руб. в месяц сотрудников го­сударственных научных учреждений, опубликовавших за последние 3 года не менее порогового числа статей в журналах и материалах конферен­ций, индексируемых Web of Science.

Расчет тогда показал, что 10 тыс. стипендий получится, если установить порог на уровне примерно 6 статей и из бюджета брать 3,6 млрд руб. в год. Предлагалось также через год про­вести второй этап на основе более детального анализа заявок (заявки ожидались от ученых, за три года опу­бликовавших не менее трех статей, индексируемых WoS). Здесь можно было бы учесть разброс публикацион­ной активности по областям, импакт- факторы журналов и т.п. и выделить еще 10 тыс. стандартных стипендий (30 тыс. руб. в месяц), а также 2 тыс. повышенных стипендий (60 тыс. руб. в месяц) для ученых, имеющих значи­тельное число публикаций в наибо­лее авторитетных высокоимпактных журналах. Финансирование второго этапа (с учетом первого) потребова­ло бы около 8 млрд руб. в год.

При обсуждении этой идеи в ян­варе 2014 года было высказано опа­сение, что второй этап может пасть жертвой начальственного произвола или общей нестабильности, поэтому желательна дифференциация по об­ластям уже на первом этапе — иначе среди его победителей гуманитари­ев почти не будет, а с «коврижками» уйдут в основном биологи, физики и химики. Как не обидеть предста­вителей гуманитарных и социаль­ных наук? Было предложено учесть для них также публикации в журналах, индексируемых Scopus, и в ряде журналов РИНЦ.

Но как выбрать журналы РИНЦ — по импакт-фактору? Тут же были приведе­ны примеры солидных гуманитарных журналов, имеющих очень низкий импакт-фактор РИНЦ, и журналов далеко не солидных, имеющих довольно высо­кий накрученный импакт РИНЦ (в тех же областях). Стало ясно, что журналы РИНЦ надо отбирать экспертно. Однако проведение корректной экспертизы — дело сложное. Ведь многие потенци­альные эксперты входят в редколле­гии различных журналов, а это чревато конфликтом интересов. Другая пробле­ма — в том, что в ряде областей нельзя судить лишь по статьям, так как важны монографии и другие результаты на­учной деятельности. А отбраковывать монографии еще труднее, чем журналы.

В общем, попытка выстроить сба­лансированное универсальное пред­ложение на основе библиометри- ческого подхода натолкнулась на серьезные трудности.

Об эскизе комплексного подхода

Не могли мы забыть и о том, что против библиометрического мери­ла успехов всегда восстают не толь­ко гуманитарии (среди которых осо­бенно решительны философы [4]), но и математики. Причем они не сидят сложа руки, а уже формируют экс­пертные структуры. Так, в декабре 2013 года при Отделении математи­ческих наук РАН был создан Эксперт­ный совет по оценке результативно­сти научных организаций.

В цели Совета входит создание экспертных комиссий для решения конкретных задач, среди которых и оценка успешности отдельных уче­ных. При работе таких комиссий ма­тематики предлагают использовать лучшие черты вводимой сейчас в Великобритании системы аттестации ученых Research Excellence Frame­work (REF) — 2014. В этой системе, ко­торую мы обсудим в последнем раз­деле статьи, учет библиометрических показателей строго ограничен, а для многих наук исключен полностью.

Совершенно очевидно, что навя­зывать библиометрию в тех областях, где ученые не только в один голос заявляют о ее неприемлемости, но и сами создают экспертные структуры, неправильно. Поэтому предложение может быть примерно следующим.

1. Разделить общий премиальный фонд между областями пропорцио­нально количеству научных кадров.

2. Выработать рекомендации по числу уровней стипендии (1, 2 или 3 уровня), величине стипендии каж­дого уровня и процентному соотно­шению количеств премируемых сти­пендиями каждого уровня. Есть резон (хотя и не железный) в равномерно­сти этих значений по областям. А про­ще всего, если уровень один.

3. Каждое профильное Отделение РАН (помним, что ответственный за поручение — В.Е. Фортов) совместно с представителями институтов фор­мирует Конкурсный совет. В тех об­ластях, где имеется Корпус экспер­тов [5], его представители должны составлять не менее 2/3 Совета. Имеет смысл не включать в Совет и его ко­миссии директоров институтов и их заместителей, а также других функ­ционеров, чтобы он не стал инстру­ментом лоббирования.

Каждый Конкурсный совет делает одно из двух: либо вырабатывает на­укометрический критерий присужде­ния стипендии каждого уровня, либо формирует комиссии для экспертно­го присуждения стипендий и выраба­тывает детальный регламент работы этих комиссий. Прообразы некоторых элементов регламента можно найти в документе «Panel criteria and work­ing methods» [6] английской систе­мы аттестации REF-2014. Но нужно учитывать, что это система оценки подразделений, а не отдельных ис­следователей. Как и система [7], не­давно предложенная Комиссией общественного контроля за ходом и результатами реформ в сфере нау­ки; ее имеет смысл использовать в не меньшей степени.

4. Принципиально, чтобы Конкурс­ные советы и экспертные комиссии пользовались доверием научного со­общества. Поэтому наилучший способ формирования их — выборы, гаран­тирующие представительство как РАН, так и научных сотрудников, не имею­щих академических званий. Процеду­ры выдвижения кандидатов, выборов, а также регламент экспертных комис­сий должны быть одобрены профес­сиональной Конференцией научных сотрудников. Такой подход обеспечит решениям легитимность.

Есть ли проход между Сциллой и Харибдой?

Подход, описанный в предыдущем разделе, я предложил тогда коллегам, но поддержки их не получил. Потому что, при всех пороках библиометрии, вовлечение в принятие решений та­кой [экс-]«феодальной» структуры, как РАН, представлялось им еще более по­рочным. Даже если требовать одобре­ния всех принципиальных решений научным сообществом. Ведь в искус­стве взять хорошую идею (например, идею демократии), оставить от нее пу­стую форму и наполнить ее противо­положным (скажем, антидемократи­ческим) содержанием отечественным умельцам нет равных. Единственное, с чем этот номер, возможно, не прой­дет, — простой формальный критерий.

Нужно отметить, правда, что кол­леги — в основном естественники, т.е. представители областей, где корре­ляция библиометрических показа­телей и реальных успехов имеет не­плохой уровень значимости.

Самое плохое, однако, даже не в том, что есть иные области, а в том, что формальные критерии разрушают научную мотивацию. Премирование за число статей провоцирует salami slicing [8]: автор производит small­est publishable units, раскидывает их по реферируемым журналам и лег­ко обгоняет более сильного коллегу, для которого подобные уловки не­приемлемы. Однажды заболевший salami slicing’ом уже вряд ли когда- нибудь возьмется за трудные зада­чи, чреватые потерей скорости ро­ста количества публикаций. Зато он весьма преуспеет в минимизации их удельного качества, т.е. в производ­стве статей, вносящих в науку мини­мально возможный вклад.

Чтобы сохранялась здоровая мо­тивация, нужно, чтобы был возможен следующий сценарий. По результа­там аттестации эксперты заявляют, что ученый X, за 2 года опублико­вавший 1 статью, сделал в ней нечто, имеющее все шансы войти в учебни­ки. И его стоит выдвинуть на премию, а также подумать, как помочь ему развить перспективную идею. А уче­ный Y, опубликовавший 8 «слайсов», пожалуй, соответствует занимаемой должности, но не более того. И он не ухудшил бы впечатление от своей ра­боты, если бы опубликовал всё это в 2-3 статьях.

Но чтобы такой сценарий был воз­можен, как минимум нужна экспертиза.

Немного о новой системе аттестации в Великобритании

Великобритания является, безус­ловно, одним из флагманов западно­го мира в отношении серьезности и продуманности научной политики. Тем интереснее для нас то, как там про­исходит научная аттестация. В этой краткой статье мы можем коснуться лишь нескольких ее особенностей.

Уходящая английская система оце­нивания, RAE (Research Assessment Exercise) [9, 10], главным критерием имела, нет, не количество публика­ций, а качество исследования; она, как и новая, была экспертной. Внедряе­мая сейчас система Research Excel­lence Framework (REF) [6] тоже весь­ма интересуется качеством, но 20% конечной оценки в ней составляет impact (не путать с импакт-фактором журналов), т.е. влияние, воздействие исследования на окружающий мир и, в частности, значение его для разви­тия науки. Ученых вопросы про im­pact раздражают, но налогоплатель­щики хотят знать, на что идут деньги.

Все научные дисциплины в REF можно разделить на те, где библио­метрия не используется при оцени­вании вообще, и те, где она исполь­зуется с большими ограничениями. К первым относятся математические, ин­женерные, гуманитарные, обществен­ные науки, менеджмент и др. Ко вто­рым — науки о жизни, о Земле, химия, физика, информатика и экономика.

«Используется с ограничениями» означает следующее: библиометрические показатели рассматриваются как одно из средств оценивания ка­чества, но не главное (primary) сред­ство. При этом отмечается, что количе­ство цитирований часто ненадежный показатель, например, в случаях при­кладных или свежих исследований.

Цитирования для большинства дис­циплин второго типа подсчитываются по Scopus; могут использоваться и специализированные базы данных, а для информатики — также Google Scholar; WoS ни разу не упоминается.

В целом речь идет о системе экс­пертного оценивания с детально и тщательно проработанными регла­ментами, отличающимися для разных областей знания. И вот что еще инте­ресно: ни для каких дисциплин при оценивании не должны учитывать­ся ни импакт-факторы журналов, ни какие-либо рейтинги журналов или издательств. Конечно, неявным обра­зом всё это учитывается, но в целом, пожалуй, REF несколько ограничи­вает использование библиометрии по сравнению с RAE.

В противоположность системам оценки, для которых чем больше пу­бликаций, тем лучше, в английской системе, как прежней, так и новой, ученый представляет за пятилетний отчетный период не более четырех публикаций! Но — с формулировкой вклада в науку, вносимого каждой из работ, — по сравнению с тем, «что было» [6,10]. Заметим, что при этом нарезание куска салями на 8 «слай­сов» пойдет скорее во вред:половина из них просто не будет учтена. Полез­ность ограничения числа рассматри­ваемых статей не раз отмечалась и в некоторых предложениях ОНР.

Наконец,производит сильное впечатление следующее: система REF разрабатывается с 2007 года. В 2008-2009 годах на базе несколь­ких университетов было проведено пилотное оценивание, результатом которого стал отказ от намечавшего­ся широкого использования библи­ометрии. В 2010 году планируемое введение системы было перенесено на год. Актуальный на сегодняшний день проект регламента опублико­ван в январе 2012 года. Далее поч­ти два года он обсуждался; собрано большое количество стандартизован­ных анкет с отзывами; типичный объ­ем заполненной анкеты — 10 стра­ниц. Оценивание по новой системе начинается в 2014 года; первые его результаты будут объявлены в кон­це года. Таким образом, прошло бо­лее семи лет от начала разработки до первых результатов. Причем это для системы, не принципиально но­вой, а развивающей существующую… Надо бы поучиться этой плавности и продуманности изменений!

Думаю, что было бы полезно переве­сти документ [6] на русский язык и оз­накомить с ним всех заинтересованных лиц в Минобрнауки, ФАНО, РАН, Сове­те по науке и образованию, институтах.

Конечно, Россия не Англия. Но если там считают ненадежным импакт-фактор по WoS, то как мы должны смотреть на импакт-фактор по РИНЦ? А глав­ный аргумент, из-за которого британ­цы построили и совершенствуют имен­но экспертную систему, мало зависит от местных условий. Он состоит в том, что наука — одна из самых содержа­тельных сущностей в мире, и сведение достижений ученых к цифири вводит их в сильный соблазн профанации.

Напоследок необходимо сделать одно замечание. Поручение об «уста­новлении повышенной оплаты труда отдельным категориям научных работ­ников, достигших высоких результа­тов» очень странно рассматривать в отрыве от будущих структуры штатов и системы окладов научных институ­тов, а с этим пока нет никакой ясности.

  1. http://kremlin.ru/assignments/20065
  2. http://kremlin.ru/transcripts/19865
  3. http://onr-russia.ru/content/гранты-стипендии-03072012
  4. http://ubs.mtas.ru/upload/library/UBS4426.pdf
  5. http://expertcorps.ru/
  6. http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf
  7. http://rascommission.ru/index.php/documents/statements/63-otsenka
  8. http://en.wikipedia.org/wiki/Least_publishable_unit
  9. http://rae.ac.uk/
  10. http://ubs.mtas.ru/upload/library/UBS4416.pdf
Подписаться
Уведомление о
guest

80 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Сов ОК
Сов ОК
10 года (лет) назад

Что-то сомнительно, что будут премировать реально работающих ученых и учтут предложения ОНР, Павла Чеботарева или опыт Великобритании. Скорее всего, правила составят таким образом, чтобы «научными работниками, до­стигшими высоких результатов» окажутся уже существующие научные феодалы и, может быть, приближенные к ним лица. При этом даже сошлются на систему аттестации в Великобритании. Только, например, добавят пункты по наличию руководства определенным количеством аспирантов и молодых кандидатов.

Сов ОК
Сов ОК
10 года (лет) назад

Что касается предложений ОНР, то предложение платить стипендию ученным, имеющим 6 статей за три года, выгодно прежде всего для экспериментаторов, работающих в больших коллективах. Так, получается, что коллектив из 10 человек, напечатав 6 работ за три года (0,2 статьи в год на человека) следует премировать как успешный, а ученого, в одиночку опубликовавшего 3 статьи за этот период (1 статья в год на человека) — нет. В одиночку или с малым количеством авторов обычно работают физики-теоретики или математики.

В принципе, с более высоким порогом, это предложение ОНР может быть как раз использовано правительством для определения «научных работников, до­стигших высоких результатов в на­учной деятельности», т.к. при этом научные тузы, руководящие не всегда пересекающимися по составу группами ученых, всегда будут иметь больше публикаций.

Александр Пухов(SINP)
Александр Пухов(SINP)
10 года (лет) назад
В ответ на:  Сов ОК

Ну разделите число публикаций на число авторов и все ‘экспериментаторы’ уйдут в ноль. Такая практика реализована в МГУ. Вместе с тем оказывается что если нормировать публикации на корень из числа авторов то получаются разумное соотношение между ‘одиночками’ и ‘экспериментаторами’.

Вот уж о чем надо думать в поcледнюю очередь — так это о том что ‘научные тузы’ что-то получат. Ну получат — и получат.

Можно поддерживать ученых, а можно забалтывать проблему как это в данном случае и делается. Если есть желание поддерживать — возьмите списки Штерна.
Все согласны что там на основе библиометрии собраны действительно достойные люди. Да, не вся российская научная активность представлена в этих списках.
Это не беда — можно организовать другие стипендии для людей не получивших стипендию ‘по Штерну’.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад

Да, одной формулой для всех не отделаешься. В рамках общей программы с единым финансированием должен быть реализован подход, варьируемый по областям. Это и предлагается.

Сов ОК
Сов ОК
10 года (лет) назад
В ответ на:  Сов ОК

А вот и «Методические рекомендации по распределению бюджетных ассигнований…» появились. И в них минимум по числу публикаций в WoS за 5 лет для ест. и тех. наук — 10 штук. Распределение по условиям внутреннего отбора. Несложно догадаться, кому это достанется.

silver
silver
10 года (лет) назад
В ответ на:  Сов ОК

мы тут обсуждаем, что будет, а решение будут принимать совсем другие, которых мнение ученых никогда не интересовало и не интересует. Что может измениться в лучшему в науке, если те же директора остаются и бесконтрольно распоряжаются учеными, финансами и пр? Руководители институтов важны -какие они, так как ученые взаимодействуют с ними, от них зависит многое, в том числе -когда и почему ученый может остаться работать…у нас в ин-те много примеров, когда неугодных почему-то лично директору, очень успешных и продуктивных ученых легко увольняли за опоздание на несколько минут на работу … Ученые в России никак не защищены от произвола администрации. Если уникальное новое направление исследований, который можно развивать только в одном институте, ученый оказывается на улице и не из-за причин опоздания…а чтобы основанное им направление присвоить теми, кто его выжил. Повезет, если ученый имеет связи международные -он уедет из страны. Сколько таких русских ученых я встречал там которые именно так уехали на запад с больщой обидой на Россию и на произвол директоров.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  silver

Единственный путь борьбы с этим, вероятно, — ВЫБРАТЬ корпус экспертов. Тогда он совместит компетентность и легитимность. Когда он будет за кого-то заступаться, будут откликаться международные профессиональные организации. Это может быть вариант сцепки (локтями). Единства не будет и там, но оно достижимо по кр. мере в вопиющих случаях.

Юстас
Юстас
10 года (лет) назад

Всё хорошо, прекрасная маркиза! Но… Несколько системных моментов: 1. Нет лучшего способа нейтрализовать дееспособность конкурентов или «противника» в любом понимании этого слова, чем заставить членов его сообщества передраться «внутри себя». Сверху заброшена именно эта идея: выдвиньте-ка лучших из лучших! За эту косточку и начинается нешуточная борьба. Наукометрия или без неё? Директоров включать, или это по определению? А членов бывшей РАН давайте вообще не рассматривать, им и так от 25 до 50-ти тыс. платят ни за что!? Что круче: физика или политология? И вообще, где наука имеет право быть: от Москвы до Урала или ещё и дальше на восток? Передерёмся, коллеги, передерёмся… Что и хотелось бы ре(де)форматорам науки! 2. Британская система хороша любая: старая или новая, не важно. Но у нас нет никаких оснований на неё равняться. Причина в том, что там профессор, лектор или ресёчер борется не за зарплатные деньги (они известны и фиксированы, вне зависимости от количества грантов, проектов, и т.п.), а за ПОЗИЦИЮ. Или ты на перманентной позиции в университете (тогда можно в кредиты лезть и ипотеку брать!), или тебя отпустят на все четыре стороны после завершения гранта или контракта через два-три года. А у нас планка уровня существования для учёных никакая не установлена. Депутатам, понятно, нужно минимум 2-4 сотни тысяч р. в месяц. А то они за копейки готовы лоббировать любой закон в Думе. Чиновники от науки в Курчатнике и ИТЭФе себе любые оклады и премиальные наворачивают… А голодранцам из бывшей РАН предлагается ОПРЕДЕЛИТЬ ТЕХ, КОМУ БУДЕТ ДОЗВОЛЕНО ДОЖИТЬ ДО СТАРОСТИ БОЛЕЕ-МЕНЕЕ ХОРОШО, чтобы потом им помереть с голодухи, будучи на пенсии. 3. Поскольку приказ сверху дан, то драка за вкусную косточку неизбежна. Она уже идёт. Идёт процесс внедрения своих людей из РАН в структуры ФАНО. Деньги теперь там! Важно правильно их переделить! Если интересно о персоналиях, смотрите на сайте бывшей РАН, кто там во всяких… Подробнее »

Александр Пухов(SINP)
Александр Пухов(SINP)
10 года (лет) назад
В ответ на:  Юстас

Пятый пункт у нас вседа основной и определяющий. Никаких оснований надеяться на увеличение финансирования науки ни в ближайшем будущем, ни в отдаленной перспективе нет. Уличшить положение отдельных ученых можно только за счет дальнешего опускания среднего уровня.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  Юстас

1. Ваше предложение?
2. «Британская система хороша любая: старая или новая, не важно. Но у нас нет никаких оснований на неё равняться. Причина в том, что там профессор, лектор или ресёчер борется не за…»
Там результат оценивания определяет деньги, получаемые университетом на исследования.
Основание использовать опыт есть. Они отработали инструмент оценивания. Он годен для разных целей. С учетом нац. специфики, конечно.
Да, тузы захотят все взять себе. Надо как минимум указать альтернативу.
4. Внутриинститутское голосование не решит проблему распределения между институтами. И отразит скорее внутриинститутские мифы, чем анализ работ последних лет.

Юстас
Юстас
10 года (лет) назад
В ответ на:  Павел Чеботарев

Про межинститутское распределение за нас и без нас побеспокоятся. Если не будет квот по численности, то окажется, что за границей МКАД вообще выдающихся учёных нету. Потом ещё стон поднимется по поводу закрытых тематик: там априори не публикуются… А ведь закрытые тематики — это и закрытые деньги. Выбрали свою стезю — там и кормитесь. На программу ИТЕР пашите? Там тоже свои деньги немалые, и т.п…
Только на уровне отдельного института и можно в тайном рейтинговом голосовании в чём-то разобраться более-менее, без указания сверху. Иначе, всё достанется далеко не талантливым бессеребряникам. Деньги липнут к деньгам!
ПРНД уже сколько лет подсчитывали? Списки публикаций у учёных секретарей имеются. Выложить их на институтский сайт — и смотри-любуйся: кто в Nature «ерунду» опубликовал, а кто — открытие обнародовал в вестнике соседнего педуниверситета… Да директорский корпус этого наведения справедливости не допустит, по понятной причине.
А скорее всего, будет гораздо проще. Готовьте хоть какие списки, а потом сядет с карандашом небезызвестный членкор из верховного научного Совета, и повычёркивает неугодных. Нет, это будут не отдельные фамилии! Физики меня не полюбили? Всех их… !

Александр Кауров
Александр Кауров
10 года (лет) назад

Начиная с середины семидесятых годов мне приходилось решать эту задачу в серьезном научном подразделении, работая директором крупного вычислительного центра, председателем кооператива и директором ЗАО. Опыт сорокалетней руководящей работы говорит следующее: повышение квалификации и, соответственно, рост оплаты сотрудника интересует только его руководителя-работодателя, который сидит с ним в одной лодке и его успешность и перспективы зависят от того, какой коллектив он создал. Таким образом, пока руководитель организации (подразделения, лаборатории) не будет настоящим хозяином, все попытки решить частную задачу оценки и премирования будут безуспешными. В настоящее время я не вижу возможности появления самостоятельных руководителей-хозяев. Сегодня положение руководителя более зависимое, чем 20 лет назад. Даже финансы, которыми нельзя свободно пользоваться — это условные фантики. Итак: задача разумного решения в масштабах государства невозможна, тенденции неблагоприятные, нужно быть готовым к пустым хлопотам.

Denny
Denny
10 года (лет) назад
В ответ на:  Александр Кауров

«В настоящее время я не вижу возможности появления самостоятельных руководителей-хозяев.»

Вот с этим как-то неясно. Что тут такого невозможного. Если у лаборатории основное финансирование конкурсно-грантовое, то ее заведующий (обычно он пи-ай в грантах) аккурат является хозяином. Который кровно заинтересован в хорошей оплате своих сотрудников (ибо именно они делают работу, без которой не будет грантов). Да и дирекция обычно в таких случаях не наглеет. Ведь гранты и работы идут и в копилку института. Бардак и рабство научных сотрудников начинается там, где цветет не завязанная на научный результат распределительная система.

саша андреев
саша андреев
10 года (лет) назад
В ответ на:  Denny

«…ее заведующий (обычно он пи-ай в грантах) аккурат является хозяином…»

————————————————————————
Если бы все было так на самом деле, то проблем было бы меньше. Эта модель может работать в очень маленькой группе где один лидер. Из того что мне довелось увидеть пока работал в России, завлабами назначались знакомые дирекции, в том числе для того, чтобы они влияли на голосование за директора. Высокую зарплату завлабам платили по отдельной ведомости, чтобы никто не видел. Мало кто из них вообще занимался серьезной научной работой и получал проекты. Проекты получали другие люди и потом многих из них заставляли писать доверенности на использование средств по проектам на своих завлабов. По существующему позорному порядку вещей без подписи завлаба статья не может пройти ученый совет института и ее официально нельзя направлять в печать. Таких как я, кто все игнорировал и публиковал в зарубежных журналах директор считали своми врагами и всячески мешал работать, в том числе руками своих завлабов. Администрация не допускала появления самостоятельных завлабов.
Спустя годы я вижу, что эта политика привела к утечке значительного числа активных сотрудников и полной деградации всего института.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад

3-й абзац с конца статьи: «Думаю, что было бы полезно перевести документ [6] на русский язык и ознакомить…»
Документ частично переведен (по инициативе ОМН РАН). Части перевода, а также Заявление Совета по оценке результативности деятельности научных организаций ОМН РАН «Российская экспертная инфраструктура для оценки результатов деятельности научных организаций» приложены к заметке на сайте ОНР:
http://onr-russia.ru/content/еще-раз-о-библиометрии-и-экспертизе-при-оценке-ученых-документы

trackback

[…] системы аттестации REF-2014, которую я упоминал в своей статье в «Троицком варианте» от 25 февраля. Перевод был […]

влад
влад
10 года (лет) назад

Друзья, много слов, но мало дел!
Вот смотри цитату из начала статьи
» ….разработать рекомендации по числу и величине уровней стипендии (1, 2 или 3 уровня)..»
а далее идет говорильня на 2000-3000 знаков!!!
Столько народу думало, а предложило ухудшенную версию того,
что предлагая я
(см ТрВ, гайд-парк от 16.09.2013).
Я предлагал ввести универсальный индекс П, и по достижении опр. порога
( который в каждой науке может быть свой, пусть решат эксперты),
претендент выдвигает в профильный Уч. совет свои опубликованные работы
на защиту очередной научной степени! Усек??
Всего предлагается не 3 (как придумала ув-я комиссия),
а сразу 7 уч. степеней(цифра подлежит уточнению, как и пороги)
Профильный Уч. совет
(а это и есть эксперты, и снова мудрить с их составом нет нужды)
присуждает соотв. уч. степень по сумме работ.
Все!!!!!!!!
Иди в кассу, получай свои надбавки!!
Просто и честно!
А теперь, друзья, давайте займемся индексом П.
Читайте мои предложения (ссылка дана)
и дискутируйте (2-3 месяца, не более), на своих Уч. советах, на здоровье.
Итоги, как решение Уч совета — в ПРАН, тот — в ФАНО, а этот — в закон.
Все. За работу.
С 1.01.2015 работаем и получаем по новому!!!!

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  влад

К формуле у нас подходы близкие, включая даже прибавление 1 к импакт-фактору: см. раздел 7 в http://ubs.mtas.ru/upload/library/UBS4401.pdf
Но есть закавыка. Вы видите различие между наукой и публикационной активностью? Поощряя п.а., мы получим тысячи людей, равнодушных к науке и занятых п.а. как злокачественным бизнесом. Они забьют журналы своей макулатурой, которая будет рецензироваться такими же, как они имитаторами, навсегда забывшими о научном интересе, с головами, забитыми трухой импакт-факторов и хиршей. Про такого sci-дельца не будут спрашивать «что он сделал?», а только «какой у него хирш?»
Нормальные ученые пошлют эту малину на her и уйдут за Перельманом в arXiv, работая лаборантами и сторожами.

Denny
Denny
10 года (лет) назад
В ответ на:  Павел Чеботарев

Есть опасения, что, начни я Вам рассказывать, что я сделал, Вы не поймете и оценить не сможете. И я Ваши достижения тоже.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  Denny

Так и есть. Но у нас и науки разные. Компетентный эксперт — тот, кто, прочитав авторский ответ на вопрос «что нового внесла данная статья в науку» и имея саму статью, может (привлекая, если надо, библиометрию) оценить важность (и новизну) сделанного. При этом он сам должен быть хорошим ученым.
Не думайте сейчас только о своей науке. Возможно, в ней много можно сказать по Хиршу. Подумайте, например, о социогуманитарных областях, где публикации в журналах WoS и Scopus — редкость. Но автор может публиковать по 25 статей в год в журналах РИНЦ и потому претендовать на лавры. Думаю, Вы согласитесь, что эксперт, полистав эти статьи вместе с авторскими справками по ним, быстро поймет, чего эта деятельность стОит.
И когда экспериментаторы публикуются огромными коллаборациями, формальные индексы могут зашкаливать, оставляя позади всех оригинальных мыслителей. А при ином учете числа авторов — наоборот. И опять же эксперт, полистав работы, не допустит большого перекоса оценок.

Denny
Denny
10 года (лет) назад
В ответ на:  Павел Чеботарев

Не… Эксперту профессионалу никаких ответов не нужно. Ему фамилии хватит.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  Denny

Еще лучше. Но это в своей узкой области. А оценивать придется в более широкой.

Denny
Denny
10 года (лет) назад
В ответ на:  Павел Чеботарев

В более широкой я как эксперт обращусь к наукометрической статистике и конкретным работам. И меньше всего буду буду обращать внимания на то, что человек заявляет о своих заслугах и достижениях. ИМХО, надо отказываться от порочной практики противопоставления наукометрической статистики и экспертной оценки конкретных результатов. Именно это я и постарался выразить в своей версии регламента оценки, который, надеюсь, мы все же увидим в обсуждении.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  Denny

Человек пишет не о заслугах и достижениях вообще, а о шаге в науке, сделанном в данной статье. И это информативная вещь, т.к. свидетельствует о его адекватности и кругозоре. А противопоставлять статистику и результаты, конечно, не нужно. Просто статистика служебна и в ряде областей имеет второстепенное значение или малоинформативна.

Каменный остров, резиденция К-4
Каменный остров, резиденция К-4
10 года (лет) назад
В ответ на:  Павел Чеботарев

Кто хочет остается сторожем,
а кто хочет и может — имеет собственную дачу на Каменном острове или хотя бы собственный публичный дом (менеджмент вконтакте).

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад

Да. И что?

влад
влад
10 года (лет) назад
В ответ на:  Павел Чеботарев

Павел, вы читать умеете.
Я пишу не о пуб. активности,
а о защите своих работ!!
В этом суть!

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  влад

Влад, а Вы умеете писать?
Из Вашего текста: «Здесь существенно, что платить следует только за фактор П. А все имеющие место научные звания – признать только почетными.»
При этом фактор П — чистая библиометрия.

7 степеней… Когда ученый уже доказал свою состоятельность, для него естественно заниматься только умножением и распространением знания. Перед знанием все равны. Лестница вроде армейской или чиновничьей в науке смотрится совершенно не органично. Ученого могут награждать, но он сам себя не должен номинировать на награды.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  влад

В другой фразе Вы пишете о надбавках за новые степени (а не за «П»). Но сама эта лестница степеней чрезмерно высока и слишком зависит от библиометрии, ко многим областям применимой слабо и стимулирующей имитационную активность.

Roman
Roman
10 года (лет) назад

Павел молодец! Полностью поддерживаю!

начинающий алкоголик
начинающий алкоголик
10 года (лет) назад

«Эксперту профессионалу никаких ответов не нужно. Ему фамилии хватит»
Я надеюсь, это вы для красного словца загнули..
У нас как раз наука и больна тем, что «фамилии хватает».
Вот поэтому коррупция и процветает)))
Потому что вместо экспертизы есть рейтинг фамилий.
И все так и останется до тех пор, пока не начнут смотреть на проект или статью, а не на фамилию

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад

Согласен. По фамилии может судить только эксперт, работающий в той же узкой области — тот, кто работы коллег знает еще в виде препринтов.

влад
влад
10 года (лет) назад

насчет фамилии «алкоголик» верно сказал.
Я полагаю, что сейчас в РФФИ
о качестве заявки судят только по фамилии рук-ля.
У меня есть прецедент:
поменял рук-ля. не меняя заявку. и получил полож.реш-е.
Класс!!

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (Пока оценок нет)
Загрузка...