По следам мегагрантов – 1

Согласно пожеланиям участников краудфандинга «Корпуса экспертов» (КЭ) [1], мы начинаем серию публикаций по мотивам заявленных лотов с рассмотрения мегагрантов по физике и биологии. Самое время, поскольку наступает 2020 год, а мегагрантные «меры по привлечению ведущих ученых» предпринимались в рамках госпрограммы развития науки и технологий на 2013–2020 годы [2].

В первой части экскурсии по следам мегагрантов мы представляем некоторые результаты систематизации доступных на портале [2] сведений о выделявшихся мегагрантах по физике и биологии (1-й — 6-й конкурсы 2010–2017 годов), а также наиболее общие сведения о публикациях, в которые вылилось мегагрантное финансирование. Всего из 236 мегагрантов этих конкурсов мы отнесли к физике и биологии 103 (табл. 1). На сайте КЭ [3] доступна подробная таблица с фамилиями, номерами грантов, организациями и иной информацией.

Таблица 1. Число мегагрантов по физике и биологии

Номер/год конкурса

1/2010

2/2011

3/2013

4/2014

5/2016

6/2017

Всего

Физика

8

8

12

11

9

7

55

Биология

11

10

6

8

7

6

48

Междисциплинарные проекты включались в эту выборку в том случае, если в них доминировала физическая или биологическая составляющая. Из проектов по физике примерно половина (27) относится к физике конденсированного состояния, остальные более-менее равномерно распределены между квантовой оптикой (7, часто с существенной cond-mat составляющей), физикой высоких энергий (7), сугубо прикладной физикой (7) и физикой плазмы (5). Еще два включенных в выборку проекта относятся преимущественно к математической физике (в этой области есть и другие, с более выраженной математической составляющей — они сейчас не рассматриваются). В биологических проектах однозначно доминирует молекулярная биология, а другие разделы в основном представлены в комбинации с ней (генетика — 7, медицина — 7, общая биология — 5, организменная биология — 4).

Чуть менее трети ведущих ученых — физиков и биологов — «настоящие иностранцы», более половины представляют российскую научную диаспору (табл. 2). К диаспоре мы отнесли тех, кто долго работал вне Росиии и мог, соответственно, привнести в мегагрантные лаборатории некий зарубежный опыт (есть представители диаспоры, начавшие параллельную работу в России до получения мегагранта в рамках иных проектов). Представляются значимыми два географических различия между мегагрантниками по физике и по биологии: последняя гораздо сильнее ориентирована на американский континент и в меньшей степени склонна к выбору ведущих ученых из числа постоянно работающих в РФ.

Таблица 2. Откуда приехали приглашенные ученые

 

«Настоящие иностранцы»

Диаспора

С каких континентов приехали

Из РФ и стран
бывшего СССР

Европа

Азия, Австралия

Америка

Физика

15

29

29

5

10

11

Биология

17

27

19

3

22

4

Ориентировочная оценка возрастного распределения (табл. 3) показывает, что более 2/3 приглашенных ученых еще не достигли возраста emeritus, то есть неизбежно совмещают руководство мегагрантной лабораторией с активной работой в другой организации (­часто — в другом городе, стране). Для сравнения в нижней строке таблицы приведено аналогичное распределение по году первой публикации для нашего «активного списка» [4] — почти 8 тыс. российских и русско­язычных ученых с цитированием работ последнего семилетнего периода не менее 100. Относительно распределения для приглашенных ученых оно смещено в «младшую» сторону. То есть для приглашаемых ведущих ученых в России имеется более молодой, но уже активный контингент, есть из кого создавать лаборатории.

Таблица 3. Возраст приглашенных ученых по году первой публикации. Для сравнения в последней строке приведено аналогичное возрастное распределение («активный список» [4])

 

До 1965
(ветераны)

1965–1974
(пенсионеры)

1975–1984
(молодые пенсионеры)

1985–1994
(зрелые ученые)

1995 и позднее (молодые ученые)

Физика

6

9

39

1

Биология

1

6

4

34

3

Всего

1

12 (~12%)

13 (~12%)

73 (~71%)

4 (~4%)

Доля людей в «активных списках» [4]

 

~14%

~25%

~24%

~37%

Для ориентировочного сравнения с географическим распределением мегагрантов по физике и биологии (табл. 4) мы использовали распределение цитируемых российских ­ученых из списков [4], см. последнюю строку таблицы. И были приятно удивлены: мегагранты смещены в сторону столиц несколько слабее, чем постоянно действующая российская наука. По числу аккумулированных мегагрантов в части физики и биологии очень заметны Нижний Новгород (14) и Новосибирск (11). Преобладающее «поселение» мегагрантов в университетах отражает, вероятно, ­недоброй памяти министерский лозунг о «переносе науки в вузы». Вне вузов и институтов РАН расположились всего три гранта по биологии и один по физике.

Таблица 4. Принимающие российские организации

 

Москва
и Московская область

Санкт-Петербург
и Ленинградская область

Европейская Россия и Урал

Сибирь и Дальний восток

Университеты

Институты РАН

Физика

20

9

181

82

43

11

Биология

18

10

93

114

33

12

Всего

38 (~37%)

19 (~18%)

27 (~26%)

19 (~18%)

76 (~74%)

23 (~22%)

Доля ­людей в списках [4]

54%

14%

14%

18%

Не может быть оценена из-за пересечений


1 Екатеринбург, Калининград, Казань (2), Магнитогорск, Нижний Новгород (10), Саратов, Тольятти, Ульяновск

2 Новосибирск (5), Томск (3)

3 Казань, Краснодар, Нижний Новгород (4), Петрозаводск, Саратов, Севастополь

4 Владивосток, Красноярск (3), Новосибирск (6), Томск

Организаторы программы мегагрантов не скрывали от публики, что решают (в том числе?) задачу повышения числа российских пуб­ликаций в WoS. Мы попытались представить себе, как видны соответствующие результаты со стороны, то есть при поиске по номеру гранта. Номера в основном доступны на портале [2], остальные — кроме одного — найдены по открытым источникам. Ненайденный номер, возможно, и не присваивался, так как в нескольких статьях приглашенного ученого ссылка на мегагрант дана в формате «220 Government of the Russian Federation». По двум номерам грантов найти ни одной статьи в WoS не удается (в том числе в каком-либо искаженном написании, при просмотре всех acknowledgements в статьях руководителей). На рис. 1 обобщены сведения о мегагрантах 1 — 5-го конкурсов, для которых уже завершен трехлетний период. Многие мегагранты продлевались, наиболее типичный публикационный период составляет 5–6 лет.

Рис. 1. Число публикаций, для которых WoS отражает номера мегагрантных контрактов, в зависимости от длительности периода таких публикаций: (а) с разделением проектов по физике и биологии; (б) с разделением по группам ведущих ученых, выделенным в табл. 2.

Первые впечатления от этих графиков таковы.

  1. Высокую урожайность для министерства (условно — более 10 статей в год на лабораторию, что не редкость для обычных сильных российских лабораторий) смогли обеспечить около 20% мегагрантов.
  2. Примерно четверть не вышли за условную черту 5 статей в год на лабораторию (это примерно средний уровень эффективной российской научной группы во многих естественных науках). Некоторые мегагрантные проекты были прекращены досрочно, известны, в частности, случаи прекращения из-за необеспечения российской стороной условий контракта. Но многие неурожайные мегагранты продолжали финансироваться, и даже с продлением.
  3. «Урожайность по физике» несколько выше «урожайности по биологии» (рис. 1а).
  4. Особых различий в урожайности, достигнутой ведущими учеными из разных групп (иностранцы, представители диаспоры и «местные»), не обнаруживается (рис. 1б).

В целом, на первый взгляд, ничего такого особенно урожайного. И для проектов по физике и биологии 6-го конкурса ситуация близкая. Для 10 из них публикации обнаруживаются с 2018 года, еще для 3 — с 2019 года. Число статей за два года этих проектов составляет от 2 до 32, оно превышает 10 статей/год по двум мегагрантам, ниже 5 статей/год по семи из тринадцати. Отметим: очень типично одновременное указание в статьях мегагранта в комбинации с другими (иногда даже 5 и ­более) источниками средств. То есть мегагранты в основном попали в коллективы, успешные в добыче финансирования и не успевающие обес­печить добытое разными публикациями. Или объем мегагрантов слишком мал для развития их недешевой науки — и приходится подтягивать иные средства. Так или иначе желающим подсчитать стоимость мегагрантной статьи следует нормировать с учетом этого параллельного финансирования одних и тех же исследований.

Но вряд ли абсолютным числом статей можно измерять реальную пользу от мегагрантов, если таковая случилась. Можно вообразить следующие полезные результаты:

  • возникновение новых лабораторий, продолжающих работать после завершения всех продлений мегагрантов;
  • усиление ранее существовавших лабораторий (например, вывод их на новый уровень международного сотрудничества);
  • быстрый рост молодых ученых под крылом приглашенных.

Рассказать о том, какие признаки этого позитива удалось выявить в сведениях о публикациях, мы планируем в следующих материалах этой серии для ТрВ-Наука. Предметом анализа является собранная информация о «вкладе» статей с участием приглашенного ученого в массив «мегагрантных» статей, о совместных с ведущим ученым публикациях, поддержанных следующими после мегагрантов проектами, о динамике публикаций ключевых сотрудников мегагрантных лабораторий до и после мегагранта. Продолжение экскурсии по следам мегагрантов — в следующем номере ТрВ-Наука (14 января 2020 года).

Если у читателей возникнут конкретные предложения, что проанализировать в этом контексте, мы обязательно их рассмотрим — просим присылать на электронный адрес
corr.lists@gmail.com до 5 января.

Галина Цирлина, Михаил Фейгельман, Екатерина Малинкина

  1. trv-science.ru/2019/09/10/zavershen-crowdfunding-expertcorps/
  2. p220.ru
  3. expertcorps.ru/science/publications
  4. expertcorps.ru/science/whoiswho
Подписаться
Уведомление о
guest

41 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Михаил Родкин
Михаил Родкин
4 года (лет) назад

Собственно, основной — с простейшей точки зрения, бюрократической эффективности, вопрос — число публикаций на миллион затрат по разным программам — по РФФИ, по РНФ, по мегагрантам. Я не берусь говорить по существу — это можно определить только на длительной шкале времени — скажем по цитируемости на интервале 10 — 30 лет. И не предлагаю разделению по физике и биологии … что важнее … биология или физика?? … смешно.

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад

Предмет моей лекции – плодотворная дебютная идея. Что такое, товарищи, дебют и что такое, товарищи, идея? Дебют, товарищи, это quasi una fantasia. А что такое, товарищи, значит идея? Идея, товарищи, – это человеческая мысль, облеченная в логическую шахматную форму. Даже с ничтожными силами можно овладеть всей доской. Все зависит от каждого индивидуума в отдельности. Например, вон тот блондинчик в третьем ряду. Положим, он играет хорошо…

Блондин в третьем ряду зарделся.

– А вон тот брюнет, допустим, хуже.

Все повернулись и осмотрели также брюнета.

– Что же мы видим, товарищи? Мы видим, что блондин играет хорошо, а брюнет играет плохо. И никакие лекции не изменят этого соотношения сил, если каждый индивидуум в отдельности не будет постоянно тренироваться в шашк… то есть я хотел сказать – в шахматы… А теперь, товарищи, я расскажу вам несколько поучительных историй из практики наших уважаемых гипермодернистов Капабланки, Ласкера и доктора Григорьева.

Остап рассказал аудитории несколько ветхозаветных анекдотов, почерпнутых еще в детстве из «Синего журнала», и этим закончил интермедию.

Краткостью лекции все были слегка удивлены.

(с) Ильф, Петров «Двенадцать стульев»

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад

«Урожайность» мегагрантов оценена самым примитивным образом — по числу статей WoS, даже без учета импакт-факторов и квартилей журналов, где они были опубликованы, не говоря уже о содержательной стороне научных результатов.

Михаил Родкин
Михаил Родкин
4 года (лет) назад

Содержательную сторону статистически оценить невозможно. А для оценки и число статей в ВОС резонно. Естественно с нормировкой на затраты выплаты и в сравнении с аналогичными показателями других программ: РНФ, РФФИ, госзадания. Что то мне подсказывает, что по этому показателю РФФИ окажется первым, а госзадание — последним. Интересно бы проверить интуицию.

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад
В ответ на:  Михаил Родкин

Импакт-факторы и квартили можно было учесть и статистически. Бывает большая разница (при одном и том же числе статей WoS). За содержательной стороной обратиться к специалистам либо просто не лезть в то, чего не понимаешь. Мерить науку делением статей на рубли — это бюрократизм. Авторы — чиновники или ученые? Или ученые, к сожалению, заигравшиеся в чиновников? От ученых можно было ждать чего-то более осмысленного.

Михаил
Михаил
4 года (лет) назад

Зачем так категорично? Многие бюрократические деяния вполне разумны. Обращаться к специалистам? Означает дать на откуп узкой группе, возможно непредставительной. Да и организовать трудно. А грубая массовая оценка в статистике редко дает сильно неправильный ответ. Конечно, с учетом квартилей будет точнее … но и много более трудоемко. А надо ли? Оценки сильно массовые, они вероятно будут достаточно робастны и просто от деления статей на рубли.

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад
В ответ на:  Михаил

>Обращаться к специалистам? Означает дать на откуп узкой группе, возможно непредставительной. Да и организовать трудно.

«Корпус экспертов» более 15 лет занимался набором этой «узкой группы» своих экспертов, с пафосом спасения Отечества, а теперь не обращается к ним за оценкой, а считает «по Котюкову». Печальный итог.

По поводу оценок по числу статей в WoS, вот был пример —
https://trv-science.ru/2019/10/22/vsepobezhdayushhaya-nixermetriya/

Михаил
Михаил
4 года (лет) назад

Вот и я говорю … если можно получить робастный ответ, без того чтобы долго обмусоливать его сообществом экспертов — то так и разумно. Деля большие числа на большие сильно ошибаться можно только в специфических условиях. Скажем при наличии тяжелых хвостов, но в этой ситуации это вряд ли существенно

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад
В ответ на:  Михаил

Это разумно с точки зрения чиновника, а не ученого. Для ученого должна быть важна истина, а не составить отчет на скорую руку. Ну Вы сравните 4 статьи Эйнштейна и 4 статьи упомянутого Ильи Медведева.

Михаил
Михаил
4 года (лет) назад

Я говорю не о крайних случаях, я говорю ПРОСТО о статистической оценке, причем элементарно простой — какая форма: госзадание, мегагранты, РФФИ или РНФ — с точки зрения чиновника (не сильно искажающей однако реальность) — более или менее эффективна

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад
В ответ на:  Михаил

Эффективна в достижении какой цели? Если государство ставит задачу завоевания процентов в WoS, то Илья Медведев все правильно сделал. Тогда его надо наградить, а не осуждать. Дать ему мегагрант. Только к развитию науки это какое имеет отношение?

У меня лично в 2019 году вышло 5 статей WoS вообще без какой-либо поддержки.

Дополнительные деньги могут иметь значение для проведения экспериментов, экспедиций и т.п., если на них иначе не хватает. В противном случае любая поддержка мало влияет на фоне индивидуального разнообразия. Либо люди и так работают, и думают — а давайте за это с государства стрясем лишних денег, либо не работают, и им ничего не поможет.

Georgiy
Georgiy
4 года (лет) назад

Не передергивайте. Мусор от И. Медведева никогда не индексировался в WoS. Clarivate Analytics его создал в том числе для того, чтобы таких как Медведев отсеивать.

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад
В ответ на:  Georgiy

По ссылке совершенно четко написано, цитирую:
====================
Ярким примером тому служит известный казус профессора РГСУ Ильи Медведева, который в прошлом году практически без соавторов опубликовал в научных журналах, индексируемых Web of Science, более 170 статей. Вдумайтесь, коллеги: более 170!

Однако есть неоспоримый факт, господа хорошие: статьи всё же опубликованы в журнале из Web of Science. Да, может быть, журнал этот индийский и не первой квартили, но статьи есть!

Один профессор Медведев в 2018 году опубликовал 0,2% от общего числа статей российских ученых, индексируемых Web of Science!

======================

В.П.
В.П.
4 года (лет) назад

Проверил. После удаления коллабораций Медведев рекордсмен: 171 публикация. Дальше по убыванию числа 92, 64, 62 и ещё около 20 россиян имеют более 50 публикаций в WoS за 2018 год.

В.П.
В.П.
4 года (лет) назад
В ответ на:  В.П.

170 из 171 публикаций Медведева в журнале RESEARCH JOURNAL OF PHARMACEUTICAL BIOLOGICAL AND CHEMICAL SCIENCES. Это 12% публикаций журнала в этом году. Причём только эти 170 публикаций процитированы в этом же журнале более 1600 раз другими авторами этого журнала, WoS не обнаружил самоцитирований.

проинформированный пользователь
проинформированный пользователь
4 года (лет) назад
В ответ на:  В.П.

Журнал RESEARCH JOURNAL OF PHARMACEUTICAL BIOLOGICAL AND CHEMICAL SCIENCES не входит в Web of Science Core Collection, но входит в Web of Science, в базу данных Emerging Sources Citation Index (где собраны ссылки из журналов без импакт факторов, то есть журналы с показателями цитирования ниже установленного Clarivate Analytics значения импакт-факторов в данной научной области). Наукометрический подход для случая с Ильей Медеведевым сработал — публикации были в журналах «второй свежести», не сработали методические указания сверху, так как чиновники не видят разницы между Web of Science и Web of Science Core Collection (или не хотят видеть).

В.П.
В.П.
4 года (лет) назад

Журнал RESEARCH JOURNAL OF PHARMACEUTICAL BIOLOGICAL AND CHEMICAL SCIENCES входит в Web of Science Core Collection, поскольку по данным сайта https://mjl.clarivate.com/home
Core Collection состоит из

Science Citation Index Expanded (SCIE)

Social Sciences Citation Index (SSCI)

Arts & Humanities Citation Index (AHCI)

Emerging Sources Citation Index (ESCI)

Vladimir Timofeev
Vladimir Timofeev
4 года (лет) назад

Это абсолютно верно. Сама попытка наводить статистику по кол-ву публикаций WOS выглядит странно. Это можно было бы понять, если, скажем, использовали бы квартили итд, но в таком виде это совершено не о чем

Denny
Denny
4 года (лет) назад

Грантовую линейку в России можно условно разделить на 3 категории.

1. Гранты поддержки штанов. типичные гранты РФФИ. Хватает на расходники и небольшие доплаты участникам.
2. Гранты развития. Нормальные гранты РНФ. С их помощью можно потихоньку расширять и модернизировать приборную базу исследований. Можно привлечь новых людей.
3. Гранты создания. Как раз мегагранты. Можно за короткое время создать инфраструктурные блоки, обеспечивающие базу для дальнейших исследований.

Для большинства биологических дисциплин это так. Понятно, что в краткосрочный период мегагрант не может обойти уже существующую лабораторию, имеющую приличную экспериментальную базу и работающую на приличном уровне. В части публикаций. Статейная отчетность в период 3-5 лет идет за счет уже ведущихся проектов. Даже в идеальном случае первый год уйдет на закупку оборудования, второй — на исследования, а на третий возможны публикации. Учитывая российскую специфику, этот процесс обычно занимает значительно больше времени.

Так что приведенные результаты статанализа совершенно очевидны. Посмотрим, будет ли что-то интересное в следующих частях.

Михаил
Михаил
4 года (лет) назад
В ответ на:  Denny

В плане пункта 3 возможен и иной «вариант развития». Грант закончился, финансирование прекратилось, участники поразъехались … оборудование (может еще и не вполне отлаженное) сволокли в подвал. Я думаю, аналогичные примеры известны почти каждому. И как то не думаю, что «проекты развития» начинаются с «ровного поля», скорее много есть всего переходящего, соответственно, и публикации, пусть и не на новом еще только закупаемом оборудовании, вполне могут быть.

Denny
Denny
4 года (лет) назад
В ответ на:  Михаил

Ну разумеется, всегда есть масса вариантов. Я только к тому, что судить об отдаче с мегагрантов по краткосрочной и упрощенной до предела наукометрии — не самый лучший метод.

Вот была программа «Молекулярная и клеточная биология». Они давали деньги людям с хорошей наукометрией (аккуратно измеренной по многим параметрам). И получали, ессно, хорошую отдаче в виде тех же показателей.

В целом же все просто. Чем больше деньги, тем больше инфраструктурных изменений можно сделать. И тем больше срок отдачи. Нельзя одной меркой судить вложения разного масштаба.

Михаил Родкин
Михаил Родкин
4 года (лет) назад
В ответ на:  Denny

«Я только к тому, что судить об отдаче с мегагрантов по краткосрочной и упрощенной до предела наукометрии — не самый лучший метод» — естественно, как и вообще о «научном вкладе». Он реально становится виден на масштабе лет 10 и более. Не даром же Нобеля присуждают не по результатам этого года. Но для текущих управленческих решений нужны — если по серьезному — хоть какие то оценки их эффективности …

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад
В ответ на:  Михаил Родкин

В некоторых делах принято давать часть денег сначала (задаток), а часть потом (после успешного выполнения). Возможно, в грантах тоже имело бы смысл поступать аналогично, давать людям какую-то долю денег или не давать спустя 5-10 лет после первоначального финансирования, уже когда стало ясно, было ли оно потрачено эффективно или нет. Это мотивировало бы к более долгосрочным проектам. Но это так, в порядке фантазии.

01.01.09
01.01.09
4 года (лет) назад

Мысль верная. Если бы рффи-а разрабатывали разумно, то в начале года давали бы на все, кроме личного употребления, a по итогам — зарплатный бонус.

Но название нравится. Вроде Мгранты — на снежный человек, ан не поймаешь.

Михаил Родкин
Михаил Родкин
4 года (лет) назад

Алексей, совершенно бессмысленно. Такая практика возможна для хозяйствующих субъектов с переходящими финансовыми ресурсами. В случае лаборатории, которой требуется персонал и оборудование для текущей работы, и нет счетов в банках, это нонсенс.

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад
В ответ на:  Михаил Родкин

Разве лаборатории не существуют в рамках хозяйствующих субъектов — научных институтов и вузов, которые должны тоже об этом думать?

В.П.
В.П.
4 года (лет) назад

В значительной степени так и происходит. Обычно группе дают новый грант не потому, что они что-то очень ценное пообещали сделать, а потому что успешно выполнили прошлый проект.

Denny
Denny
4 года (лет) назад
В ответ на:  Михаил Родкин

«Хоть какие-то оценки эффективности» не нужны. Массовое деление числа статей на рубли ничего хорошего не дает. Особенно при сравнении неоднородных величин. Критерии имеют смысл, если они более-менее надежно работают. Иначе это просто наукообразие, за которым ничего нет. С таким подходом я понимаю тех, кто плюется при одном упоминании о наукометрии.

«Высокую урожайность для министерства (условно — более 10 статей в год на лабораторию, что не редкость для обычных сильных российских лабораторий) смогли обеспечить около 20% мегагрантов.»

Нельзя так сравнивать сильную лабораторию, УЖЕ ИМЕЮЩУЮ исследовательскую инфраструктуру, более-менне устойчивый состав, регулярное финансирование и успешную накатанную тематику с вновь создаваемой группой, для которой все это надо поднимать. Я уж не говорю о том, что уровень статей вообще оставлен за бортом.

Авторы это сами признают и обещают в следующих сериях более адекватное сравнение. Будем посмотреть.

Михаил Родкин
Михаил Родкин
4 года (лет) назад
В ответ на:  Denny

Коллега, так ведь вопрос не в том, насколько точна наукометрия — а в том, что на замену. Если есть РАЗНЫЕ источники финансирования, можно надеяться, что что то подойдет (государство, университет, какая компания, фонд, лично какой жертвователь …). Но и здесь наукометрия не помешает для ориентировки. А если есть — фактически — одно — государство? Вы предпочтете решение вопроса по научному мнению какого-нибудь «нового Хрущева»?

Алексей В. Лебедев
Алексей В. Лебедев
4 года (лет) назад
В ответ на:  Михаил Родкин

Михаил, «Корпус экспертов» всегда утверждал, что они и есть на замену. Что ими отобраны невероятного уровня эксперты, по невероятно умной методике, и только они укажут путь нашей науке в светлое будущее. Ну так и хотелось бы выслушать мнение этих экспертов с содержательной стороны, в том числе по итогам мегагрантов. Конечно, потом другие ученые могли бы с ним не согласиться, и возникла бы реально содержательная научная (а не бюрократическая) дискуссия. Вместо этого как достижение нам предлагается гадание на грубых и фальсифицируемых данных.

Вас пугает человеческий фактор? Вы хотите оценок на основе только объективных и достоверных цифровых данных? Давайте тогда возьмем даты рождения руководителя гранта, а лучше и его исполнителей, как исходные данные, и составим по ним гороскоп, строго по всем правилам астрологии, и по нему примем решение (сейчас даже астрологические компьютерные программы существуют). Будет объективное решение.

Если уж на то пошло, в порядке фантазии, честнее и проще будет лотерею проводить. Не искать лучших из лучших по спорным критериям, а выбирать случайно среди достаточно хороших претендентов (это проще определить).

Denny
Denny
4 года (лет) назад
В ответ на:  Михаил Родкин

Наукометрия — это просто статистика. И применять ее надо грамотно. Я не против наукометрии, я против ТАКОЙ наукометрии. Любой статистический тест работает для определенных ситуаций. И фальшивит в других случаях.

Критерий «число статей WoS» вообще не работает для более-менее сильных коллективов. Потому что отсечка низкая.

Число статей вообще зависит от численности коллектива. Лаборатория из 10 человек будет при прочих равных давать меньше статей, чем лаборатория из 30 человек.

Статистические показатели надо тщательно выбирать, чтобы результаты статанализа имели смысл.

Вообще, сравнивать определенные численные показатели хотелось бы при равных условиях.

Если статистика (наукометрическая в данном случае) применяется неграмотно, то это ничего не дает и может только дискредитировать весь подход.

Михаил Родкин
Михаил Родкин
4 года (лет) назад
В ответ на:  Denny

Ну, вовсе грубые оценки. Если исходить из них в РАН работают только несколько крупнейших институтов, все остальные дают несущественный хвост … получится нечто типа памятной компании «укрупнения колхозов». Но надо ли полагать оппонентов столь глупыми, что даже нормировка на фонд заработной платы им непосильна. … кстати, здесь же критикуется изначальное (естественно ОЧЕНЬ грубое) предложение — сравнивать «научный вклад» схожих по тематике организаций по отношению — числа статей в ВОС (может пары верхней уровней) / на рубли финансирования.

Denny
Denny
4 года (лет) назад
В ответ на:  Михаил Родкин

Еще разок. Каждый критерий работает для своего набора ситуаций.

Для больших устойчиво работающих организаций этот критерий как раз неплохо работает. Особенно если отсечь явных жуликов.

Для анализа результативности сильных групп нужны другие критерии, исключающие низкоуровневые статьи. Например по Q1.

А для анализа эффективности вновь создаваемых коллективов с вновь создаваемой инфраструктурой это не работает вообще.

Vladimir Timofeev
Vladimir Timofeev
4 года (лет) назад
В ответ на:  Михаил Родкин

проблема в том, что кол-во статей WOS эффективность не оценивает никак. пожалуй, с большей вероятностью можно получить ложную оценку

Михаил Родкин
Михаил Родкин
4 года (лет) назад
В ответ на:  Vladimir Timofeev

Разрешите поинтересоваться, а какой способ оценки — в нашей реальности — Вы считаете предпочтительнее? Чтобы начальство решало, какое из направлений-достижений в подвластной организации наиболее научно и плодотворно? Иного ведь не дано. Полагает «по мнению начальства» будет точнее и научнее?

Vladimir Timofeev
Vladimir Timofeev
4 года (лет) назад
В ответ на:  Михаил Родкин

К сожалению, если брать только оценку кол-ва статей WOS, даже «по мнению начальства» будет не менее точно. Я исхожу из того, что есть масса журналов WOS, где можно опубликовать практически что угодно, и попадаются такие работы, что лучше бы их вовсе не было (люди тупо не тратили бы время на заведомо бессмысленную с точки зрения развития науки деятельность).

Если, скажем, отбросить издания 4-й квартили или по импакту как-то отсекать, такая оценка могла бы иметь смысл

Vladimir Timofeev
Vladimir Timofeev
4 года (лет) назад
В ответ на:  Михаил Родкин

Как простой пример можно привести ситуацию, когда один коллектив опубликовал 1 статью в Cell, а другой — 5 в каких-нибудь МАИКовских журналах, ДАН итд. Если считать по кол-ву WOS, 2-й коллектив в 5 (!) раз эффективнее. Начальство же может по крайней мере высказаться против подобного абсурда

Михаил Родкин
Михаил Родкин
4 года (лет) назад
В ответ на:  Vladimir Timofeev

Так ведь средство от этого простое — достаточно, чтобы правила были известны заранее. А уж коллективы сами разберутся что они реально могут чтобы получить лучшие результаты.

Vladimir Timofeev
Vladimir Timofeev
4 года (лет) назад
В ответ на:  Михаил Родкин

Правила чего? Все, что я хочу сказать — простое кол-во статей WOS в лучшем случае никак не коррелирует с эффективностью коллективов в плане науки, а в худшем — приводит к бессмысленной трате времени и создает почву для недобросовестных манипуляций. Как правильно отметил Алексей Лебедев, в самом деле, проще проводить лотерею

Михаил Родкин
Михаил Родкин
4 года (лет) назад

Повторюсь, что со времен Юма (далее Эйнштейн и множество иных) твердо полагали, что наука в принципе не дает моральных ориентиров по принципиальным вопросам — отношения к своему ближнему, к власти и государству, ко всему человечеству, к природе. Такие ориентиры дают религиозные системы или их заменители (вспомним Моральный кодекс строителя коммунизма). А без такой метальной ориентации ни человеку, ни этносу НЕ прожить. Заметим, что где то читал — историческое обобщение — что те этносы, где религия была более заметна, существовали в истории дольше, были успешнее и устойчивее.

Михаил Родкин
Михаил Родкин
4 года (лет) назад
В ответ на:  Михаил Родкин

Извините, ошибся темой, спешил

Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (5 оценок, среднее: 2,00 из 5)
Загрузка...