Экспертиза: их и наша

Фотоколлаж М. Борисова. Фотографии И. Соловья (В. фортов, М. Ковальчук, А. Фурсенко, Д. Ливанов) и Н. Деминой (В. Рубаков, А. Цатурян, М. Фейгельман)
Фотоколлаж М.Борисова. Фотографии И.Соловья (В.Фортов, М.Ковальчук, А.Фурсенко, Д.Ливанов) и Н.Деминой (В.Рубаков, А.Цатурян, М.Фейгельман)

PavelЧто чиновники говорят и делают для становления научной экспертизы в России, и какой она должна быть на самом деле? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г.н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.

Начиная с «черного четверга» 27 июня 2013 года, когда на свет явился разработанный в строжайшей тайне правительственный законопроект о ликвидации РАН, научное сообщество старается не допустить реализации катастрофического сценария, включающего распродажу недвижимости РАН, подчинение ученых чиновникам, закрытие множества институтов и полное уничтожение условий для научной работы в России.

Прошло полгода. Закон подписан в форме, близкой к исходной: институты оторваны от РАН и переподчинены «агентству» — ФАНО. Означает ли это окончательное поражение?

20 декабря, в День работника органов безопасности, подписав утром помилование Михаилу Ходорковскому, Владимир Путин проводит заседание Совета по науке и образованию, посвященное «шагам по дальнейшему развитию фундаментальных исследований в России». «Ключевой вещью» он называет невмешательство ФАНО в научную деятельность (и в руководство ею), подтверждает договоренность о годовом моратории на имущественные и кадровые изменения в РАН (правда, теперь упоминает лишь имущественные) и дважды подчеркивает, что не надо спешить отдавать даже то имущество Академии, которое сегодня не нужно для науки. «Потому что потом в интересах науки будет не получить [это], когда возникнет необходимость» [1].

Однако призыв к аккуратности в обращении с имуществом ровным счетом ни к чему не обязывает, особенно когда тут же говорится: «Что-то, наверное, можно передать, что-то реализовать». Обещания моратория тоже к делу не пришьешь. Владимир Фортов справедливо квалифицирует их как «устное мнение» и просит подкрепить его официальным поручением правительству о практической реализации моратория. Кроме того, он подчеркивает необходимость «четких записей», исключающих вмешательство ФАНО в сферу исследований. Он хорошо помнит разочарование после сентябрьских заверений президента о согласии со всеми предложенными РАН поправками в Закон, кроме одной второстепенной.

На момент написания статьи ни поручения правительству, о котором просил Фортов, ни итогового документа заседания Совета нет. И в целом нет доказательств отказа власти от грубого разрушительного сценария. Убаюкивающие речи должны не расслаблять, а обострять внимание к одновременно реализуемым практическим действиям чиновников. В то же время эти речи делают допустимым разговор уже не о научной катастрофе, а о результативности и эффективности. Тем самым на первый план выходит проблема адекватной оценки научных достижений.

Гимны экспертизе на заседании в Кремле

Если смотреть на данную проблему через призму оппозиции «числовые показатели -экспертиза», то бросается в глаза (и это может показаться неожиданным), что энтузиастов библиометрии и вообще формальных показателей результативности на заседании Совета совсем не было слышно.

О том, что «система [оценки эффективности институтов] должна максимально опираться, прежде всего, на экспертные оценки», говорят Дмитрий Ливанов (в кавычках приведены его слова), Владимир Фортов, Михаил Ковальчук, Андрей Фурсенко, Евгений Примаков и другие выступающие. «Никакие наукометрические показатели не могут заменить мнение специалиста» (Фурсенко), «Наукометрия есть дополнительный показатель гамбургского счета к глубоким экспертным оценкам» (Ковальчук), «У нас необходимо ввести экспертные критерии оценки научной работы» (Фортов) и т.д.

Причины, по которым участники дистанцируются от «общего увлечения» наукометрией, различны, но закон Гудхарта, гласящий, что числовой индикатор утрачивает свои свойства и разрушает естественные мотивы деятельности как только становится целевым показателем, похоже, приобрел уже статус common knowledge.

Выражая этот общий тренд, А. Фурсенко провозглашает: «Я предлагаю поручить правительству совместно с Российской академией наук разработать и утвердить в ближайшее время план работ по экспертному научному обеспечению всех значимых программ и проектов не только в области фундаментальных исследований, но и по другим видам деятельности, определяющим социально-экономическое развитие России».

Здесь возникает ощущение дежавю.

Дежавю

В середине 90-х много говорили о повышении роли экспертизы в государственном управлении. Была осознана необходимость принятия федерального закона об экспертизе и экспертной деятельности. Проекты закона были подготовлены, но закон не был принят [2].

Дмитрий Шмерлинг и Анна Вайнмахер в еще не опубликованной статье «Текущее состояние экспертной деятельности и экспертных оценок в государственном управлении» напоминают, что в ноябре 2001 года в Кремлевском Дворце съездов прошел Гражданский форум, где одним из центральных был вопрос о государственной, гражданской и общественной экспертизе [3]. И неудивительно, что среди поручений, которые по результатам Форума дал недавно избранный президент РФ В. Путин, снова была разработка Закона «Об экспертизе и экспертной деятельности в РФ». Проект Закона был снова разработан, но похоронен Минюстом России [4]. С тех пор общего закона об экспертной деятельности, заявления о необходимости которого слышатся регулярно [5] (см. также [6-9]), так и нет. Что мешает его принятию? Почему каждый раз на его пути встают непреодолимые административные барьеры?

Чиновник и экспертиза: любовь и страхи

Правдоподобное объяснение состоит в том, что экспертиза нужна чиновникам как красивый лозунг, а не как механизм с непредсказуемыми результатами. Публичная регламентация процедур экспертизы неизбежно приведет к их большей прозрачности, а значит, к плохой управляемости.

В сфере оценки научной деятельности эта закономерность проявляется достаточно наглядно. Выше уже приводились высказывания Д. Ливанова и А. Фурсен-ко о главенствующей роли профессиональной экспертизы. Но при переходе от парадных речей к повседневной практике картина меняется. Согласно Правилам оценки и мониторинга результативности, утвержденным правительством 1 ноября 2013 года [9], научные организации оцениваются по формальным критериям, а экспертиза предусмотрена лишь для «анализа» представленных организациями числовых данных и оценки деятельности подразделений тех институтов, которым грозит ликвидация.

Говоря попросту, Правила предписывают экспертам изучать столбики цифр, а не то, какие сотрудниками институтов сделаны открытия. Этот подход был подтвержден и на круглом столе по вопросам оценивания научных организаций, прошедшем в Минобрнауки 5 декабря 2013 года: по свидетельству очевидцев [11], «предложение об оценке экспертной комиссией не только «аутсайдеров», но и лидеров» не вызвало там энтузиазма разработчиков.

И вот что существенно: в Правилах экспертиза не только сужена до предела, но и вообще упоминается лишь вскользь — о ее регламентации не сказано ни слова (как, кстати, и о способе свертки полусотни численных показателей). Действительно, по логике чиновников надо «регламентировать» институты, чтобы они дисциплинированно собирали данные (и соответствующий приказ уже написан [12]), но зачем же лишать самих себя пространства маневра при принятии решений?

В силу такого положения вещей едва ли стоит ожидать, что славословия по поводу профессиональной экспертизы на декабрьском президентском Совете не сегодня-завтра приведут к переписыванию Правил оценки. «Двоемыслие» Д. Ливанова в этом вопросе (парадные речи — одно, практика — другое) абсолютно характерно, если не сказать «эталонно». Еще красноречивее, что опытный аппаратчик А. Фурсенко в приведенном выше «поручении» предлагает разработать не закон об экспертизе, а «план работ по экспертному научному обеспечению» всех значимых программ и проектов, определяющих социально-экономическое развитие России. Иначе говоря, есть желание планировать работы и выделять средства. А что-либо регламентировать желания нет.

Что такое экспертиза?

Экспертизу нужно определять предельно конкретно, считает Нина Беляева, один из разработчиков проекта закона об экспертизе 2002 года, зав. кафедрой публичной политики НИУ ВШЭ [4]. Только так можно отделить ее от смежных видов деятельности, требующих иного правового регулирования.

«Экспертиза — это установление соответствия предложенного образца нормативному образцу с использованием процедуры, которая утверждена нормативным актом» — вот ее выстраданное определение. Оно признаёт экспертизой далеко не каждое оценочное суждение, полученное от профессионала, а лишь проверку соответствия стандарту, выполненную по утвержденным правилам. Если стандартов нет, то их надо разработать, и это — важная часть экспертной работы (которую надо отличать от экспертизы в узком смысле). Впрочем, эта работа предполагает некую метаэкспертизу, т.к. система стандартов тоже должна удовлетворять определенным стандартам. Итак, снова процитируем Н. Беляеву: «Нормальная экспертиза очень жестко регулируется процедурно».

Мы не можем ждать милостей от…

В этом смысле то, что любят чиновники, — вообще не экспертиза.

Их любовь к «экспертизе» имеет две очевидные причины: лозунг о ней прекрасно звучит, а сама она легко профанируется. Если сделать экспертизу профессиональной, прозрачной и строго регламентированной, то половина очарования сразу пропадает. Значит, что бы власти ни говорили, ждать, что они «сделают нам» экспертизу, которая нам понравится, не приходится. А профанированная экспертиза, пожалуй, пострашнее и закона Гудхарта, и прочих пороков библиометрии. Поэтому выбор в пользу экспертизы осмыслен только когда есть гарантии обеспечения ее качества.

Отметим, что вопрос о том, кто и как организует экспертизу, — настолько основополагающий, что он вызвал на совещании в Кремле резкую полемику, нетипичную для подобных мероприятий. В. Фортов настаивает на экспертной монополии Академии. Он напоминает: «Законом о реформе и положением о ФАНО установлено, что именно РАН осуществляет мониторинг и оценку эффективности деятельности научных организаций независимо от их ведомственной принадлежности» [1]. Но, отмечает он далее, в противоречие с Законом, постановление Правительства от 1 ноября 2013 года возлагает эти функции на Минобрнауки России.

Д. Ливанов язвительно парирует: «Мы знаем опыт проведения оценки научных организаций самой Академии наук, когда в нее еще входили научные организации: 80% организаций были отнесены к тем, которые работают на мировом уровне. Мы знаем прекрасно, что… это далеко не так». В его версии главное условие качества экспертизы — ее независимость.

А вот вопрос «чьими силами проводить экспертизу?», в отличие от предыдущего, при обсуждении в таком собрании оказывается ритуально-риторическим. Здесь расхождения между оппонентами нет. Д. Ливанов: «Экспертное сообщество для оценки научных организаций будет обязательно формироваться с привлечением ведущих российских ученых, активно работающих в той или иной области науки». Далее он подчеркивает их «ключевую роль» в экспертизе. В. Фортов призывает полагаться на экспертные критерии оценки научной работы, разработанные самими учеными, «а высвобождающиеся десятки миллионов рублей направить на реальную науку, а не на пустое бумаготворчество».
Итак, власть и научные генералы поют гимны профессиональной экспертизе, но ровным счетом ничего не делают для ее становления. Как бы приглашая отечественных ученых самоорганизоваться и явить миру свою экспертную компетенцию. Мы помним из политологии, что чем острее конкуренция двух больших партий (в данном случае это Минобрнауки и РАН — Ливанов и Фортов), тем сильнее слышен голос граждан и тем большего может добиться третья сила, исходно не имевшая серьезного влияния.

Нужна самоорганизация

А что же сами ученые? С 2007 года силами энтузиастов развивается проект «Корпус экспертов по естественным наукам» [13], использующий для формирования экспертного сообщества как собственно экспертный, так и наукометрический подходы.

30 декабря 2013 года Комиссией общественного контроля за ходом и результатами реформ в сфере науки представлен проект Регламента профессиональной оценки научных организаций [14], опирающийся на подход «Корпуса экспертов». Проект обсуждался с 3 по 24 декабря; участники обсуждения, высказавшие ряд замечаний и предложений, в основном отмечали его высокое общее качество. Другие аналогичные разработки нам неизвестны.

В этой деятельности пока участвует совсем немного людей, и на данный момент определились контуры Регламента лишь для естественных наук. Даже для математики и информатики большую часть работы еще предстоит сделать, не говоря о других дисциплинах. Самая трудоемкая часть — формирование корпуса экспертов. Кроме точных наук, кое-что сделано здесь в области лингвистики.

Если ученые не представят хорошо разработанный проект, через год-другой В. Фортов и Д. Ливанов скажут примерно следующее: «Увас был шанс полноценно поучаствовать в оценке научных коллективов. Вы им не воспользовались. Мы, споря друг с другом, сделали это как умели. Для вас дверь была приоткрыта, но вы в нее не вошли. Теперь имеем то, что имеем».

Те, кто хотят участвовать в этой работе, могут связаться с разработчиками через сайт Комиссии общественного контроля — www.rascommission.ru.

Самоорганизация экспертного сообщества нужна, разумеется, не только для оценки институтов, но и для определения перспективных направлений развития науки, для формирования позиции ученых по всем существенным вопросам. Без этого мы обречены быть заложниками чужих интересов.

  1. http://state.kremlin.ru/council/6/news/19865
  2. http://parzefal.com/source/000382.pdf ; www.pressarchive.ru/ekonomika-i-jizn/1997/09/30/%20254893.html
  3. Д. Шмерлинг, А. Вайнмахер. Текущее состояние экспертной деятельности и экспертных оценок в государственном управлении // XV Апрельская международная научная конференция по проблемам развития экономики и общества. М.: НИУ ВШЭ. В печати.
  4. http://polit.ru/article/2002/12/16/611864
  5. www.hse.ru/data/2012/10/08/1247168533/ExpertisaProektovNPA.doc
  6. www.lawmix.ru/commlaw/126
  7. www.portalus.ru/modules/different/rus%20readme.php?subaction=showfull&Td=1271064962&archive=&start_from=&ucat=19&category=19
  8. http://salon.extech.ru/salon8/html/result.shtml
  9. www.sochi-pravo.ru/moi-stati.html
  10. http://pravo.gov.ru:8080/page.aspx?67047
  11. http://trv-science.ru/2013/12/24/i-vot-obshhestvennoe-mnene/
  12. http://regulation.gov.ru/get.php?view%20id=3&doc_id=23934
  13. http://expertcorps.ru/
  14. www.rascommission.ru/index.php/%20documents/statements/63-otsenka
Подписаться
Уведомление о
guest

174 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Л.Л. Гошка
Л.Л. Гошка
10 года (лет) назад

Павел Чеботарев: 21.01.2014 в 11:40 Вы думаете, что научным и системным подходами можно решить проблему определения главных целей, выбора социальных идеалов? Расхождение государственничества и либерализма лежит как раз в этой плоскости. До того как говорить о социальных идеалах, вначале надо создать условия для человека, чтобы он мог покрывать свои естественные потребности, а не садиться ему на шею хомутом со шпорами с целью подгонять его к чьему-то светлому будущему, без разницы к какому и как оно называется: коммунистическое или либеральное. Создать условия для человека для покрытия естественных потребностей в условиях нарастающего дефицита ресурсов можно за счет инновационной экономики. Я не политик (потенциальный хомут на шею со шпорами) поэтому продолжу: Целями инновационной политики ведущих стран мира являются увеличение вклада науки и техники в развитие экономики страны, обеспечение прогрессивных преобразований в сфере материального производства, повышение конкурентоспособности национальных продуктов на мировом рынке, укрепление национальной безопасности и обороноспособности страны, улучшение экологической обстановки и др. Инновация. В соответствии с международными стандартами инновация определяется как конечный результат инновационной деятельности, получивший воплощение в виде нового или усовершенствованного продукта, внедренного на рынке, нового или усовершенствованного технологического процесса, используемого в практической деятельности, либо в новом подходе к социальным услугам. Инновационный процесс осуществляется на разных уровнях: государственном, региональном, муниципальном, фирменном, подразделенческом и исполнительском. Государственный уровень реализации инновационного процесса заключается в государственной политике стимулирования и поддержки инновационной деятельности. Инновационный процесс на исполнительском уровне обеспечивается деятельностью непосредственных исполнителей инновационных разработок, к которым относятся инновационные инженеры, учёные, специалисты по маркетингу (маркетологи), патентоведы, конструкторы, технологи, экономисты, и др. Инновационная деятельность. Инновационный процесс представляет собой объединённую общей целью инновационную деятельность какого-либо субъекта экономики. Эта деятельность направлена на реализацию законченных научных исследований и инженерных разработок в виде нового или существенно усовершенствованного и реализуемого на рынке продукта. Множество предметных областей, которые имеют общий научный базис, образуют отдельное направления в разработке инноваций. Инновационная деятельность может быть разделена на… Подробнее »

Александр Пухов(SINP)
Александр Пухов(SINP)
10 года (лет) назад

У Войновича в «Москва 2042» есть эпизод об органицации труда писателей. Они пишут свои произведения на клавиатуре, а провода идут в никуда. Гениальный писатель Войнович и дожил до реализации своих утопий, что встречается крайне редко!

vlad1950
vlad1950
10 года (лет) назад

Что чиновники говорят и думают что эти нищие нс и ппс должны работать на мировом уровне- если уж вы навязали буржуйство то помните, там принято платить а не воровать

vlad1950
vlad1950
10 года (лет) назад

выразителен на фотке министр Ливанов видно как он упоенно доволен ходом и результатами реформ, знайте наших, нищеброды, ппс, и нс.

начинающий алкоголик
начинающий алкоголик
10 года (лет) назад

У нас в стране в целом жить опасно и просто неприятно. Большинство людей дурно воспитаны и плохо образованы. Бюрократия и коррупция превышает все разумные пределы. Эта среда ядовита для любой интеллектуальной деятельности. Поэтому построить в ней закрытый бастион с «правильными» критериями невозможно. До тех пор пока страна находится в феодальном строе, такие демократические ценности, как наука ей не по зубам, да и просто они лишние, как золотые канделябры на сельском туалете. Вот примерно так и выглядят все эти «золотые мозги».
НУ а люди, которые пытаются убедить правительство в обратном, на этом фоне просто смешны, как рехнувшийся комбайнер, который стал убеждать председателя колхоза купить к комбайну квадро-магнитолу в разгар уборочного сезона. Да еще стал настаивать, что симфонический оркестр увеличит урожай.
В этой ситуации «музыкантам» нужно думать о том, куда податься, чтобы там эти все канделябры купили у них. Другого выхода нет.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад

Вы право, смешны уже тем, что остаемся. Значит, не будем бояться и еще чем-то быть смешными. Можно вспомнить стихотворение «Выбор» (1973) Бориса Чичибабина. Тут растут дети, их можно учить.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  Павел Чеботарев

Исправляю опечатку, искажающую смысл: должно быть «правЫ».

Стецко
Стецко
10 года (лет) назад

У человека мало отобрать водку, ему нужно предложить что-то взамен.
На вашем примере виден порочный круг: всё плохо, поэтому пьем, а так как пьем, не можем сделать что-то хорошее, поэтому всё плохо.

начинающий алкоголик
начинающий алкоголик
10 года (лет) назад

Где же был Фортов, когда мне было 20? Вице-премьером он был…И вот прошло 20 лет, и он снова возник, как чертик из коробочки…»Поправлять», что за 20 лет не доправил. Бессовестный эгоистичный чел. Вы слышали, как о нем в его родной Черноголовке отзываются? Они с Ливановым стоят друг друга. Ливанов, например, в бытность ректором, конкурс объявлял в МИСИС на приглашение молодых докторов. И выигравшим конкурс людям бессовестно в глаза лгал, что их берут, и чтобы они шли и увольнялись из своих университетов, а потом…НИКОГО не взял!
И конкурс закрыл. Вот так он делает и сейчас — слова завлекательные, словоблудие отменное…а за этим всем стоит ложь.
И вот смотрю я на фотографию этих персонышей и противно! Сил нет!

начинающий алкоголоик
начинающий алкоголоик
10 года (лет) назад

«Поскольку квалификационным требованиям могут удовлетворять все участники. Т.е. должна быть постоянная схема финансирования с абсолютными, а не относительными критериями.»
Ох! вот это правильно! А у нас под словом «грантовое финансирование» подразумевается дырявое одеяло. Даже хуже…дырявым одеялом еще можно накрываться..А вот питаться с паузами в 1-2 года (когда на тебя гранта не хватило) вряд ли получится…господа…

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад

Да, а науку гонят в лотерейную чересполосицу:
«в) в целях повышения эффективности использования бюджетных ассигнований федерального бюджета на проведение научных исследований принять меры, направленные на изменение существующего механизма финансирования таких исследований, предусмотрев:
осуществление финансирования фундаментальных и поисковых научных исследований преимущественно за счёт грантов»
http://www.kremlin.ru/assignments/20065

начинающий алкоголик
начинающий алкоголик
10 года (лет) назад

только об этом никто не говорит…я что-то никогда не слышал вот таких слов о грантах со стороны Фортовых, Алдошиных…их все устраивает, т.к. гранты они сами себе присуждают..Нет лучше средства покончить с конкурентами в науке, как отключить им питание)) мотивируя «неактуальностью» их работы..или еще какой-нть чуши навроде списка стратегических направлений

Стецко
Стецко
10 года (лет) назад

В России все ждут, что министр соберет анкеты со всех сотрудников РАН, прочтет каждую и плохих уволит, а хорошим лично пожмет руку, а у кого Хирш большой, еще и шоколадку вручит.
Никакой министр сверху не сможет создать работоспособную систему научной экспертизы. Это делается снизу.

Павел Чеботарев
Павел Чеботарев
10 года (лет) назад
В ответ на:  Стецко

«Это делается снизу».
Я о том же.