17
Апр
2014

ФАНО собирает предложения институтов по оценке их эффективности


Уважаемые коллеги,

Благодаря Сети координации институтов многие из вас уже получили прилагаемый ниже документ ФАНО, адресованный руководителям научных учреждений. В целом стиль документа можно оценить позитивно, но поскольку предложения по оценке эффективности институтов предлагается собирать только до 25 апреля, то возможности организовать полноценное и содержательное обсуждение предлагаемых критериев с научными работниками у руководителей институтов не будет.

Особенно важен вопрос о том, насколько широко и эффективно предложения каждого из 1007 учреждений ФАНО будут использованы для выработки общих критериев оценки. Как вписать особенности каждого института и его области знания в общую схему?  

Исходя из важности документа все члены ОНР приглашаются для обсуждения и внесения предложений. Ввиду авральности обсуждения продуманные и взвешенные формулировки, аргументированные предложения приветствуются, эмоции - нет.


 

23 комментарии

1 / 1
Главная проблема как всегда

публикации.  Под  которыми в  проекте  понимается все   -   от    нормальной  статьи  до  заметок  на  пипифаксе.  Так  вот    главное   за  что  стоит  бороться  -   за    статьи,  а  не  за  публикации.  А  то        16   статей  в     журналах  WoS   на  самом  деле   являются  15  тезисами  конференций  (да.  опубликованными в  журнале)   и  одной  реальной  статьей  в   журнале.

1 / 1
Тезисы разве в WoS входят?

Я встречал только труды конференций. В Computer Science труды конференций более престижны и на них больше ссылаются, нежели на журналы. Отличается и рецензирование: в журналах обычно два рецензента, на конференцях IEEE как минимум три. А на солидных шесть или семь. 

Так что не надо со своими мерками лезть в чужой огород. Для справедливой оценки институты и разбиты на группы.

1 / 1
Для некоторых конференций - входят

Например, в моем профиле в WoS можно увидеть ссылки на тезисы выступлений на American Chemical Society National Meetings. 

1 / 1
Что-то мне подсказывает

Что при приеме доклада на эту конференцию было серьезное рецензирование. И не тезисов, а полнотекстовой версии работы. Наверняка, где-то публикуется и полный текст.

1 / 1
Рецензирование тезисов было, полного текста - нет.

Отбор устных докладов на ACS Meeting осуществляется на основе тезисов. Например, на прошедшем в марте с.г. 247th ACS Meeting нам сообщили, что "конкурс" на устные доклады по секции MEDI был 1:2. 

1 / 1
Это удивительно

В нащей области печатаются полные тексты докладов, а это минимум 10 страниц в формате Elsivier, а обычно больше (12-20).

У WoS своя политика и она зависит от договоренностей с конкретным сообществом.

1 / 1
Возможно...

В.В. Поройков

Возможно, как-то учитывается еще и обший "рейтинг" конкретного исследователя - но это мои домыслы.

1 / 1
администраторы - директора в качестве экспертов?

совершенно чевидно, что согласовать анкету на уровне коллектива НИИ нереально, следовательно заполняте ее будет один человек, либо директор либо тот кому это поручат.

Хотелось бы напомнить что в науке есть проблемы взаимодействия ученых с неучеными и проблемы взаимодействия и прав ученых с разным социальным статусом. Вовсе не факт, что абсолютное доминирование в науке ученых и администраторов с высоким социальным статусом это хорошо.

Стоило бы делать анкеты для представителей разных социальных групп или подкорректировать писмо потребовав от руководства НИИ организоватьобсуждение в рамках ученого совета, как минимум.

1 / 1
Давайте за себя, хорошо ?

У  вас   в  институте  может  и  не  реально.   У  нас  этим  занимается  как   раз  комиссия   Ученого   Совета.

1 / 1
а вероятность?

согласитесь, что вероятность привлечения низов, если это не оговорено ФАНО, довольно мала.

с другой стороны, ученый совет это тоже некая элита из зав. лабов и т.д. т.е. представители власти. Представители правящих кругов в первую очередь будут учитывать свои интересы (возможно искренне считая эти интересы общими). 

Мне кажеться - сама ОНР возникла как попытка диалога с большим начальством в обход существующей вертикали власти. 

1 / 1
Письмо академика Алексея Паршина об экспертизе

Ещё по теме:

Письмо академика Алексея Паршина об экспертизе научных организаций ФАНО

http://www.saveras.ru/archives/8900

1 / 1
Про тезисы и WOS

Я   не  говорю  о  том,  что  тезисы  входят в  WOS.   Я  только  о  том,  что   тезисы  некоторых   конференций    печатают в supplement   выпусках  журналов.   В  мой  области  этой American   J.  of  Human Genetics   -   тезисы  ежегодной  конференции,   примерно  1500  штук,   спецвыпуск,  обычно   supplement  к  10  выпуску  журнала   за   текущий  год.  ПРи  этом   эти  тезисы  в  том  же  PubMed  обнаружить    нельзя.

1 / 1
Пример - в приложении.

В.В. Поройков

Петр Андреевич, речь шла именно о тезисах (кстати, в последние годы они не издаются в бумажном виде - только на флешке).

0 / 0
Присоединить файл не смог.

Уж поверьте на "слово".

0 / 0
Да я верю - без вопросов.

Я  немного  о  другой  ситуации  -  журнал  из  списка WoS  публикует  тезися    конференции   -  и  они  появляются в  списке  работ   как  нормальная  публикация  -  журнал -год -том-номер-странциа (правда,  всего  одна).

0 / 0
Считается, что в WoS входят только те работы,

что имеют Accession Number и им посвящена отдельная библиографическая запись.

Вряд ли это выполняется для тезисов. В таком случае надо смотреть не на журнал, на на саму базу данных.

0 / 0
Все правильно, тезисов о которых говорю я

в  базе  WoS  может  и  не  быть.  Но  вот  ситуация  -  есть   запись  индивида  Х  о  том,  что у  него  Y   статей   в  журналах WoS.  И  приведены   названия   журналов  и  работ.   От     кого в  этой  ситуации   будет  зависеть    оценка        индивида  ?   От  эксперта,  который  или  знает,  или  не     знает    положение  дел   с  конкретным  журналом.  Проверить каждого   индивида  по   базе   данных  WoS п  -  крайне   сложно.   Если  будет  условие  приведения  только  статей -   все  будет  чуть  проще,  так  как приведение  тезисов     как  статьи  будет  прямым   подлогом.  Хотя  опять  же  выявление   этого   подлога  будет   зависеть  от квалификации  эксперта. 

0 / 0
Если индивид пишет, что у

Если индивид пишет, что у него столько-то статей в базе ВОЗ, то проверить это очень легко. Нужно заставить индивида для каждой статьи указать ее Accession Number (WOS number). По этому номеру очень легко проверяется наличие статьи в ВОЗ.

Проверить индивида по ВОЗ не сложно. Нужно  заставить индивида сдеать ResercherID профайл и указать его номер.

 

0 / 0
Некоторые статьи выглядят как тезисы

и наоборот. Стандартный пример из наукометрии

http://www.nature.com/nature/journal/v244/n5414/abs/244311a0.html

Статья в Nature которая состоит из двух коротких предложений

(начало статьи) DR GRIME replies: There is a clear difference of opinion between Newman and myself with regard to the role of root competition in natural vegetation. It would be a mistake to pursue the discussion, however, without first defining competition and placing the phenomenon in a wider but relevant context. (Конец статьи)

Тем не менее это полноценная статья в Nature из базы WoS и более того - эта статья процитирована 58 раз. Современная наукометрия умеет выделять и отделять подобные статьи автоматически и  даже без заполненного Reseacher ID:)

0 / 0
Предложения по оценке институтов РАН

При обсуждении в сети СКИ были высказаны некоторые предложения. Помещаю их ниже для дальнейшего обсуждения. Срок подачи предложений в ФАНО - 25 апреля, что, конечно, безобразие. Нельзя важнейшие дела решать в спешке.

0 / 0
Строка поиска в WoS

Уважаемые коллеги,

В тексте предложений Института проблем механики есть одна поправка относительно способов поиска публикаций института в WoS и других библиоресурсах, которая, очевидно, возникла в результате недопонимания.

Вместо:  В качестве дополнительной информации организация указывает строку поиска.

Предлагается: ФАНО должно указать единую строку поиска для всех институтов

Но вот именно это конкретное предложение ФАНО абсолютно разумно.  Поясню почему.

На странице поискаWoS заполняются поля поиска работ организации и все разные варианты написания названия института (за этим как раз должны следить сами институты) перечисляются через OR.

После нажатия кнопки поиска выдается список работ, включающий статьи с указанными в них разных вариантах указания аффилиации, а в адресной строке браузера появляются указанные ранее параметры поиска. Эту длинную строчку можно скопировать и передать в ФАНО. Она принципиально не может быть единой для всех институтов - названия институтов у всех разные.

Конечно WoS и другие игроки на этом рынке предлагают специальные средства анализа публикационной активности  организаций, но это уже для эстетов ....

0 / 0
Предложения Совета ОНР по оценке институтов от 14.08.2013

Обнаружил в архиве предложения Совета ОНР от 14.08.2013 по доработке проекта Постановления 979.

Тогда проект этого постановления обсуждался, а сечас оно уже действует. Полезно освежить в памяти.

                                               ************** "" *****************

Предложения Совета Общества научных работников по доработке проекта постановления Правительства РФ «О внесении изменений в постановление Правительства Российской Федерации от 8 апреля 2009 г. № 312»

2 августа 2013 года опубликован проект постановления Правительства РФ «О внесении изменений в постановление Правительства Российской Федерации от 8 апреля 2009 г. № 312, разработанный Минобрнауки. Предполагается, что данным постановлением будет принята новая редакция «Правил оценки результативности и мониторинга деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения» (далее - Правила). Совет Общества научных работников полагает, что предложенный проект Правил нуждается в существенной переработке. Его принятие в предлагаемой редакции может привести к неоправданным сокращениям числа научных организаций из-за ошибок при их отнесении к категории «утративших научный профиль и перспективы развития». Вследствие этого страна может потерять сильные коллективы, научные группы и лаборатории, работающие, в том числе, в относительно слабых учреждениях. В результате станет невозможным выполнение Указа Президента РФ № 599 от 7 мая 2012 г. в части обеспечения роста доли публикаций российских ученых в общем количестве публикаций в научных журналах, индексируемых в базе данных Web of Science.

Согласно предлагаемым Правилам, ключевым органом системы оценки становится Межведомственная комиссия по оценке результативности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения (далее – Межведомственная комиссия). Предполагается, что Межведомственная комиссия будет формировать референтные группы научных организаций различной ведомственной принадлежности для проведения сравнительной оценки результативности работы, устанавливать пороговые показатели по референтным группам для отнесения организаций к одной из трех категорий, а также утверждать предложения ведомств и государственных академий наук об отнесении организаций к той или иной категории.

Оценку деятельности организаций предполагается проводить на основе типовой методики, включающей 25 – 30 показателей , что фактически будет служить оценкой результативности деятельности организаций по формальным показателям.

По итогам проводимой раз в 5 лет оценки организации в пределах каждой референтной группы, научные организации будут отнесены к одной из трех категорий:

а) 1-я категория – научные организации - лидеры;

б) 2-я категория – стабильные научные организации, демонстрирующие удовлетворительную результативность;

в) 3-я категория – научные организации, утратившие научный профиль и перспективы развития.

Для отнесенных к первым двум категориям предусматривается составление стратегий или программ развития организаций (укрепления лидерства/улучшения деятельности); результаты оценки также могут быть учтены при определении объемов финансирования организаций. Отнесенные к третьей категории организации подлежат реорганизации или ликвидации, в отдельных случаях возможна замена их руководства.

Концепция предлагаемых Правил исходит из того, что субъектом, производящим научную продукцию и подлежащим оценке и мониторингу, выступает исследовательский институт или подобная научная организация. Совет Общества научных работников считает, что подобная установка применительно к собственно исследовательской деятельности неверна. Основной рабочей единицей, «производителем результатов» в фундаментальной науке фактически выступает лаборатория, научная группа или отдельный ученый. Институты призваны решать иную задачу: они поддерживают и развивают организационную и материально-техническую инфраструктуру, предоставляемую научным группам для их исследовательской работы. По этой причине оценка научной организации как целого по единым формальным критериям принципиально не может отразить результативность работы научных групп, проводящих исследования на его базе. Такие показатели могут дать лишь усредненную оценку результатов работ десятков или даже сотен научных групп, работающих по разным научным программам и получающих финансирование из разных источников (таких как гранты, государственные контракты, хозяйственные договоры и т.д.). В одной и той же организации могут работать как сильные научные коллективы, так и группы, которые в действительности «утратили научный профиль и перспективы развития».

Совет Общества научных работников приветствует стремление сформировать референтные группы с учетом областей научных знаний (отраслей науки) и видов проводимых организациями научных исследований, но отмечает, что эта крайне сложная задача не всегда имеет однозначное решение. Так, различные научные направления даже в пределах одной области знания могут в несколько раз отличаться по публикационной активности и интенсивности цитирования научных работ. Из-за этого эффективные научные коллективы, работающие в одной области, будут иметь заведомо разные наукометрические показатели, а, значит, некоторые из них рискуют попасть в аутсайдеры только из-за тематики своих исследований. Кроме того, крупные структурные подразделения больших научных организаций нередко ведут исследования в столь различающихся направлениях науки, что их следовало бы оценивать индивидуально по критериям разных референтных групп. Таким образом, необходимо отметить, что формирование референтных групп – сложная и деликатная задача, цена ошибок в которой будет высока.

В этой связи Совет Общества научных работников считает, что в постановлении Правительства РФ не следует фиксировать общие для всех референтных групп жесткие пороги минимальных критериев, по которым научные организации будут разноситься по различным категориям. Первая процедура оценки должна носить в значительной степени тестовый характер. В отношении организаций, показавших худшие показатели в референтной группе, не следует в автоматическом порядке инициировать процедуры реорганизации и ликвидации. Низкие показатели должны стать основанием для проведения углубленной и независимой экспертной оценки работы лабораторий и научных групп, ведущих исследования в составе данной организации.

Межведомственная комиссия должна разработать порядок формирования экспертных комиссий, в состав которых войдут квалифицированные российские и зарубежные исследователи. Сформированные таким образом экспертные комиссии будут обязаны провести детальное обследование организаций, худших по формальным показателям, и составить заключение с указанием ответов на следующие вопросы:

– Обосновано ли отнесение данной организации к соответствующей референтной группе?

– Обусловлены ли низкие показатели недостаточной результативностью работ, ведущихся в организации, или же они определяются спецификой основных научных направлений, представленных в ней?

В том случае, если организация действительно показывает низкую результативность, экспертная комиссия должна провести детальный анализ научного уровня ведущихся в ней работ и сформулировать оценку квалификации ее сотрудников. Особое внимание следует уделить выделению отдельных работоспособных и квалифицированных подразделений и научных групп, которые необходимо сохранить в случае реорганизации данной научной структуры или ее ликвидации. Экспертная комиссия должна сформулировать свое мнение о дальнейшей судьбе организации, дать рекомендации о путях ее возможной реорганизации, а в случае необходимости ликвидации – о способах сохранения отдельных работоспособных групп и подразделений (возможности их перевода в иные исследовательские институты или вузы данного региона). Для того, чтобы научные группы, работающие в России на международном уровне не стали вымирающим видом, они должны быть занесены в «Красную книгу» и сохраняться вне зависимости от судьбы учреждения, в котором они работают.

Заключение и рекомендации экспертной комиссии должны быть представлены Межведомственной комиссии и федеральному органу исполнительной власти либо государственной академии наук, в чьем ведении находится научная организация. Именно результаты оценки независимой экспертной комиссией, а не мнение чиновников, должны быть основанием для решения о проведении реорганизации или ликвидации организации. Решение о ликвидации может быть принято только на основании заключения экспертной комиссии при условии непременного обеспечения нормальных условий для дальнейшей работы сильных научных коллективов, выделенных экспертами в составе ликвидируемой организации.

После завершения работы экспертных комиссий, при обязательном учете итогов широкого и гласного общественного обсуждения результатов оценки деятельности научных организаций, следует провести доработку типовых правил оценки, принципов формирования референтных групп и т.д. С учетом полученного опыта следует разработать и утвердить процедуру независимой экспертной оценки деятельности научных организаций. Результаты такой оценки позволят получить разумные рекомендации, касающиеся работы не только отстающих организаций, но также и «середняков» и лидеров. Такие рекомендации независимых экспертов будут гораздо более полезны, чем ведомственные программы развития. Как показывает опыт университетов, подготовка таких программ представляет собой особый вид бюрократической деятельности, имеющий весьма опосредованное отношение к реальной научной работе.

Совет Общества научных работников считает, что особое внимание при доработке Правил следует уделить процедуре формирования Межведомственной комиссии. С учетом того, что эта комиссия должна решать сложные вопросы формирования референтных групп, определения порогов между ними, а также формирования экспертных комиссий, необходимо включение в ее состав высококвалифицированных исследователей из научных организаций и университетов различной ведомственной принадлежности. Процедура должна описывать правила и принципы представления заинтересованными ведомствами и государственными академиями наук, а также научными организациями и вузами, кандидатов в состав Межведомственной комиссии и квоты на участие в составе комиссии, которые обеспечивали бы сбалансированное участие представителей различных ведомств, академий наук и организаций в составе Межведомственной комиссии. В состав Межведомственной и экспертных комиссий должны включаться специалисты, имеющие авторитет в международном научном сообществе и не занимающие высоких административных постов (не являющиеся руководителями или заместителями руководителей научных и образовательных организаций, председателями наблюдательных или попечительских советов научных и образовательных организаций и т.п.).

Совет Общества научных работников предлагает внести в Правила изменения, учитывающие представленные выше предложения.

Принято Советом ОНР 14.08.2013.

0 / 0
Письмо ак. Паршина об оценке институтов

С любезного разрешения ак. А.Н.Паршина публикуем его письмо от 25.04.2014 с предложениями по взаимодействию с ФАНО и оценке деятельности научных организаций, а также  сопутствующие материалы по критериям оценки институтов.

.***************************************************************

Уважаемые коллеги !

В течение этой недели в сотнях институтов Академии сотрудники ломали себе голову, как ответить на вопросы по оценке эффективности научных организаций, составленные для нас сотрудниками Экспертно-аналитического управления ФАНО (руководитель Елена Ивановна Аксенова,  данные о ней и ее работах см.  на http://sarmedinfo.ru/list/16378 ). Ровно в это же время мы должны были  ознакомиться, дополнить и представить в ФАНО новые Уставы институтов, кардинально меняющие нашу жизнь.  

Эти базовые документы, составляющие основу  нашей будущей жизни, нам пришлось делать в условиях крайней спешки. Документы по оценке эффективности поступили, к примеру, в математические институты 16 апреля, срок ответа в письме ФАНО определен до 25 апреля (заметим, что документ подписан 10 апреля -!- ). И если работа над уставом была для нас не новой, то продумывание ответов на поставленные вопросы по оценке нашей деятельности – это задача более сложная и требующая  взвешенного и длительного обсуждения.

После отсылки наших предложений 25 апреля, нам предлагается собраться  22 мая на общественное обсуждение проекта оценки эффективности деятельности научных организаций в ФАНО. Представьте себе, что на этом «обсуждении» будет присутствовать примерно около тысячи  человек. Ясно, что такое собрание  вряд ли будет особенно эффективным. 

После 25 апреля ФАНО будет иметь груду сырого, не слишком продуманного материала, где мнения сотен институтов никак не согласованы и зачастую противоречат друг  другу. Трудно представить как сотрудники ФАНО смогут «свести» эти мнения в единую систему, которая могла бы нас удовлетворить.

Представляется, что в этой ситуации необходимо предпринять некоторые

действия.  Мои предложения:

  1. Институты отправляют письмо руководителю ФАНО с указанием на следующие  обстоятельства, связанные с  подготовкой этих данных:

а) сильный временной прессинг, что не могло не отразиться на качестве работы,

б) продготовленный документ ФАНО использует материалы, подготовленные Минобрнауки и которые не согласованы с требованиемпостановления Правительства РФ от 1 ноября 2013 г. 979. В нем говорится, что материалы, подготовляемые Минобрнауки должны, помимо прочего «учитывать Минобрнауки, неоднократно заявлявшее об отсталости нашей наука по сравнекния с западной, сознательно или по неведению грубо игнорирует в своей деятельностимеждународный опыт организации и оценки научный деятельности именно экономически развитых стран.

 

В связи с этим просьба к М. М. Котюкову: материалы, посланные в ФАНО до 25 апреля, не считать окончательным выражением позиций институтов по вопросам оценки и институты производят их дальнейшие уточнение и доработку. Насколько мне известно, некоторые институты уже послали такие письма.

 

  1. В нашей дальнейшей работе по подготовке принципов оценки институтов учитывать  опыт Великобритании (www.ref.ac.uk ). Вот его особенности, особенно впечатляющие на фоне моновских таблиц:

 

  1. Оценка научной деятельности основана прежде всего на научной экспертизе, проводимой профессионалами в соответствующих областях науки.
  2. Предметом оценки научных групп служат их публикации за определенный  срок (в данном случае 5 лет), выбранные в ограниченном количестве (в данном случае 4 публикации) из всех публикаций группы. Общее количество публикаций НЕ  играет никакой роли.
  3. Формальные численные показатели допускаются к рассмотрению в качестве дополнительного средства лишь для части наук (физика, химия, биология и ряд других) и не допускаются для остальных (математика, инженерные и гуманитарные науки). Их ОТСУТСТВИЕ  не может служить основанием для негативных выводов.
  4. Использование импакт-фактора журнала, в котором опубликована работа, не разрешается ни для каких наук. Это положение было введено в правила оценки после  многочисленных дискуссий в научном сообществе в результате постановления Комитета по науке Палаты общин Британского парламента.

 

Я не предлагаю буквальное копирование этой системы, но это очень продуманная и взвешенная система, которая создана людьми, заботящимися о развитии науки в своей стране и готовившими и тестировавшими еев течение нескольких лет, а не восьми дней.

 

  1. Действия  ДО  22 мая. Не дожидаясь пока начальство создаст нам правила нашей жизни, по которым нас будут исчислять, реорганизовывать и сокращать, начать определять САМИМ эти правила. Это прежде всего относится к референтным группам.

 

Создание референтных групп требует особой осторожности всилу последующего их использования для разделения институтов на три категории (см. постановление Правительства РФ 979 и заявление ОМН РАН по этому вопросу). В имеющейся ситуации мы вряд ли сможем добиться отказа от такого разделения институтов.Дело в том, что их создание предусмотрено постановлением Правительства РФ 979 и ФАНО будет настаивать на следовании этому постановлению. С другой стороны, приказ МОН (тем более проект) менее значим в бюрократической иерархии и следовательно доступен для критики.

 

Я предлагаю институтам САМИМ начать работу над созданием СВОИХ референтных групп и прикидывать как может происходить в них оценка и к каким последствиям она может привести в данной референтной группе.В каждой такой группе подбор показателей длясравнения должен быть СВОЙ.

Приведу возможные примеры условий для институтов, которые можно использовать в качестве исходных, но необязательно окончательных, для создания референтных групп:

Теоретические/ прикладные

Относящиеся (преимущественно) к одной области/  мульти-дисциплинарные

Большие по численности/ небольшие

С большим бюджетом/ с небольшим

Зарабатывающие деньги/ не занимающиеся этим

Сюда можно добавить и другие, но хорошо бы иметь несколько базовых, пригодных для всей науки в целом, которые будет отстаивать все научное сообщество. Это не исключает специальных условий  для дальнейшего деления групп в разных областях науки.

Общий принцип: в одну референтную группу не должны входить институты различающиеся хотя бы по одному из членов этих оппозиций.

Замечание: ясно, что эти свойства институтов достаточно размыты и их использование должно основываться на здравом смысле.

Некоторые группы однородных институтов довольно легко просматриваются. Некоторые, очень мул