Подготовка ОС ОНР: резолюция об РНФ
Коллеги, приближается очередное Общее собрание ОНР. Давайте сконцентрируемся на формулировке итогов, прогнозов, предложений от научного сообщества тем, кто определяет научно-техническую политику в РФ: руководству научных фондов, МОН, ФАНО и другим властным структурам. По традиции предложения формулируются в виде резолюций, а на Общем собрании ставятся на голосование и после этого становятся выражением мнения определенной части научного сообщества. Резолюции можно адресовать и самим себе, например, формулировать, что должно сделать научное сообщество для понимания и соблюдения требований научной этики.
В конце марта были объявлены итоги конкурсов РНФ и условия новых конкурсов. Не удивительно, что они вызвали интерес и жаркую дискуссию, вылившуюся в обсуждение резолюции ОС ОНР, посвященной РНФ. Я переношу в эту ветку первый драфт резолюции, подготовленный Ларисой Геннадьевной Колесниченко и приглашаю всех к дальнейшему обсуждению.
ПРЕДЛОЖЕНИЯ ПО РАБОТЕ РНФ
В настоящее время Российский научный фонд (далее РНФ, Фонд) является структурой, оказывающей огромное влияние на развитие Российской науки. Начиная с 2014 года, Фондом поддержаны тысячи проектов ученых России и международных научных групп. Однако, не смотря на то, что в слогане РНФ слово «открытость» является одним из ключевых, большая часть информации остается закрытой не только для участников конкурсов, но и для экспертов конкурсных заявок. Общество научных работников выражает обеспокоенность недостаточной проработанностью процедуры экспертизы конкурсных заявок. В целях соблюдения одного из основных принципов Фонда, а именно обеспечения уровня «информационной открытости, позволяющей в полной мере реализовать общественный контроль за деятельностью Фонда» (http://www.rscf.ru/ru/about), межрегиональное Общество научных работников считает целесообразным рекомендовать попечительскому совету РНФ рассмотреть следующие предложения:
1. Сформулировать принципы присвоения баллов конкурсным заявкам; включить в форму экспертного заключения сведения о баллах, присваиваемых по разделам заявки, согласно п. 12 «Положения проведения экспертизы научных, научно-технических программ и проектов, представленных на конкурс Российского научного фонда».
2. Предоставлять руководителям конкурсных заявок не только п. 5.1 экспертного заключения (общая характеристика проекта), но и полные тексты экспертного заключения, исключая конфиденциальную информацию Фонда.
3. Информировать руководителей конкурсных заявок о баллах, полученных в ходе проведения экспертизы.
4. Предусмотреть проведение дополнительной экспертизы конкурсных заявок в спорных случаях, когда экспертные оценки одной заявки существенно отличаются друг от друга.
5. Усилить обратную связь с авторами конкурсных заявок.
6. Внести изменения в коды классификатора РНФ, затрудняющие адекватный выбор эксперта.
7. Усилить меры ответственности экспертов за некачественное проведение экспертизы заявок и некорректное поведение по отношению к заявителям.
Далее надо обсуждать, углублять, вычеркивать, исправлять и добавлять. Какие изменения произошли с 2014 года в экспертизе понять сложно, может некоторые вопросы и решены уже. Было бы прекрасно, если бы подключились эксперты, т.к. взгляд только со стороны участников конкурса не будет полным.
Здесь (Итоги конкурса научных групп РНФ: рецензии) в комментарии Конкретизация предложений РНФ, А.К. Цатуряном было предложено
вносить конкретные предложения по следующим пунктам, сформулированным коллегами в результате обсуждения на сайте, в печати и в частной переписке:
1. Коррекция формулировок в экспертной анкете.
2. Расклад баллов по разделам анкеты.
3. Процедурные вопросы для отражения в документах фонда:
(А) исправление классификатора
(В) ограничения полномочий экспертного совета при принятии решений
(С) ужесточение требований к членам экспертных советов, конкретизация понятия «конфликта интересов» для членов ЭС
(D) дополнительная экспертиза в спорных случаях
(E) взаимодействие с авторами заявок (обратная связь, предоставление полных заключений)
4. Персональный состав экспертного совета
(А) обеспечение представительства крупных направлений, задаваемых рубрикатором 2-го уровня
(В) регулярная ротация
(С) приглашение координаторов по каждому разделу рубрикатора.
83 комментарии
За что наказывать эксперта
Мне часто приходят на рецензию заявки и отчеты РНФ. В защиту экспертов хочу сказать, что выставлять баллы безумно трудно и они ни в коей мере не могут быть объективными. Напомню, что по объему заключения есть ограничения, кажется минимум 3000 знаков, т.е. полторы страницы. Туда вставляют формулировки копипастом - за это ругать не надо: если эксперт согласен с мнением авторов, то почему бы не позаимствовать у них хорошие слова? За это я бы не ругал. Но ругать экспертов есть за что.
Увы, рецензии частенько хамские - ну, народ у нас такой. Ругать за плохо написанные заключения надо, но именно за стиль, а не за уровень. За хамскую рецензию - запрет подавать заявки в РНФ на срок: 1-й раз - на год, потом - 2-3 года.
А за то, что не разобрался, неверно оценил работу - 1-й раз - предупреждение, 2-раз вывод из экспертов. Но как узнать, что резензия неверна? Очевидно, нужна апелляция автора, где приведены аргументы в защиту авторской позиции и опровержения рецензии. Потом, видимо, должен разбираться Экспертный совет.
Пока, между прочим, РНФ - единственный фонд, официально объявивший о возможности подачи апелляций. Кстати, начиная выгонять из экспертов, нельзя переборщить. И так уже найти специалиста по некоторым темам очень трудно. Я отказываюсь примерно от трети или половины рецензий, поскольку не специалист по теме. Другой повод для отказа - конфликт интересов - заслуживает отдельного разговора. Может быть, отдельной ветки, т.к. он относится не только к РНФ, и не только к этой резолюции.
Тут надо технически
Можно построить гистограммы распределения баллов по поддержанным и всем поданным заявкам. Я думаю, что по ним все будет видно и насколько сложно их ставить по каким пунктам, и где политическая составляющая.
Хорошо бы!
Хочу поддержать предложение Александра - если бы такие графики (гистограммы - все равно) были созданы, причем с привязкой к баллам, полученным заявкой, прозрачности бы прибавилось.
Сейчас же непонятно абсолютно все. В лингвистике оказались не поддержана заявки коллег, все экспертные оценки которых (по словам этих коллег) были сугубо положительные, без замечаний. Кто будет прояснять эту ситуацию?
Зато проходят заявки такого плана (из анализа коллеги): Экономическое развитие и социальная стабильность как факторы качества жизни в России
Модификации социально-политического учения Библии в истории и религиозные основания политико-правовой мысли Российской империи
Трансфер знаний и конвергенция методологических традиций: опыт междисциплинарной интеграции политических, биологических и лингвистических исследований .
Так что очень хотелось бы знать побольше: баллы, как принимается решение при одинаковых баллах и т.п.
Иначе это начинает походить на гранты байкерам-патриотам.
а как определить?
А как можно определить что рецензия хамская? Не матом же эксперты пишут? Есть ли грань между хамством и глупостью? Очень многие авторы проектов, получивших отрицательное заключение, решат, что им нахамили.
выбор экспертов и представительство специальностей в ЭС
Хочу напомнить еще о двух проблемах, о которых мы писали в 2014 г. и которые не решены до сих пор: выбор экспертов и представительство различных специальностей в ЭС РНФ.
Не знаю как сейчас, но тогда экспертов выбирал один человек - координатор секции ЭС http://www.rscf.ru/ru/exp-
Далеко не всегда этот человек знает все области наук в своей секции. Думаю и сейчас это не изменилось.
Некоторые науки совершенно не представлены в ЭС, например, механика, думаю есть и другие. Просьба добавлять другие известные вам крупные области науки.
Сейчас проводится выборы нового состава ЭС с привлечением экспертов фонда, что, безусловно, отрадно. Хотелось бы, чтобы процедура выдвижения кандидатов была более прозрачной. Мы не знаем, кто выдвинул кандидатов.
Следовало бы запретить включение в ЭС руководителей организаций, как лиц, имеющих неустранимый конфликт интересов.
Выборы в ЭС и конфликт интересов
Да, представительство всех разделов в ЭС - это проблема. Координатор секции (напр.09) не должен быть один. В ЭС должен быть свой координатор для каждого раздела (09-100, 09-200, 09-300, 09-400, 09-500, 09-600, 09-700, 09-800). Казалось бы, это с очевидностью следует из перечня разделов. Но вот вчера началось голосование экспертов по выборам в ЭС. Казалось бы, хорошее дело и вопрос о ротации снимается. Но мне, например, предложили выбирать на два места из 3+3 кандидатов, и все они имели индексы из чуждых мне разделов.
Я тем не менее, смог проголосовать, не покривив душой, поскольку оказалось, что из 6 кандидатов 4 имеют уровень руководителей организаций: директор, зам. директора, проректор... Я уверен, что руководители не должны быть членами ЭС, или хотя бы, составлять в них меньшинство. Как и Андрей Кимович, считаю, что в противном случае возникнет потенциальный конфликт интересов.
Кстати, понятие "конфликт интересов" пояснено в документах РНФ подробно:
При распределении заявок экспертам Фонда и проведении экспертизы не допускается «конфликт интересов», который возникает, если координатор секции экспертного совета, член экспертного совета или эксперт Фонда:
– состоит в трудовых отношениях с организацией-заявителем, в трудовых или гражданско-правовых отношениях, с которой состоит, по крайней мере, один из основных исполнителей рассматриваемого проекта;
– состоит или состоял в близких родственных отношениях с одним из основных исполнителей рассматриваемого проекта;
– является научным руководителем одного из основных исполнителей проекта либо имеет совместные научные работы (публикации) с одним основных из исполнителей рассматриваемого проекта за два года, предшествовавших дате объявления конкурса;
– является участником представленной для участия в конкурсе заявки, потенциально способной конкурировать с рассматриваемым проектом;
– имеет по иным причинам личную заинтересованность в результатах экспертизы, которая может повлиять на объективность рассмотрения проекта.
Члены экспертного совета обязаны сообщать председателю экспертного совета Фонда о наличии конфликта интересов при распределении на экспертизу или рассмотрении соответствующих заявок. В этом случае по поручению председателя экспертного совета Фонда распределение таких заявок на экспертизу осуществляет иной член экспертного совета Фонда, а члены экспертного совета, имеющие конфликт интересов, не участвуют в рассмотрении упомянутых заявок.
Добавить в конфликт интересов
- Участие эксперта и/или сотрудников его организации/организаций, а также близких родственников и его коллег в в текущем конкурсе заявок РНФ, которые потенциально пересекаются и/или конкурируют с рассматриваемой экспертом заявкой.
В принципе это есть в последнем пункте, но, очевидно, что это не работает.
а хорошо бы
еще ведомственную принадлежность включить. Как утверждает мой коллега, в первую очередь он пытается помочь себе, потом лаборатории, институту, академии... помощь наиболее перспективному научному коллективу в этом списке не значится вообще. Самоидентичность ученых РАН тоже имеет место и патриотизм. Представитель бывшей РАСХН с еще большей вороятностью поддержит "своих" чем представитель бывшей РАН. Как минимум, проект где организация-заявитель из акдаемии должны рецензировать представители ВУЗов и наоборот. Как минимум, при наличии соответствующих экспертов.
Как эксперт может помочь себе ???
Ну и лаборатории и институту ? Вы просто не получите такой проект. Или (ошибки бывают) откажетесь от такого проекта.
Насчет места "откуда заявка" - лично мне все равно. Будет хорошая заявка - поддержу. Будет плохая - нет.
Все заявки по биологии конкурируют между собой
И тогда эксперт из биологического инстиута вообще не имеет права на экспертизу.
Ну не в экспертизе главная проблема - главная проблема в "проходимости" заявок. И при 10% (как вы сами пишете) - лотерея. Кстати, эксперты РНФ вообще не видят суммы баллов за экспертируемую заявку и не понимают, как ставятся баллы за ту или иную точку в формальной части экспертизы.
Я в этом году видел рецензии на 2 проекта - хамских нет. все по делу. Вполне нормалные, с критикой по сути. Обе не прошли. И понятно. что главная засада - в уровне руководителя проекта.
1) Если пул экспертов так мал
1) Если пул экспертов так мал, конкуренция высока, а задачи настолько узки, что невозможно найти экспертов без конфликта интересов, то нужно привлекать внешних экспертов. Никто не может оценивать работу конкурента не имея при этом конфликта интересов.
2) проблема проходимости возникает в основном на уровне Экспертного совета и лотерея возникает именно там. А на уровне экспертов это означает, что валят конкурентов, если знают, что "друзья" тоже участвуют в конкурсе. Уровень. "лояльности" по отношению к своим и к чужим совершенно разный. Никуда вы от этого не денетесь если не вводить правило отсутствия подобного конфликта интересов, Да ещё и экспертов выбирают излишне узких, что для мультидисциплинарных и, кстати, и в том числе для прорывных, проектов, которые как правило являются поисковыми, просто сразу чёрный билет- я вижу что подобные проекты в РНФ зарубают без разговоров-в них сложно разобраться узкому специалисту и оценка такого проекта требует существенно больших усилий. Тут уже не лотерея, а неадекватность выбора эксперта, отсутствие fair play, а самое главное ориентир на уже сложившиеся коллективы с устоявшейся тематикой, и недальновидная политика в плане прорывных поисковых исследований.
3) у нас у руководителя проекта хирш больше 70. Эксперты это посчитали отрицательным моментом, поскольку по их логике это слишком много для того, чтобы руководить нашей группой. Наличие у руководителя двух грантов других фондов, о которых мы честно писали, тоже оказалось недостатком. Логика такая: а когда он будет работать по текущему проекту, шёл разговор о 12 часовом рабочем дне и тп. У всей группы порядка 60 публикаций Q1 за 5 лет. Почти половина иностранцев. Публикаций примерно поровну у иностранной и "нашей" частей группы. Иностранцев вообще эксперты не видят, их результаты не учитываются несмотря на то, что они должны были быть у нас трудоустроены как постдоки. Разговор идёт только о тех, кто уже работает в группе. Новых людей брать получается тоже нельзя, по крайней мере иностранцев, даже если они нужны для проекта и "своих" нужной квалификации в России нет. Полная безнадёга...
Если это возможно
Уважаемые коллеги, если это возможно, пожалуйста, к комментариям добавляйте как можно более выверенные вопросы в РНФ и предложения. Секретарить попробую, но времени не так много, как, впрочем, и у всех. Было бы хорошо, если бы резолюцию (предложения в РНФ) можно было бы "собрать" из готовых кусков.
Здесь различные комментарии по этому и близким вопросам:
http://onr-russia.ru/comment/14040#comment-14040
http://onr-russia.ru/comment/14018#comment-14018
http://onr-russia.ru/comment/14025#comment-14025
http://onr-russia.ru/comment/14564#comment-14564
http://onr-russia.ru/comment/14564#comment-14564
http://onr-russia.ru/comment/14564#comment-14564
не удается грамотно перенести
Место компьютерных наук в рубрике надо менять
пн, 10/04/2017 - 09:18 - А.М. Сухов
А.М. Сухов
(ссылка на комментарий)
Сейчас все они в разделе "Математика", что не способствует развитию поисковых исследований с внедрением результатов исследований. Большинство рубрик необходимо переносить в инженерную часть. как в РФФИ.
А то смотреть на победителей конкурсов просто смешно. Никаких практических приложений и даже экспериментально-проверенных эффектов не видно.
Ответить
Есть комп. науки и комп. технологии
пн, 10/04/2017 - 09:35 - А.Л. Фрадков
А.Л. Фрадков
Андрей Михайлович, во всех нынешних классификаторах предусмотрены и компьютерные (информационные) науки, которые бывает трудно отличить от математики или теоретической информатики, и компьютерные (информационные) технологии - они сидят в инженерной части классификаторов. Английское Computer science шире и включает и то и другое (хотя information technologies, конечно, тоже термин актуальный). Нельзя отказывать теоретической информатике в праве на существование. Машину Тьюринга никто никогда не построил, но ее теоретические исследования сыграли огромную роль в развитии компьютерных технологий.
Ответить
В рубрикаторе РНФ нет компьютерных наук в инженерном разделе
пн, 10/04/2017 - 10:17 - А.М. Сухов
А.М. Сухов
поэтому приложения и остаются за бортом.
Я лично согласен с упреками РАН об отсутствии значимых для страны исследований. Если руководство РНФ будет продолжать свою политику, его ждет та же участь.
Ответить
Сетевые технологии, инфокоммуникационные технологии и
пн, 10/04/2017 - 10:22 - А.М. Сухов
А.М. Сухов
программное обеспечение должны быть перенесены из математики в 09 раздел
Ответить
Может быть хуже
Я сначала не понял А.М. В принципе, перенос разделов, связанных с компьютерными технологиями в инженерную секцию возможен. Но при этом нужно "пересадить" соответствующих специалистов из ЭС по 01 в ЭС по 09, чем надо специально заниматься.
Во всяком случае, любые изменения классификатора необходимо увязывать с соответствующими изменениями в экспертных советах. Иначе будет только хуже.
Уточню свое предложение
Классификатор фонда
Коллеги, есть ли необходимость в резолюции указывать конкретные предложения по классификатору? Если да, то надо, чтоб специалисты пересмотрели каждый свою область:
http://www.rscf.ru/ru/classification
О классификаторе
ИМХО, самый непродуманный классификатор в "сельскохозяйственных науках" в разделе 06-100 Земледелие и растениеводство. Растениеводству отведена отдельная позиция 06-106, а вот Земледелию - почему то нет С другой стороны, агрономия, агротехника, агробиотехнология и растениеводство - это по сути одно и то же, только разными словами. Точно также, садоводство и овощеводство являются разновидностью растениеводства. Кроме того, все перечесленное является не отдельными науками, а скорее отраслями сельскохозяйственного производства, базирующимися на нескольких научных дисциплинах. Предлагаю изменить перечень специальностей в разделе 06-100 "Земледелие и растениеводство", на следующий:
06-101 Лесное хозяйство
06-102 Земледелие
06-103 Растениеводство
06-104 Агрохимия
06-105 Агрофизика
06-106 Агроэкология
06-107 Физиология и биохимия сельскохозяйственных культур
06-108 Сельскохозяйственная биотехнология
06-109 Сельскохозяйственная инженерия
Как то так.
Уточнение
Посоветовался с коллегами. В итоге предлагается уточненная версия 06-100 "Земледелие и растениеводство"
06-101 Лесное хозяйство
06-102 Агрохимия
06-103 Агрофизика
06-104 Агроэкология
06-105 Физиология и биохимия сельскохозяйственных культур
06-106 Фитопатология
06-107 Селекция и семеноводство
06-108 Сельскохозяйственная биотехнология
06-109 Сельскохозяйственная инженерия
Васильева предлагает сократить число аспирантов на кафедре до 3
Странно как-то...
Сократить до 3 - это значит, что было больше трех. Для меня это оыень странно, потому что у нас годами уже по одной специальности, которая "проходит" по более чем одной кафедре, всего 2 бюджетных аспирантских места в год. Например, специальность 10.02.19 наша кафедра делит еще с одной, 10.02.20 - еще не менее, чем с двумя кафедрами. А на каждую из них - максимум 2 места. Как вообще может оказаться больше 3 аспирантов на кафедре при таком раскладе? У кого больше?
Мне кажется, что вот на это надо реагировать
Подобные завяления показывают к сожалению полную некомпетентность нашего уважаемого министра в сфере научной деятельности. По-моему надо на это реагировать, причем в максимально жесткой форме. Можно вынести в качестве резолюции на ОС.
Коллеги,
Коллеги, эта тема про другое совсем. Разве так сложно создать новую тему? Теряется концентрация на задаче... просьба перенести в другую ветку и здесь больше на эту тему не писать. Перенос осуществляется с помощью copy-paste и создания новой темы. Спасибо за понимание.
Виноват, критику принимаю. Сделал отельную ветку.
Александр Аркадьевич, Елена Николаевна, если не трудно, перенесите комментарии в правильный раздел. Спасибо!
ветка по аспирантуре
к сожелению закрыта для коментариев отчего-то...или я что-то неверно понимаю?
Не закрыта
Для ответа на комментарий жмите "ответить" под комментарием. Для ответа на тему слева от темы вверху есть "добавить комментарий".
Не закрыта для членов ОНР
Новая ветка об аспирантуре открыта в разделе, в котором добавлять комментарии могут только члены ОНР.
Спасибо
Перенес в общий раздел.
по срокам можно уточнение попросить?
Скажите, а к какому времени надо все собрать? Начало мая?
ОС
Общее собрание, скорее всего, будет в середине мая.
ещё хотелось бы
добавить пожелание к экспертам писать рецензии пусть не литературным, но хотя бы техническим русским языком. У меня опыт небольшой, но пару раз было написано без знаков пунктуации, а в посл. раз - так и вовсе с грамматическими ошибками. Думаю, что любой эксперт в сотоянии уделить 3 минуты и перечитать свой отзыв.
крайне сложно сформулировать пожелание экспертам не хамить и...)
Дмитрий Павлович,
не могу сообразить как можно в резолюции сформулировать пожелание экспертам "не хамить и писать рецензии
и при этом в резолюции самим обойтись без хамства)
Пункт 6 и остальное
1. Первоначальный текст предложений в пункте 6 лучше изменить:
Потому как фраза допускает и другое толкование, а и без того выбор экспертов затруднителен. :) Например так:
Внести изменения в коды классификатора РНФ, чтобы облегчить адекватный выбор экспертов.
2. Вообще говоря, если для какого-то кода не хватает экспертов, то надо или код менять, или число экспертов увеличивать. Набор экспертов, на мой взгляд происходит как минимум непонятно. С одной стороны, самовыдвиженцев не берут, с другой стороны только на них тоже нельзя рассчитывать. Далеко не все добровольно пойдут в эксперты. А откуда еще появляются эксперты? Приглашаются руководителем? Ну и дальше начинаются вопросы и вопросы...
3. Что же касается пожелания "не хамить", то боюсь, что не получится. Скорее всего, эксперты, пишущие такие рецензии, хамством это не считают, и на свой счет не примут. Как, впрочем, и пожелания писать без ошибок.
Это действительно сложно
Можно попробовать такой вариант:
* Рекомендовать РНФ отразить в требованиях, предъявляемых к экспертам и экспертизе, необходимость соблюдения норм академического языка, этических норм при оценке заявителей, недопустимости перехода на личности.
А вообще Виктор Анатольевич прав в его комментарии ниже
именно поэтому я в своем комментарии предлагал пункты 7-8)
Это как раз для того, чтобы эксперты начали понимать, что от них требуется и чего делать нельзя. Но идеал, конечно, недостижим. Что для одного хамство, для другого похвала.
Но если в этом направлении никакой работы не проводить, то не только идеала не достигнем, а от него будем удаляться. Энтропия...
Еще раз об экспертах
Продолжу здесь дискуссию коллег об экспертах.
На экспертов жалуются все. Но как их назначают и откуда берут?
Каждый фонд имеет свою базу данных. Базы большие, пополняются, пару лет назад РНФ говорил о более чем 3000 и о том, что были позаимствована база экспертов РФФИ. Но большая база не гарантирует хорошего выбора экспертов и хорошего рецензирования. Важен способ назначения экспертов. Здесь есть опасность конфликта интересов, т.е. коррупциогенность. Насколько я понял, в РНФ экспертов назначает член экспертного совета (ЭС), координирующий группу специальностей. Если он же потом будет и принимать решения на основе рецензий, то это и есть плохо. Он может назначить конкретный проект тем экспертам, которые примут желательное решение. Говорят, в Европейских фондах и советах экспертов назначает панель и весьма открыто. Возможно, но я хотел бы узнать больше об этой процедуре: как здесь ставится заслон конфликту интересов? В наших реалиях, мне кажется, это не сработает.
Я бы предложил назначать экспертов, имеющих те же или близкие коды классификатора, что и проект (введя некоторую метрику в множестве наборов кодов), а в остальном - случайно, генератором случайных чисел. Такая система работает в больших зарубежных системах рецензирования: на конференциях IEEE, IFAC, например. Принципиальных проблем сделать такую систему для любого фонда у нас нет! Нет проблем! Кстати, как назначают экспертов на мегагранты, члены панели (Совета по грантам) не знают. Точнее, известно, что их назначает руководитель группы экспертов по данному направлению, но кто этот руководитель и кто эксперты - мы не знаем. И это очень правильно, т.к. даже невольно, под давлением, повлиять на выбор экспертов и на их мнение невозможно.
А уже потом, на основе баллов, выставленных экспертами (выставленных по правилам, которые панель обсуждала заранее), панель принимает решение о поддержке или неподдержке. Открытым голосованием на своем закрытом заседании. Как-то так.
Мы можем какие-то рекомендации включить в резолюцию Общего собрания ОНР. Можем пригласить руководство РНФ на ОС ОНР, задать вопросы, причем проект резолюции можем им переслать заранее. Время пока есть.
Любопытно
То есть сейчас возможна ситуация, когда эксперт имеет все коды классификатора отличные от проекта? Я думал, что эта проблема существует только для междисциплинарных проектов и предлагал сделать так, чтобы в форме было 2-3 основных кода для междисциплинарных проектов и, конечно, эксперт должен иметь все эти коды, иначе он не сможет, очевидно, этот проект оценить. Но если проблема существует даже для узких проектов, то тогда все совсем плохо и вряд ли решаемо.
Порядок проведения экспертизы РНФ
Давайте не верить друг другу на слово, а опираться на документы, в частности, на
документ Порядок проведения экспертизы РНФ В нем написано так:
5. Первый этап экспертизы заключается в оценке представленных материалов заявок экспертами Фонда и подготовке ими экспертных заключений по каждому проекту. Экспертный совет Фонда или его бюро вправе принять решение о проведении первого этапа экспертизы в две стадии. На первой стадии проводится экспертиза всех допущенных к конкурсу заявок. На второй стадии проводится экспертиза прошедших первую стадию и набравших наибольшее количество баллов заявок. Число таких заявок должно кратно превосходить ожидаемое число победителей конкурса, как правило – в 3-4 раза. По решению секции или бюро экспертного совета на вторую стадию могут быть также направлены заявки, не набравшие необходимое количество баллов, но имеющие полярные оценки.
6. Распределение заявок экспертам Фонда осуществляется координаторами секций экспертного совета (при наличии) соответствующего экспертного совета Фонда или уполномоченными экспертным советом Фонда членами экспертного совета Фонда. Распределение заявок производится в соответствии с кодами классификатора, указанными руководителями проектов в их заявках.
7. Информация о назначенных для проведения экспертизы экспертах является конфиденциальной. Во всех документах, связанных с проведением экспертизы, эксперты Фонда обозначены только их персональными кодами. Доступ к этой информации имеют председатель экспертного совета Фонда, координаторы соответствующих секций (по своему направлению, области науки), уполномоченные работники Фонда, уполномоченные экспертным советом Фонда члены экспертного совета Фонда.
8. При распределении заявок экспертам Фонда и проведении экспертизы не допускается «конфликт интересов», который возникает, если координатор секции экспертного совета, член экспертного совета или эксперт Фонда: – состоит в трудовых отношениях с организацией-заявителем, в трудовых или гражданско-правовых отношениях, с которой состоит, по крайней мере, один из основных исполнителей рассматриваемого проекта; – состоит или состоял в близких родственных отношениях с одним из основных исполнителей рассматриваемого проекта; – является научным руководителем одного из основных исполнителей проекта либо имеет совместные научные работы (публикации) с одним основных из исполнителей рассматриваемого проекта за два года, предшествовавших дате объявления конкурса; – является участником представленной для участия в конкурсе заявки, потенциально способной конкурировать с рассматриваемым проектом; – имеет по иным причинам личную заинтересованность в результатах экспертизы, которая может повлиять на объективность рассмотрения проекта. Члены экспертного совета обязаны сообщать председателю экспертного совета Фонда о наличии конфликта интересов при распределении на экспертизу или рассмотрении соответствующих заявок. В этом случае по поручению председателя экспертного совета Фонда распределение таких заявок на экспертизу осуществляет иной член экспертного совета Фонда, а члены экспертного совета, имеющие конфликт интересов, не участвуют в рассмотрении упомянутых заявок.
***********************************
Как видите, есть правило: "Распределение заявок производится в соответствии с кодами классификатора, указанными руководителями проектов в их заявках." Однако следовать этому правилу не так просто. У каждого проекта есть "основной код классификатора" и "дополнительные коды". Например у моего лабораторного проекта: Основной код классификатора 09-604, Дополнительные коды классификатора: 09-606 09-609.
Т.е. разброс небольшой. А у экспертов нет основных кодов, и многие авторы (которые потом становятся экспертами) указывают себе кодов побольше, видимо, думая, что за широту интересов их кто-то похвалит. Например, у моих основных исполнителей (коды других мне не узнать) коды такие: А) 01-204 02-602 01-113 01-212; Б) 05-602 05-106 04-204; В) 09-107 09-602 09-606 09-604 Г) 01-219 01-218 01-301 01-111. Как понять, в какой области им можно давать проекты на рецензию? Реально ведь каждый компетентен в достаточно узкой области. У меня только два кода: 09-604,09-606. Но все равно приходят на рецензию проекты с другими кодами, или есть совпадение только с дополнительными кодами, т.е. не близкие мне. Часто приходится отказываться. Т.е. даже если закрывать глаза на несовершенство классификатора, тут есть где наводить порядок.
"... тут есть где наводить порядок"?
Вообще говоря, "порядок лучше, чем беспорядок".
Однако, в реальности, нужно учитывать, что (скорее всего): (1) конкретный проект не в полной мере соответствует "основному" коду классификатора (классификаторы - вещь условная; (2) не по всем кодам классификатора фонд располагает экспертами; (3) экспертизу необходимо провести в ограниченное время; (4) работа эта для эксперта - дополнительная (почти бесплатная) нагрузка.
Я уже как-то писал на сайте ОНР, что проект нужно писать так, чтобы его основное содержание было понятным не обязательно узкому специалисту в конкретной предметной области. Такого, во многих случаях может и не найтись. Приводил примеры из зарубежного опыта (Европейские программы PF6 и FP7) - там ситуация аналогичная.
Так что, с моей точки зрения, "порядок" надо наводить с двух сторон: как со стороны проектанта, так и со стороны фонда.
Да, наведем порядок с помощью хаоса
Нет, Владимир Васильевич, как лучше писать проекты - это другая история и требует другой ветки для обсуждения. Ваши замечания совершенно верны и все мы из них что-то полезное для себя извлечем. Но здесь обсуждаются предложения фонду РНФ: как улучшить его работу, в частности, экспертизу. Как Вы считаете, хорошо ли, что координатор секции сам выбирает экспертов, которым направить заявку, и сам потом ведет заседание по отбору победителей?
Честно скажу, что я с ходу не вижу, как в условиях перечисленных Вами ограничений улучшить экспертизу. Но думаю, что это возможно, и механизм рандомизации здесь может помочь. Он не требует практически ни времени ни денег, а "своим" направлять не дает. Учитывая, что для рандомизации используются генераторы псевдослучайных чисел, или, что то же самое, генераторы хаоса, можно сказать, что навести порядок поможет хаос.
"...хорошо ли, что координатор секции сам выбирает экспертов?"
"... хорошо ли, что координатор секции сам выбирает экспертов, которым направить заявку, и сам потом ведет заседание по отбору победителей?"
Я не знаю, так ли это происходит в фонде. Из приведенного Вами "Порядка проведения экспертизы РНФ" это не следует.
А как надо распределять заявки по экспертам?
Мне кажется, если посмотреть на список координаторов секций, то это становится ясным.
И прямо сказано: 6. Распределение заявок экспертам Фонда осуществляется координаторами секций экспертного совета (при наличии) соответствующего экспертного совета Фонда или уполномоченными экспертным советом Фонда членами экспертного совета Фонда.
Но Вы все-таки скажите, как Вы считаете, как надо распределять заявки по экспертам? С учетом всех неточностей и дырявостей классификатора.
У меня нет предложений по оптимальному решению данной проблемы.
Более того, считаю, что в реальной жизни оно и не существует (мысль о чем пытался донести до общества, но Вы решили, что мой первый сегодняшний пост не имеет отношения к обсуждаемой теме).
Разговор ушел несколько в сторону
Да, конечно, вопросы, о порядке распределения заявок по экспертам важный, как и подведение итогов экспертизы на панели, но вторичные. Тема же началась с проблемы неквалифицированной и хамской экспертизы некоторыми "экспертами". На вопрос, какой порядок отбора экспертов, так никто и не ответил по существу. И Александр Львович, и Петр Андреевич сослались на наличие у каждого Фонда своей базы, но как сфомировалась эта база и как она обновляется, ответа не прозвучало. У меня конкретные вопросы к Фонду, которые следовало бы отразить в готовящемся Обращении: имеет ли фонд Положение о формировании корпуса экспертов? Где можно ознакомиться с таковым Положением, чтобы точно знать: кто рекомендует, по каким критериям отбираются будущие эксперты, как производится ротация и т.д.? Если это служебная информация, то пусть так и будет объявлено, хотя само по себе это не будет способствовать имиджу Фонда.
Набор экспертов в РНФ
О наборе экспертов написано тут. 10. Для участия в наборе претендент за последние 5 лет должен иметь следующее количество публикаций в рецензируемых российских и зарубежных научных изданиях: индексируемых в базах данных «Сеть науки» (Web of Science) и/или «Скопус» (Scopus): а) для отраслей знания 01 - 05, 07, 09, указанных в пункте 3 настоящей конкурсной документации, – не менее пяти различных публикаций; б) для отраслей знания 06, 08 – не менее двух различных публикаций.
Как видите, требования примерно такие же, как и к членству в ОНР, т.е. небольшие. Судя по всему, желающих быть экспертами не так уж много. Написано, что "8. Эксперты Фонда обязаны гарантировать Фонду недопущение ситуации «конфликта интересов» при проведении экспертизы и неразглашение информации, ставшей им известной в связи с выполнением ими соответствующих экспертных функций в интересах Фонда", но не написано, что эксперт должен быть культурным человеком, не хамить и проявлять терпение и уважение к рецензируемым. Давайте напишем им предложение, чтобы добавили такое требование.
Это называетеся "пишите в Спортлото"
Александр Львович, возможно у меня не очень репрезентативная выборка, но никто из знакомых, потративших время на заполнение формы и почтовую пересылку печатной формы, которую требовалось заверить гербовой печатью, подписать у руководителя Института и потом отнести на почту, отстояв в очереди, не только не были приглашены в эксперты, но и не получили элементарной благодарности за свою инициативу, типа, "что ваша заявка получена и рассматривается". Все кануло в пустоту. Это дает основание считать, что предложенный на сайте РНФ http://www.rscf.ru/ru/experts способ подбора экспертов является, мягко говоря, неработающим, ну а грубо говоря симулякром.
Ну и имеющаяся на сайте информация о привлечении экспертов никак не соответствует ни по форме ни по содержанию Положению об экспертах Фонда.
В таком случае
Было бы это не так плохо (хотя в очень многих случаях это будет уже не научный проект, а науч. поп., поскольку для, например междисциплинарных проектов обьяснить биологу квантовую химию или электромагнитную теорию невозможно не скатываясь ниже плинтуса, а культура многих экспертов такова, что если он не понял, значит авторы заявки дураки), если бы это было действительно так, то есть если бы это было сформулировано как общепринятое "правило игры". Однако, опыт подсказывает, что в этом случае появляется замечание рецензента по поводу "недостаточной проработки вопроса". Проблема в том, что сколько экспертов, столько и мнений по поводу того, что должно быть в заявке. Например, в последней заявке один из экспертов сделал замечание на якобы недостаточный обзор литературы. Разумеется обзор неполный, в заявке он и не может быть таковым, хотя обзор и был на 5 страницах (я тут скорее ожидал комментарий за слишком подробный обзор), плюс часть обзора была посвящена тематике, которую эксперт явно не знает (он ее и не прокомментировал никак, этой части обзора для него как бы просто нет), поэтому были ссылки на обзоры в журналах. Казалось бы придраться не к чему. Ан нет... Все это, помимо написанного выше, наводит на мысли 1) о конфликте интересов, 2) о некомпетентности эксперта и 3) несоответствия экспертам кодам классификатора заявки, поскольку я подобные вещи оцениваю как малоосмысленные придирки.
Поэтому, в резолюции считаю нужным предложить (кроме сказанного ранее) РНФ
1) ввести в заявочной форме опцию "междисциплинарных проект";
2) внести в форму заявки как минимум 2 основных когда классификатора для таких проектов;
3) рекомендовать экспертам внести в собственные анкеты до двух основных и до трёх дополнительных кодов классификаторов;
4) предусмотреть возможность выборочной проверки экспертов на соответствие введённых ими классификаторов их реальным экспертным функциям; предусмотреть исключение экспертов с несоответствующими их специализации кодами из корпуса экспертов и баном на подачу заявок в РНФ на пять лет;
5) при выборе эксперта для проекта оба основных когда классификатора проекта и эксперта должны совпадать.
6) при отсутствии экспертов с двумя совпадающими кодами предусмотреть возможность приглашения внешних экспертов.
7) предложить РНФ разработать "этический кодекс эксперта", включающий подробное изложение сути конфликта интересов и этических норм общения и академического письма в рецензиях;
8) предложить РНФ проводить для экспертов обучающие вебинары с целью унификации экспертизы с одинаковыми подходами к оцениваемым проектам.
Маленькое уточнение
Может быть 8й пункт лучше так?
8) предложить РНФ проводить обязательные для экспертов обучающие вебинары с целью унификации экспертизы с одинаковыми подходами к оцениваемым проектам.
Сборка. Правьте, пожалуйста
Пока вот что удалось собрать:
В настоящее время Российский научный фонд (далее РНФ, Фонд) является структурой, оказывающей огромное влияние на развитие Российской науки. Начиная с 2014 года, Фондом поддержаны тысячи проектов ученых России и международных научных групп. Однако, не смотря на то, что в слогане РНФ слово «открытость» является одним из ключевых, большая часть информации остается закрытой не только для участников конкурсов, но и для экспертов конкурсных заявок. Общество научных работников выражает обеспокоенность недостаточной проработанностью процедуры экспертизы конкурсных заявок. В целях соблюдения одного из основных принципов Фонда, а именно обеспечения уровня «информационной открытости, позволяющей в полной мере реализовать общественный контроль за деятельностью Фонда» (http://www.rscf.ru/ru/about), межрегиональное Общество научных работников считает целесообразным рекомендовать попечительскому (а точно попечительскому?) совету Российского Научного Фонда рассмотреть следующие предложения:
1. С целью предотвращения конфликта интересов, сделать более прозрачной процедуру выбора экспертов. Назначать экспертов, имеющих те же или близкие коды классификатора, что и проект (введя некоторую метрику в множестве наборов кодов), а в остальном - случайно, генератором случайных чисел.
2. Представить большее количество специальностей в экспертном совете РНФ, добавить координаторов ряда разделов, а именно (следует перечислить?).
3. Внести изменения в коды классификатора РНФ, что бы облегчить адекватный выбор эксперта, а именно – перенести разделы 01-400, 01-500, 01-700 в Инженерные науки; изменить перечень специальностей в разделе 06-100 "Земледелие и растениеводство", на следующий: 06-101 Лесное хозяйство; 06-102 Агрохимия; 06-103 Агрофизика; 06-104 Агроэкология; 06-105 Физиология и биохимия сельскохозяйственных культур; 06-106 Фитопатология; 06-107 Селекция и семеноводство; 06-108 Сельскохозяйственная биотехнология; 06-109 Сельскохозяйственная инженерия.
4. Ввести в заявочной форме опцию "междисциплинарных проект"; внести в форму заявки как минимум 2 основных когда классификатора для таких проектов.
5. Рекомендовать экспертам внести в собственные анкеты до двух основных и до трёх дополнительных кодов классификаторов; при выборе эксперта для проекта оба основных когда классификатора проекта и эксперта должны совпадать; при отсутствии экспертов с двумя совпадающими кодами предусмотреть возможность приглашения внешних экспертов.
6. Предусмотреть возможность выборочной проверки экспертов на соответствие введённых ими классификаторов их реальным экспертным функциям; предусмотреть исключение экспертов с несоответствующими их специализации кодами из корпуса экспертов и запретом подачи заявок в РНФ на пять лет;
7. Разработать "этический кодекс эксперта", включающий подробное изложение сути конфликта интересов и этических норм общения и академического письма в рецензиях; разработать нормативную базу по ответственности экспертов и членов "Экспертных панелей" по конфликту интересов.
Предусмотреть ответственность за нарушение конфликта интересов в виде:
а) запрета участия в экспертных функциях на 5-10-20 лет,
б) возможного запрета участия в конкурсах грантов,
в) информирования негосударственных фондов о нарушении конфликта интересов конкретными персонами,
г) информирования редакций российских и, по возможности, зарубежных журналов о допущенном конфликте интересов,
д) информирования работодателя о нарушении,
е) серьезных штрафов экспертам и членам панелей за повторную экспертизу и всех сопутствующих расходов и ущерба.
8. Участие эксперта и/или сотрудников его организации/организаций, а также близких родственников и его коллег в текущем конкурсе заявок РНФ, которые потенциально пересекаются и/или конкурируют с рассматриваемой экспертом заявкой считать ведущим к конфликту интересов.
9. Установить запрет на включение в экспертный совет руководителей организаций, как лиц, имеющих неустранимый конфликт интересов.
10. Создать Комиссию, функцией которой будет являться отслеживание нарушений по конфликту интересов во всех государственных научных фондах и в научных фондах с государственным участием.
11. Усилить меры ответственности экспертов за некачественное проведение экспертизы заявок и некорректное поведение по отношению к заявителям. Отразить в требованиях, предъявляемых к экспертам и экспертизе, необходимость соблюдения норм академического языка, этических норм при оценке заявителей, недопустимости перехода на личности.
12. Разработать законодательную базу по административной и уголовной ответственности за попытку административного или любого иного давления на экспертов.
13. Предложить РНФ проводить обязательные для экспертов обучающие вебинары с целью унификации экспертизы с одинаковыми подходами к оцениваемым проектам.
14. Сформулировать принципы присвоения баллов конкурсным заявкам; включить в форму экспертного заключения сведения о баллах, присваиваемых по разделам заявки. В инографике результатов конкурсов представлять гистограммы распределения баллов по поддержанным и всем поданным заявкам.
15. Предоставлять руководителям конкурсных заявок не только п. 5.1 экспертного заключения (общая характеристика проекта), но и полные тексты экспертного заключения, исключая конфиденциальную информацию Фонда.
16. Предусмотреть проведение дополнительной экспертизы конкурсных заявок в спорных случаях, когда экспертные оценки одной заявки существенно отличаются друг от друга.
17. Усилить обратную связь с авторами конкурсных заявок. Разработать систему апелляций, предусматривающую, как минимум, доведение до авторов поданной апелляции результаты ее рассмотрения, в лучшем случае - возможность дискуссии с экспертами на этапе отбора.
возможно что-то упущено, не со зла, либо от невнимания, либо от недопонимания
комментарии для начала
Я не знаю, как реализовать эту кару. Особенно для зарубежных журналов. Наверное, надо оставить только российских. Хотя можно оставить как есть - "по возможности" (ну не оказалось такой возможности). И еще - кто конкретно будет информировать?
Это как-то не очень понятно. Во-первых, все заявки в данной предметной области конкурируют. Во-вторых, рассмотрим такую ситуацию. Сотрудник факультета - эксперт. Другой сотрудник того же факультета подал заявку. Эта ситуация ведет к конфликту интересов? И что делать? Очевидно, что первый сотрудник не должен оценивать заявку второго. Однако первый сотрудник может просто топить заявки остальных, чтобы повысить шансы своего факультета. Тогда решением может быть неучастие данного эксперта в экспертизе данного конкурса. И мы приходим к вопросу где же брать экспертов.
конкретно информировать
будет Конфликтная Комиссия (п. 9), если, конечно, случиться чудо и РНФ нас услышит), наверное надо повыше перенести этот пункт
Лариса Геннадьевна,
Спасибо! Отличная работа - пример самоорганизации учёных "снизу"!
ах, если бы)
Ах, если бы, не жизнь была б, а песня бы)
Однако, много чего еще надо, чтоб это была действительно резолюция..
Как минимум - вводные к каждому предложению, о которых Александр Львович говорил, их еще собирать надо...
Непонятно по кодам классификатора - только те, что обзначены сейчас представлять?
Неясно по представителям в экспертный совет - тоже только подвум группам расписана необходимость...и т.д. и т.п.
Падежов кое-где...
Вобщем есть еще что делать.
По кодам.
Я думаю по кодам, как минимум, детализация не нужна. Изменение кодов это серьезная профессиональная работа, которую быстро не сделать. Самое большее, что можно написать это то, что необходима ревизия кодов классификатора, поскольку часть из них, например, такие-то и такие-то, на наш взгляд не отвечают современным реалиям. А может быть и вообще не писать про коды в резолюции, это, наверное, отдельная работа и отдельное обращение.
Пункты 1 и 5, и 9
Пункты 1 и 5 пересекаются и даже частично противоречат друг другу.
Мне кажется в пункте 9 нужно добавить и зам. руководителя организации. С ними то же самое, что и с руководителями. В большинстве международных фондов в экспертных панелях сидят простые научные сотрудники, как правило с очень хорошей наукометрией или с Серьёзными (с большой буквы) результатами.
Пункты 7 в) г) д) противоречат правилам фонда
Уважаемые коллеги,
При приеме на работу в научный фонд эксперт подписывет соглашение, в котором есть пункт о том, что как эксперт, так и фонд обязуется не разглашать условия договора с фондом. Это, очевидно, касается и самого факта работы в качестве эксперта фонда:
Условия Договора, дополнительные соглашения к нему и иная информация,
переданная Фондом Эксперту в соответствии с Договором, в том числе в электронном виде, а
также материалы, подготовленные Экспертом, конфиденциальны и не подлежат разглашению
Экспертом, размножению и обнародованию.
Разумеется, это дополняется и обычными соглашениями по поводу персональных данных эксперта. Однако в пунктах 7 в)-г) проекта резолюции ОС ОНР выдвигаются требования к фонду разглашать имена экспертов и содержание рецензий, когда что-то пошло не так.
Предлагаю эти пункты убрать как юридически несостоятельные.
Да оно все противоречит правилам фонда
Да оно все противоречит правилам фонда. Мы как раз и пишем, что необходимо кое-что изменить... Кроме того, приведенная Вами цитата относится только к эксперту, но не к Фонду. Фонд может и даже должен "разглашать", тем более в случаях, когда эксперт оказался недобросовестным, что фактически означает, что он своими действиями сам разорвал все юридические и иные отношения с фондом, да еще его действия привели к потере фондом репутации и потере фондом материальных и нематериальных ресурсов , а в масштабах страны его действия привели к поддержке/неподдержке тех или иных направлений, ущерб от чего вообще очень сложно оценить (но он точно есть и немалый).
Соглашения с экспертом в разных фондах похожи.
Вот выдержка из правил другого фонда:
Сведения о привлечении Эксперта к выполнению экспертизы Проекта (Отчета)
по поручению Экспертного совета, о содержании Проекта (Отчета), представленного на
экспертизу, результаты экспертизы в полном объеме, о составе Экспертных советов,
Экспертах и их кодах в информационных базах Фонда, объемах финансирования проектов
являются конфиденциальными. Эксперт не имеет права распространять указанные выше сведения, а также информировать третьих лиц о сотрудничестве с Фондом в качестве Эксперта.
По моему мнению некоторые пункты этого проекта резолюции ОС ОНР имеют уж очень низкие шансы быть претворёнными в жизнь. Вместо того, чтобы диктовать фондам как им нужно писать правила экспертизы и устав (на это у них есть учредители и попечители), лучше пробовать найти разумные механизмы которые обеспечат работу в рамках уставных документов, которые вполне разумны и включают в себя все правильные пункты о конфликте интересов. Например, мое предложение о "decision leter", об обмене анонимными отзывами о проекте не противоречит существующим правилам, по крайней мере на первый взгляд.
Даже более того
Я бы сказал, что некоторые пункты этого документа не имеют вообще никаких шансов быть принятыми хоть когда-то (в частности те, на которые Вы обратили внимание). Однако, резолюция пишется не только для того, чтобы обратить внимание фонда на эти вещи, но я вижу эту резолюцию также как резолюцию для экспертов. У меня есть стойкое ощущение, что ненулевое число экспертов относится к экспертизе безотвественно. А для разрушения системы достаточно чтобы таких было процентов 10. Люди должны начать понимать, что эксперт несет огромную ответственность за экспертизу. Он должен понимать, что его коллеги считают, что недобросовестная экспертиза это вещь, которая должна наказываться. И наказываться так, как мы пишем в резолюции. Он также должен понимать, что в России его решение не просто поддерживает или зарубает проект, но и фактически вершит судьбы: отсутствие грантовой поддержки часто означает, что разрушаются коллективы, а для молодежи это может означать завершение карьеры.
Я вижу резолюции ОНР в первую очередь как механизм долгосрочного формирования общественного мнения (как для чиновников, так и для ученых).
Что касается Вашего предложения по предосавлению экспертам рецензий их коллег, то это палка о двух концах. От этого может быть как польза, так и вред. Нутрудно представить себе ситацию, когда какой-либо эксперт, однажды почитав другие рецензии на проект того или иного коллектива, составит долгосрочное мнение об этом коллективе и будет в будущем либо поддерживать, либо зарубать все их проекты вне зависимости от содержания. Эксперты не должны находиться под влиянием друг друга.
Как сделать так...
Как сделать так, что бы резолюция не вызывала резкого отторжения?
Вам не кажеся, что предложений слишком много? Может часть из них объединить?
да
Да, нужно объединять, чтобы было 4-6 пунктов. По каждому пункту можно провести отдельное голосование. Тогда даже если кто-то не согласен с тем или иным пунктом, то он будет иметь возможность это своим голосом отметить.
Публикация итогов конкурса,
Публикация итогов конкурса, особенно по продлению, заставляет обратить внимание на критерии отбора проектов. Они были названы в Конкурсной документации, однако в "результатах экспертиза" (причем не от экспертов, а от секции ЭС) появились новые критерии - в ходе игры! "Рейтинговые журналы - да еще и не указано, какой рейтинг, ссылка в статье только на РНФ - вообще противоречит их правилам! Необходимо потребовать от руководства Фонда считать опубликованные критерии необходимыми и достаточными, и не использовать новые, да еще в закрытом порядке. Старый лозунг: Соблюдайте собственные законы!
Важное замечание! Обязательно
Важное замечание! Обязательно нужно добавить в резолюцию. Как лучше сформулировать в виде пункта резолюции?
А добавить можно такой пункт:
Предоставить возможность каждому эксперту, написавшему рецензию на данный проект, ознакомиться с содержанием рецензий и оценками всех других экспертов, составившим отзывы на проект. Кроме этого, необходимо ознакомить эксперта и с содержанием окончательного решения панели/экспертного совета.
Такой пункт будет означать введение своеобразного внутреннего аудита принимаемых фондом решений и качества рецензий. Тогда, например, независимый и добросовестный эксперт может пожаловаться руководству фонда на плохую работу, условно говоря, эксперта номер 2 или же наоборот, взять пример с коллеги номер 3, который дотошно, основательно и справедливо разобрал достоинства и недостатки проекта.
В большинстве международных журналов, в которых я "служу" рецензентом, присылают decision letter по которому можно понять, что написали другие по поводу рассмотренной рукописи и что решила редакция по поводу её публикации.
Резолюция в целом нужная,
но давайте избавимся от нескольких заведомо нереалистичных требований в ней, например такого:
г) информирования редакций российских и, по возможности, зарубежных журналов о допущенном конфликте интересов,
Как это можно сделать? Фонд должен разослать письма в десятки журналов о том, что такой-то эксперт плохой? И в письмах писать о том, что такой-то при рецензировании такого-то проекта поступил некрасиво?
А не будут ли пункты 7 а)-г) использоваться против независимых и честных экспертов, которые не высоко оценили заявку "правильных пацанов"? Таким образом фонд вычистит базу экспертов, оставив самых послушных.
База
Делается достаточно просто: создаётся база данных экспертов допустивших конфликт интересов и нарушение научной этики. База может быть как открытой, так и закрытой. В первом случае никого информировать не нужно-кому нужно сами посмотрят. Во втором случае можно предоставлять базу крупным издательствам и делать это раз-два в год, проблемы тут нет. Мир должен знать своих героев.
Что касается "борьбы с независимыми и честными экспертами", то это совсем другой вопрос. Основа предложений 7 состоит в том, что любая система должна иметь как возможность поощрения за хорошую работу, так и возможность наказания за работу плохую или нечестную. В противном случае система деградирует. Вы это оспариваете? В журналах для нерадивых экспертов тоже существует система наказаний: если плохо рецензируешь, то с большой долей вероятности просто больше не пригласят. Но в журналах цена ошибки не очень высока, поэтому наказание не очень сильное. В фондах цена ошибки много выше, но именно основываясь на идее о том, что любые наказания могут использоваться неправильно в наших фондах фактически наказать никого не могут,- практически отсутствует механизм даже минимального наказания. Фактически даже из экспертов, как в журналах, исключить не могут! То же самое, кстати, и в любой другой сфере в России: никто ни за что не отвечает, ответственность на нуле.
А для того, чтобы "система наказаний за недобросовестную работу эксперта" работала правильно и не использовалась для борьбы с неугодными должны быть четкие критерии за что наказывать. Это отражено в резолюции в пункте отнеобходимости формирования этического кодекса эксперта.
Секретные эксперты
Да, коллеги, публично обсуждать вопросы конфиденциальности и конфликта интересов - дело непростое. Я, честно говоря, даже не думал, что текст Договора эксперта можно понять как запрет кому-то говорить, что я - эксперт. Я считал, что всех грантодержателей своих фонд должен считать достаточно квалифицированными и может привлекать их для экспертизы. Т.е. участие в экспертизе - это секрет Полишинеля. Хотя конечно, эксперт не должен сообщать кого и как он отрецензировал - это как врачебная тайна. Интересно, однако, что ФАНО ежегодно и ежеквартально требует с нас сведений: экспертами каких органов и фондов мы являемся и какие экспертизы выполняли. В вузах тоже требуют сообщать эти сведения - большой брат хочет знать все... Я лично считаю, что традиции качественной экспертизы в РФ еще не устоялись, и активное ее обсуждение со всеми заинтересованными сторонами жизненно важно для улучшения экспертизы. Потому и участвую в обсуждениях.
Я согласен с Сергеем Петровичем в том, что резолюция - это не только список конкретных предложений той или иной структуре, а еще и выражение мнения и позиции научного сообщества. Поэтому давайте включать туда все, что мы считаем правильным. И если мы считаем, что Устав фонда и правила конкурсов надо подправить, то давайте так и напишем. Но при этом, конечно, надо выбирать взвешенные формулировки, учитывающие разные грани проблемы.
Прошу добавить в резолюцию такой пункт
Предоставить возможность каждому эксперту, написавшему рецензию на данный проект, ознакомиться с содержанием рецензий и оценками всех других экспертов, составившим отзывы на проект. Кроме этого, необходимо ознакомить эксперта и с содержанием окончательного решения панели/экспертного совета.
"... давайте включать туда все, что мы считаем правильным."
Нужно уточнение
1) эксперты не должны находиться под влиянием мнения другихэспертов не только в текущем конкурсе, но и в последующих конкурсах. Предоставление эксперту мнения других экспертов может привести к формированию мнения этого эксперта не только относительно текущего проекта, но и относительно самого коллектива, что в будущих конкурсах может сыграть негативную роль.
2) нужно понимать, что предоставление какого-то права всегда ведёт к увеличению ответственности и дополнительным обязанностям. При реализации данного предложения у экспертов очевидно должна появляться дополнительная обязанность сообщать о фактах возможной недобросовестной экспертизы в фонд. Возникает фактически коллективная ответственность, когда эксперт отвечает не только за себя, но и за других экспертов со всеми вытекающими отсюда юридическими и репутационными коллизиями.
3) При этом, поскольку экспертиза может быть и на английском, то эксперты должны также предоставлять свои рецензии и на английском.
В общем, на мой взгляд, реализация всего Вашего предложения может быть не является такой уж хорошей идеей: она ведёт к усложнению системы с возможными отрицательными последствиями. Как этих последствий избежать мне непонятно, поэтому хотелось бы услышать Ваши мысли по этому поводу.
При этом, заключительная часть Вашего предложения, а именно "предоставление экспертам финального заключения экспертной панели",- почти свободно от указанных недостатков, и, в то же время, даёт экспертам возможность кое-что понять.
В принципе, финальное заключение панели было бы неплохо получать и заявителям.
Мы делили апельсин ...
Все-таки главная проблеме - не экспертиза. Главная проблема - размер делимого. Это только Христос мог накормить всех несколькими хлебами - на практике любая справедливость при делении чего-то не работает, если этого чего-то слишком мало. То есть главное - уровень прохождения заявок, миниум 30 %. Вот если это есть - то тогда тонкости экспертизы. А если нет - все равно много хороших заявок останется за бортом. И виноваты будут эксперты. экспертный совет и так далее ...
"Крылья... хвост... главное НОГИ" (с)
Вы правы. Конечно, стоит в резолюции это написать. И, наверное, первым пунктом, поскольку все последующие предложения в значительной, хотя и не в полной, мере автоматически разрешаются при выполнении условия достаточного финансирования.
Тем не менее, остальные пункты тоже имеют существенный смысл- от конкурса даже у проигравших должно оставаться ощущение осуществленной справедливости у большей, а не у ничтожно малой части части заявителей. А это невозможно даже при 60-70% проходимости, если процедура отбора выглядит непрозрачной, а мнения экспертов выражаются в хамской форме.
Ну и, напоследок, отсылаю к известной фразе из мультфильма про птиц. При сложившейся в России практике финансирования и распределения средств главное это точно ноги.
Уточняю: расширим и добавим ещё один пункт
Предоставить возможность каждому эксперту, написавшему рецензию на данный проект, после завершения конкурса ознакомиться с содержанием рецензий и оценками всех других экспертов, составившим отзывы на проект. Кроме этого, необходимо знакомить эксперта и с содержанием окончательного решения панели/экспертного совета по проекту. Предусмотреть возможность обращения экспертов фонда к его руководству для указания ими случаев недобросовестной работы коллег.
Исключить возможность составления рецензий на заявку данным экспертом, если он ранее уже писал отзыв на заявку, поданную этим же коллективом. Исклуючение может быть сделано при рассмотрении отчета по проекту, в случае если эксперт составлял ранее отзыв на этот проект.
Не согласен
1. Отчет по проекту должен рассматривать тот эксперт, который этот проект поддержал при рассмотрении. По-моему, это очевидно. Поддержал - мучайся.
2. Исключить возможность рецензирования того же коллектива ? Простите, но тогда экспертов точно не хватит на всех. И либо есть квалифицированные эксперты в какой-то узкой области - и тогда к ним падают заявки по этой области. Но если он квалифицирован в данной области - он и так всех знает, новых (принципиально новых ) людей не будет. Либо - завявки уходят куда-то далеко в сторону от узкой области и пойдут разговоры о не компетености экспертов.
И что такое "тот же коллектив" ? Если он перетасован и подан от другой организации - но люди те же (основные). ?
3. Ну и вопрос. Эксперты - бяки и слово этика им мало доступно. Но этично ли на конкурс молодежный подавать заявку, гду руководитель - молодой. А в основных исполнителях - маститые и заслуженные ? Формально правилами не запрещено ...
Спорные пункты
В резолюции есть пункты, с которыми согласны все, и есть пункты, вызывающие споры.
Верно ли будет спорные пункты оставить в резолюции до общего собрания ОНР и на нем принять/отклонить голосованием?
А почему бы просто не скопировать с Запада?
Поскольку мы в России постоянно находимся в статусе догоняющих развитые страны Запада, то почему бы взять и не скопировать всё у них? В данной ветке обсуждаются вопросы, связанные с принципами отбора заявок на финансирование, включая важную проблему грамотного проведения экспертизы, подбора квалифицированных экспертов, коды классификаторов и т.д. У меня вопрос: а зачем в очередной раз изобретать велосипед? Возьмите правила работы крупнейших американских и западноевропейских фондов (не думаю, что эта информация секретна) и просто скопируйте оттуда коды классификаторов, правила подбора экспертов, правила и сроки проведения экспертизы, правила выставления баллов конкурсным заявкам (включая точную копию оценочной анкеты), правила информирования руководителей заявок, методы и способы наказания недобросовестных экспертов, способы разрешения конфликтных ситуаций, правила обратной связи с авторами конкурсных заявок, правила разглашения/неразглашения имён экспертов и прочие вопросы и проблемы активно обсуждаемые в данной ветке. Другими словами, почему бы не взять правила отбора заявок, например, обществом Макса Планка, перевести их на русский язык и предложить в качестве предложений от ОНР?
Хорошая идея, но...
Расскажу две истории. Поехал я в длительную командировку в Калифорнийский университет. Прослышал там, что пожилым дают проездные за-так, и пошёл ради любопытства в Senior center. Сидит за стеклом бабуся и вопросительно смотрит на меня. Прошу у неё проездной. Are you sixty two? - Yes. - Нате! И даёт мне картонку с логотипом автобусной компании. Просит вписать моё имя и дату. Всё. Я по этой картонке и в последующие командировки катался.
В другой раз приехал в Питтсбургский университет. Спрашиваю у студента, до которого часу открыта библиотека химфака. - А разве Вам не дали ключ? Показываю связку ключей - от входа на факультет, в лабораторию, в copyroom, и ещё один, который как раз и был от библиотеки. Вход везде - круглоcуточный (24 года назад).
Вот бы нам это скопировать!
Можно ли копировать
Идея хорошая, но есть несколько "но".
Ситуации "здесь" и "там" существенно разные. Для реализации большей части из названных Вами вещей требуется американское или хотя-бы европейское финансирование (для начала, например, для создания критической массы экспертов достаточно высокого уровня, которых у нас нет) . Кроме того, требуются изменения на законодательном уровне (для свободного приглашения тех же иностранных экспертов, для реализации "наказаний" недобросовестным экспертам, правила разглашения-неразглашения-они отличаются от "международных" существенно и тп). Кроме того, требуется изменение менталитета самих экспертов и экспертных панелей (сейчас у нас по факту закрытая научная система, в которой новым людям делать нечего, иностранцев, например, система вообще выталкивает и это уже даже не на законодательном уровне (хотя и на законодательном тоже- чего стоит хотя-бы отсутствие виз для научной работы визит-профессоров , если зарплата меньше чем у ВКС), а в головах научных сотрудников, а выливается это все в то, что большая часть хорошего западного опыта просто не имеет никаких шансов на реализацию). Ну и, последнее: по сути РНФ и так скопировал все с запада, но "западная" грантовая система далеко не идеальна. В ней есть все те же проблемы, что и у нас. Они их решают и решают давно, а мы тольков начале пути. В самой грантовой системе есть внутренние изъяны. И у нас есть названные выше проблемы "копирования", связанные с менталитетом и отсутствием финансирования, которые и приводят к достаточно уродливым конструкциям.
Вы правы, у нас много чего нет,
поэтому надо скопировать то, что возможно и что не требует затрат, например, коды классификатора, оценочную анкету и правила выставления в ней баллов, правила разглашения/неразглашения имён экспертов, правила и сроки информирования руководителей проектов и т.п.
Скопировали платное образование, но "забыли" про...
Забыли скопировать главное: образовательные займы, рабочие места для студентов, гранты и стипендии для успевающих.
Приехали студенты в Питтсбург из России. Плата за обучение 4000 долл/год. А за семинары и лабораторки для студентов младших курсов они получали 13000. Две сестры пошли учиться на учительницу и медсестру. Получили займы с рассрочкой на 30 лет, возврат после двух лет по окончании, плата 50 долл/м-ц при типичной тогда з/пл 1000 в год.
В Калифорнийском университете платили студентам за дополнительные занятия с младшекурсниками 12 долл/час. Студенты также работали библиотекарями, озеленителями, водителями автобусов.
В московских вузах обучение стоит сотни тысяч руб/год, а источник один - папа и мама.
Это всё интересно, но совершенно не в тему обсуждения,
ибо здесь обсуждается лишь то, что можно сделать без денег с целью улучшения системы экспертизы научных проектов.
затрат нет?
Коды классификатора.
1) Большая часть кодов и так близка к международным.
2) Однако, в России есть свои традиции и своя структура науки, эта структура диктует иные коды. Справедливости ради- свои коды не только у нас, они у всех по сути свои.
Оценочная анкета и правила выставления в ней баллов
Я не уверен, что имеющаяся анкета уже не копирует какую-либо анкету западного фонда. Информации недостаточно, но я почти уверен, что копирует. Однако, кроме писанных правил есть правила и неписанные, оценочные. И они могут полностью оценку проекта поменять. Это вопрос менталитета экспертов, а он отличается от "западного" существенно. Кроме того, все еще осложняется тем, что у нас как бы переходный период, когда часть людей еще думает по старому, и есть другая часть, которая или "поездила" по миру, или с мировой наукой активно сотрудничает. И никогда не знаешь на какого эксперта нарвешься. А писать заявку для этих двух категорий экспертов нужно совершенно по разному.
правила разглашения/неразглашения имён экспертов
Это, возможно, самое сложное, ибо это регламентируется законодательством РФ. Фонд законодательство нарушать не может.
правила и сроки информирования руководителей проектов
Со сроками и правилами информирования в РНФ, мне кажется, все нормально. Экспертиза проходит быстро, информация вывешивается по срокам согласно конкурсной документацией. Проблема с поздним стартом новых проектов не с начала, а с середины года тоже связана с законодательством РФ. Для продолжающихся проектов средства тоже приходят на 2 месяца позже. Но РНФ эту проблему достаточно успешно обходит и, насколько я знаю, вопрос уже поставлен перед правительством о том, чтобы "научный год" мог отличаться от "финансового года РФ".
В разных фондах разные правила
Какой из фондов идеален?)
по сравнению с нашими, все иностранные фонды идеальны, поэтому
выберите любой, с каким вы лучше знакомы. Если вы не можете взять на себя ответственность выбора, то выберете правила общества Макса Планка исключительно на том основании, что я его предложил в качестве примера и всю ответственность выбора валите на меня.
Макс Планк
Макс Планк это не фонд. Может быть Вы имели ввиду DFG?
пусть будет DFG
.
Страницы