30
Ноя
2021

Итоги конкурса РНФ

https://rscf.ru/upload/iblock/12d/12d7fb3028e7e05d8a3f9fa2cd27ea31.pdf

Конкурс на получение грантов РНФ по приоритетному направлению деятельности РНФ «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»

Да, совсем форум обезлюдел

9500 тысяч заявок, более 1800 победителей, сегодня опубликовали рецензии и никто ничего не комментирует

Комментируют обычно недовольные

Двум молодым участникам нашего семинара дали каждому по гранту. У меня нет претензий к РНФ.

А что комментировать?

Ну вот документ с победителями и темами проектов более чем на 300 страниц. Заглянул внутрь. Увидел несколько знакомых, на мой взгляд вполне достойных иметь грант.

Пусть РНФ комментирует и желающие, у кого время есть.

Обычно комментируют выводы, которые сделали

Я лично больше решил никогда не подавать заявки по 01 классификатору. Очень рад, что не подал в этом году на малые группы.

Но по инженерным наукам грант получен. Похоже, это наше направление

Надо пытаться инициировать новые международные конкурсы через профессиональные сообщества, типа IEEE или ACM. Ибо от правительств совместных конкурсов не дождешься, да и люди все те же будут делить деньги.

Как-то механистически все получается...

Выиграл - хорошая группа по классификатору; проиграл - плохая.

У нас заявка молодого научного сотрудника без степени не выиграла. Так, может, надо задуматься, что не доработано в заявке? Проанализировать замечания рецензентов? Учесть на будущее и т.п. 

Классификатор 01 объединяет несовместимое

В частности туда отнесены все информационные технологии, а не только computer science. 

ИТ это свои традиции, в первую очередь, это поисковые исследования с обязательным указанием областей применения результатов. В первом же классификаторе свои традиции. При этом заявки по ИТ занимают значительную долю в 01, а вот поддержанные проекты - очень малую. К сожалению такой статистики нет. Хорошо бы иметь данные о количестве поданных заявок по разделам классификатора, и данные о победивших по разделам. И сразу все станет ясным

Мне непонятно, почему тематика IEEE и большей части ACM находится в первом классификаторе, а не инженерном.

С такими вопросами надо обращаться не в ОНР, а ...

... в Российский научный фонд.

Вроде бы, они постоянно совершенствуют "процедуры", может, и прислушаются к "голосу разума".

В начале всегда лучше обсудить

и выслушать разные точки зрения, главное, чтобы было, где обсуждать

математические модели

При беглом просмотре возникает впечатление, что большая часть из 179 поддержанных проектов по 01 - это математическое моделирование чего угодно. То есть математика+механика+компьютерные науки составляют меньшую часть проектов. А большая часть - это приложение этих наук к разным задачам. С одной стороны возникает вопрос: в каком экспертном совете нужно оценивать матмодели, например, в биологии? Мне кажется, что биологам виднее. С другой стороны, вероятно, раздел "чистой математики" в РНФ вообще невозможен, поскольку это не фонд "фундаментальных исследований".

Рецензенты по 01

всегда пишут, что РНФ это фонд фундаментальных исследований, и мне всегда хотя бы один оппонет ставит в вину возможность приложения результатов на практике.

иной контекст

Возможно рецензент полагает, что ваш проект настолько близок практике, что его можно продать  заинтересованной коммерческой компании. Поэтому он не нуждается в поддержке как научное исследование.

Вот выдежки из рецензий

Как указано в заявке, новым в предлагаемом подходе является то, что «анализироваться будет не входящий трафик целиком, а ограниченная выборка пакетов входящего трафика», что подтверждает отсутствие фундаментальной инновационной научной составляющей исследования, и то, что велика вероятность дублирования старых научных результатов. Разработки членов коллектива по заявленной тематике подтверждаются имеющимися статьями, в том числе международными, и полученными РИД по данной теме проекта. В этой связи актуальность, востребованность и научная новизна проекта видятся не обоснованными. Кроме того, ландшафт текущих исследований, ведущихся мировыми группами по этой тематике, также не представлен в заявке в разрезе решаемой научной проблемы, так как перечисляются лишь успехи отдельных международных групп и ведущихся разработок, но что нового планируется относительно известных научных (не прикладных) результатов, не ясно. При расчете пороговых значений базу составляют экспериментальные проверки и тесты, что также является сугубо экспериментальной задачей. При этом, собственно, сама научная (фундаментальная) проблема в постановке работы не сформулирована.

К недостаткам проекта можно отнести то, что в целом он представляется больше практическим, чем теоретическим. Так результаты второго года исследований представляют собой разработку стенда, тестирование запрограммированного решения, патентный поиск и сравнительный анализ полученного решения с аналогичными решениями. Несмотря на высокую актуальность и значимость данной тематики именно научная значимость предлагаемых решений вызывает сомнения.

Критерии оценивания?

Кто-нибудь знает, каковы критерии оценивания заявок по параметрам? Например, мне интересно, как соотносятся две оценки: Оценка способности руководителя управлять проектом - Средне и Оценка уровня научных публикаций руководителя проекта (за последние 5 лет) - Отлично?

Комментировать и обсуждать,

Комментировать и обсуждать, на самом деле, есть что, несмотря на катастрофический недостаток времени.

На первой странице соглашения читаем:

"Реализация Проекта должна быть направлена на проведение исследований в целях
развития новых для научного коллектива тематик (в том числе, на определение объекта и
предмета исследования, составление плана исследования, выбор методов исследования) и
формирование исследовательской команд"
 
Думаю, вы согласитесь, что развитие новой тематики не может происходить в замкнутом кругу четырех исполнителей проекта, неизбежно должны появляться новые научные контакты, которые в лучшем случае должны приводить к совместным публикациям, но тут есть большая засада...
 
На стр 15 читаем:
 
... "2.6.5. Сделать результаты научных исследований общественным достоянием в
соответствии с законодательством Российской Федерации, опубликовав (49) в ходе реализации
Проекта в рецензируемых российских и зарубежных научных изданиях при соблюдении условий
пункта 2.6.6 настоящего Соглашения не менее 3 содержащих результаты исследований по
Проекту различных публикаций (50)"
 
при этом сноска 50 гласит:
 
"К указанным публикациям не относятся публикации, содержащие ссылки на иные, помимо РНФ, источники
финансирования" 
 
Т.е. совместные публикации с лицами, не являющимися исполнителями проекта возможны только если они не имеют источников финансирования или согласны не ссылаться на свой источник финансирования. Обратите внимание, что это существенно отличается от условий других конкурсов РНФ! Там просто требуется объяснить, что конкретно  в данной публикации выполнено за  счет средств гранта.
 
И совсем ужасно выглядит  сноска 28 на стр 10!
 
"28  Лица, не являющиеся налоговыми резидентами Российской Федерации, могут осуществлять работы по Проекту на безвозмездной основе в рамках договора гражданско-правового характера (за исключением Руководителя проекта)."
 
Мы время от времени публикуемся совместно с коллегой из Великобритании и разговор о  сысылке на его источники финансирования просто не возникал, мы всегда исходили исключительно их  взаимных научных интересов.
Теперь же не исключено, что могут потребовать  договор о том, что он обязуется осуществлять некие работы  по проекту на безвозмездной основе. Я не могу даже представить как может выглядеть подобный абсурдный документ.
Вот и получается, что РНФ как в известной русской поговорке "ложкой кормит, а соломинкой глаз колет"
Иными словами: "Сидите ребята вчетвером, варитесь в собственном котле и ни на какие научные контакты не высовывайтесь"
 
Вот сейчас ломаю голову как ответить на предложение зарубежного коллеги написать совместную статью на топовую конференцию: либо пускать работу мимо проекта, либо отказаться, либо попытаться объясниться.
 
Что можете подсказать, коллеги?
 
 
 
 
 
 
 
 
 
Что вызывает беспокойство

1) Есть случаи, когда заявки приходили на рецензию в ту самую группу, где заявители и работают. И далеко не факт, что все отказываются такие заявки рецензировать, а это явный и однозначный конфликт интересов. 

2) Ходят упорные слухи, что каким-то образом некоторым заявителям еще во время экспертизы становятся известны рецензенты заявки. Возможно сами эксперты коллегам сообщают, что они рецензируют их заявку, а может быть все еще хуже и в самом РНФ где-то есть утечка. Это может создавать поле для давления, договоренностей и махинаций. Я надеюсь, что это только слухи, но дыма без огня не бывает. РНФ, мне кажется, стоит обратить внимание на этот момент и принять меры, иначе это уже не конкурс. 

3) Эксперты продолжают грубо ошибаться и/или "мухлевать". В тексте рецензий пишут одно, а оценки написанному никак не соответствуют. В этом конкурсе был случай, когда эксперт написал в оценке "не соответствует приоритетным направлениям РФ", что сразу зарубает заявку без дальнейшего рассмотрения. Но вот в тексте рецензии написал "соответствует", что неудивительно, поскольку речь шла о наноструктурах и сенсорике, которые в НТР даже явно прописаны. Ошибся типа эксперт, не там галочку просто поставил... А заявка убита.  

4) Действительно, непонятны критерии оценки, ряд пунктов оценки просто вызывают недоумение. Например, странные критерии: опыт руководства (максимальная оценка только при руководстве международынми грантами, если есть хоть мегагрант, но нет гранта международного фонда, то максимум будет "хорошо"), и, в особенности, опыт преподавательской деятельности (для максимальной оценки нужно иметь и аспирантов, и читать лекции, желательно за рубежом-какое это имеет отношение к научной значимости проекта, особенно если выполнены все условия по молодежи и, например, в коллективе есть и преподаватели со всем опытом? если это не только научный, но и образовательный проект, тогда почему про образование в самой заявке нет пунктов?). 

Опыт руководства

Требование "опыта руководства" в виде руководства именно международным грантом для получателя гранта в конкурсе малых научных групп кажется чрезмерным. 

Собственно говоря, если некто руководил, например, грантом ERC, то почему бы ему не подавать на мегагарант, или что-то такое же великое... :) 

Именно

Но тут еще проблема и в том, что это всё должно быть за 5 последние лет. ;) То есть если ты когда-то руководил международным грантом, а последние 5 лет- нет, то такого опыта у тебя и нет. 

5 лет это нереально круто

Ну это вообще нереально. Интересно, опыт за 5 лет улетучивается, срок годности истёк, склероз и все такое... surprise

Ну в связи этим у меня есть совсем несущественное замечание, навеянное текущим сидением и писанием заявок. И вот, проект международный, никого с названием руководитель нет, есть координатор. И есть PI от каждой организации, который собственно говоря и выполняет функции руководителя части проекта в своем уни. Но сказать, что он руководитель вряд ли получится... Поэтому я бы предложил в требованиях оставить руководcтво и добавить PI. Но не для малых груп же!

Как всегда

Суровость требований компенсируется необязательностью им следовать. Насколько я могу судить оценка "хорошо" за опыт руководства может быть поставлена во всех остальных случаях.

Условия

Такая "необязательность исполнения" приводит к тому, что условия для всех становятся разными. Так вроде бы не должно быть? Хочу ставлю 4, хочу 5, а могу и 2 и это никак не будет соотноситься с текстом самой рецензии и хотя бы относительно объективной картиной. В результате разброс в локальных оценках трех экспертов по отдельным параметрам от 2 до 5, при том, что средняя примерно одинакова и не вызывает никаких последствий. Разброс локальных оценок не смотрят. 

Вот, кстати, подтверждения
Я давно говорил

и даже на этом Форуме, что пора отменить анонимность рецензий и рецензентов на все: и при рецензировании статей, и при экспертизе грантов. Во-первых, в действительности анонимность только кажущаяся, секрет полишинеля, а во-вторых, анонимность провоцирует быть субъективным и самодурствовать.

И еще есть интересная тема. Где то прочитал высказывание одного крупного функционера, что "грантов для аспирантов не будет, т.к. у них нет опыта. Это всё равно, что подойти к человеку на улице и дать денег. Фонд будет давать деньги группам, которые проявили себя, а они уж пусть аспирантов поддерживают, если хотят."

Неоднозначное мнение, конечно, но в целом правильное. Все равно подобного рода проекты приходится доводить до ума руководителям, а их статус в такого рода конкурсах выглядит унизительным

Анонимность

Просто текст из ссылки в предыдущем посте:

Комм. РR: скажу одно, кажущееся радикально честным решение сделать открытым вообще всё (и тексты заявок, и личности экспертов, и их рецензии) приведёт к войне всех против всех. 

про анонимность

Значительная часть вопросов к неадекватной экспертизе возникает из-за скрытого конфликта интересов. Было бы правильно обнародовать список экспертов и дать возможность при подачи заявки на грант указывать двух-трёх нежелательных рецензентов.

Так в IEEE и ACM и поступают

Причем можно указать хоть десяток нежелательных экспертов

А вот открытый список иметь обязательно, как и каждый год менять треть экспертов. А повторно приглашать эксперта только через 2 года отдыха.

 

Критерии для попадания в эксперты

Должны быть сформулированы, как сформулированы требования к руководителям проектов.

Кроме того, должна быть инициативная процедура подачи заявок в эксперты. Я уверен, что многие подадую заявки и отбор будет легко осуществлять.

 

Так и есть

В РНФ действительно существует инициативный порядок попадания в эксперты. Вот только они эту инициативу еще полгода рассматривают, применяя бог весть какие критерии, а потом пишут письмо с предложением заключить договор.

Наиболее популярный метод по искажению экспертизы

это черный оппонент. Который сразу приступает к рецензии с заданием максимально снизить баллы.

В принципе выявить такого несложно, если пожелать Его средняя оценка заявки будет ниже, чем у других оппонентов балла на 2 или больше. Так как желающих выступать в роли черных оппонентов немного, то каждый из них должен зарубить несколько заявок. Все это легко устанавливается средствами статистики. Не знаю, проводится ли такая статистика или нет. Но черный оппонент возможен только в секциях, где руководитель сам назначает экспертов на заявки.

Второй тип статистики, который хотелось бы увидеть, это распределение заявок по первому коду классификаторов. А также распределение победителей по этим же кодам.

Хотелось бы верить, что руководство РНФ собирает и анализирует подобную статистику

Конкуренция высока

1) РНФ говорил, что они смотрят насколько отличаются оценки экспертов. Если отличие слишком большое, то такие рецензии не учитываются. Но... Субъективность экспертизы, нечеткость в выставлении некоторых оценок и усреднение по всем оценкам приводит к тому, что разброс в оценках экспертов по каждому из параметров может быть от 2 до 5, но по разным критериям у двух экспертов, а интегральная оценка будет почти одинаковая. 

2) При высокой конкуренции и проходимости в 8-10% (обычная для РНФ) нет никакой необходимости снижать все баллы в 2 раза. Достаточно снизить 2-3 ключевых балла, типа как раз руководства зарубежными грантами, образовательной деятельности или соответствия НТР РФ. Уже одного этого будет достаточно чтобы зарубить заявку и статистика этого не выявит. Особенно с учетом пункта 1. Если Вы напишете что несоответствует НТР, что будет? Думаю после этого никто рассматривать заявку уже не станет. Да и вообще достаточно выставить все оценки 4 и заявка не пройдет. Даже черных экспертов не нужно. 

 

субъективность экспертизы

С одной стороны субъективность экспертизы - это плохо. Но если по всем оценкам установить чёткие критерии, то и эксперт не нужен - машина сможет посчитать баллы, исходя из заявки. Мне кажется, что система оценивания у РНФ не совсем удачная. Все оценки имеют равный вес при по существу совершенно разной значимости. В каком месте эксперт должен выражать своё мнение о проекте? Вот он и выражает всюду, систематически завышая и занижая все оценки. По моему мнению оценка должна состоять из двух примерно равных по значимости частей: объективной, где не эксперт, а простой клерк расставляет галочки и экспертной, где эксперт оценивает научную составляющую заявки в совокупности.

Посчитал средние баллы, поставленные рецензентами

Это 3.18, 4.47 и 4.6. Это среднее из 21го значения

Видно, что различие очень сильное. В первом направлении так происходит всегда (один оппонет сильно выделяется). Отсюда простые вопросы- какова процедура назначения рецензентов. и сколько всего рецензентов, у которых оценка сильно различается.

Цифры и слова

А где вы вообще количественные оценки увидели? У меня эксперты оперирировали только словами: отлично, хорошо, средне. Это 5, 4 и 3? Один эксперт указал, что считает, что в общем - "хорошо". заявка не прошла.

я посчитал, чтобы сравнить численно

ведь преобладание отлично или плохо - это совершенно разные оценки. Но всегда лучше и легче сравнивать числа.

если посчитать

по "методу Андрея Михайловича" - у меня 2 экспертизы со ср. баллом 4,3 и4,5 - в обеих написано "рекомендовать к поддержке". Однако, конечно, оценки довольно сильно разнятся: что один оценивает на "3" - другой ставит "5". Но, в принципе, экспертиза (которая словами) вполне адекватная.

Тут сам вопрос именно к "опроснику". Как, например, решить о "способности руководителя управлять проектом" - какие критерии? Меня, например, явно "подкосило" отустсвие руководства. Ну да это мы и в ОНР обсуждали, есть ли "жизнь не-молодого учёного". И если для "молодого" шанс заиметь свой грант составляет примерно 1/3, то для "старого" этот показатель сразу снижается минимум раза в два. Но кто-то ведь должен и проигрывать - не могут же все кругом быть сплошные гении.

Другой, очень "оценочный" показатель - "масштабности и комплексности поставленных задач". Вот тут как - должен быть масштаб "вся Галактика", или наоборот "третья лапка у блохи"? Опять же у меня, для одного р.Волга - вроде бы мало, а для другого - более чем достаточно.

Но в целом, лично по-моему опыту, экспертиза была нормальная (в приснопамятном РФФИ мне писали совершенно хамские рецензии в духе "дурак и уши холодные"). Понятно, что нужно добавить (как указал эксперт "замечания к качеству оформления заявки"). Ну и надо где-то искать "опыт руководства". И писать снова, хотя число подаваемых в РНФ хороших проектов явно превышает возможности едиственного оставшегося научного фонда. К сожалению, ныне актуально высказываение Великого Вождя: "другого народа у меня для вас нет".

дополню

Да, мою завку, конечно же, не поддержали. Вероятно, что при наличии хотя бы одного "плохо" - все остальные "отлично" уже не играют роли.

Обсуждение конкурса малых групп РНФ в Фейсбуке
Коллеги, в группе ОНР в Фейсбуке обсуждается пост Евгения Лысенко о конкурсе малых групп https://m.facebook.com/groups/330671393664409/permalink/4997764410288394/
 
Напоминаю, ФБ группа Общества научных работников закрытая, и чтобы читать публикации в ней и участвовать в обсуждениях, нужно быть ее членом. Для вступления в группу не обязательно быть членом ОНР, но нужно иметь аккаунт на Фейсбуке, и из аккаунта должно быть ясно, что вы занимаетесь научными исследованиями. Группа находится здесь: https://www.facebook.com/groups/330671393664409/?ref=share
 
Текст поста Евгения Лысенко:
 
Около года назад, завершив обсуждение нового конкурса РНФ, А.Л. Фрадков задал нам вопрос: Какие ещё есть «болевые точки», о которых надо бы говорить ОНР?
Возвращаясь к новому конкурсу малых групп (МОНГ) РНФ, я бы обратил внимание коллег и совета на 3 нынешние его особенности.
1. Проект дается на 2 года. По результатам проекта требуется опубликовать 3 статьи.
Помнится, при обсуждении единое мнение было, что 2 года это мало (а такое количество статей за этот срок и деньги – много). Оптимальным считалось 3 года – 3 статьи.
Посмотрим на критерии оценки заявок. 
2. Эксперт должен оценить опыт руководства заявителя в двух пунктах анкеты:
«Способность управлять проектом» и «Опыт руководства и выполнения научных проектов».
«Способность управлять» - общая и неопределенная формулировка. Тут эксперт имеет свободу проявить свой здравый смысл, опыт или интуицию.
«Опыт руководства и выполнения (за последние 5 лет)» - конкретный пункт, имеющий большой «подводный камень». В наших обсуждениях выяснилось, что не все действующие эксперты обратили внимание на «опыт выполнения», сосредоточившись на «опыте руководства». Критерий опыта руководства понятен для больших грантов: Если у заявителя нет опыта руководства, то ему лучше сначала приобрести такой опыт на меньших грантах. Но гранты МОНГ РНФ самые маленькие в нашей стране. На каких же проектах должен зарабатывать репутацию руководитель?
Я думаю, что оценку «опыта руководства проектом» следует убрать из экспертной анкеты для самого маленького из всей линейки грантов (как убрали обязательное требование кандидатской степени, только статьи). Это излишний «барьер на входе». Для бОльших грантов он, наверное, уместен.
3. Эксперт должен оценить опыт образовательной деятельности заявителя.
Понятно, что таким образом исследователей хотят стимулировать к преподаванию. Однако, в наших реалиях это зависит не только от желания исследователя, но и от желания образовательной организации. Не секрет, что многие ВУЗы избавляются от внешних совместителей, а если и оставляют, то «высокоимпактных». Руководитель малой группы не очень подходит ВУЗам для отчетности.
 
Вот эти 3 вопроса по новому конкурсу МОНГ РНФ я бы поставил на обсуждение.
И еще о конкурсе МОНГ РНФ

Я согласен с основными замечаниями к конкурсу МОНГ РНФ, выдвинутыми Евгением Анатольевичем Лысенко. Причем исправить их можно было еще на этапе формирования правил экспертизы. Создается впечатление, что до них просто руки не дошли, так как организаторы и участники обсуждений занимались условиями конкурса, а не правил экспертизы. Если эксперт видит в анкете эксперта, что нужно ставить баллы за опыт руководства проектами, то те, кто всегда  был только о исполнителем, никогда не выиграют и конкурс теряет свою первоначальную направленность.

Очевидно также, что больше пострадали гуманитарные науки, см. интересное обсуждение итогов конкурса МОНГ РНФ и других вопросов здесь:

Черный ящик научных грантов. Как слияние РФФИ и РНФ лишило перспектив роста молодых ученых и социогуманитарные коллективы.

Хочется только поправить авторов заметки: термин "черный ящик" пришел в философию науки из кибернетики.

Абсурд - фирменный знак РНФ?

Коллеги, хочу поделиться собственным опытом. Если кратко, то мой опыт общения к РНФ сводится вот к чему: 4 неудовлетворенные заявки, в которых я была руководителем (последняя - как раз недавняя, для конкурса малых групп, которая вообще-то должна была быть подана в РФФИ - и была там практически на 95% сформирована) и - одобрение моей кандидатуры в корпус экспертов РНФ. Письмо из фонда пришло в минувшую субботу. 

Как это понять? Быть грантодержателем ты не достоин, а экспертом достоин. Где логика?

Перенесите лучше группу в VK

Фейсбук известен своей цензурой и вот вот будет забаненн в РФ.

ФБ, ВК и ОНР

Известны ли кому-нибудь какие-то случаи цензуры в Фейсбуке? Или Андрей Михайлович тащит на сайт политику, чтобы потопить ОНР?

Президент США Трамп утверждал

что в ФБ есть цензура.

Но я не ради политики написал за ФБ, а только потому, что его скоро в РФ заблокирую, как сам ФБ блокирует российские правительственные ресурсы

Ничего не понял
Спасибо за информацию

Я не знал, теперь буду следить

Вы просили примеры, вот еще

https://www.rbc.ru/rbcfreenews/61e41c629a7947450795f389

Facebook заблокировал страницу российской делегации на переговорах в Вене

Подробнее на РБК:
https://www.rbc.ru/rbcfreenews/61e41c629a7947450795f389

Кстати, я совсем не имел в виду политику, а просто предупредил, что надежность платформы фейсбук в России близка к нулю. На то мы и сследователи, чтобы заранее готовиться к событиям

 

Проблем с группой ОНР в ФБ нет

Фейсбук вообще очень неудобная платформа. И, действительно, он иногда очень неадекватно в полуавтоматическом и в совсем автоматическом режиме банит, например, при употреблении слов и выкладывании картинок, которые их алгоритмы считатают оскорбительными, хотя на самом деле ничего оскорбительного нет (часто просто за созвучные с ругательствами слова, например).

Но не помню, чтобы это когда-либо сказывалось конкретно на работе группы ОНР.

Как бы то ни было, хороших альтернатив нет. Вконтакте - сугубо молодежная платформа, но главное, с нею связана история ограбления создавшего ее Павла Дурова и многочисленные посадки написавших что-то не то. Есть много людей (я в том числе), которые в связи со всем этим не хотят с ней иметь дела.

Если ФБ забанят в РФ, будем пользоваться им через vpn, как сейчас ходят на linkedin те, кому он нужен.

Страницы