22
Янв
2017

Новый конкурс мегагрантов: снова об экспертизе

Читайте также: 

В новостях на официальном сайте программы мегагрантов www.p220.ru  объявлено, что

«Министерство готовится к проведению в 2017 году нового шестого конкурса на получение «мегагрантов» с периодом реализации проектов победителей в 2018-2020 годах. Итоги конкурса мы планируем подвести на ставшем традиционным третьем всероссийском форуме «Наука будущего – наука молодых» - отметила в ходе обсуждений О.Ю. Васильева.

Членам Совета по грантам поручено подготовить предложения по формату и порядку проведения нового конкурса, критериям отбора заявок и областям наук для государственной поддержки научных исследований.

Я полагаю, что в обсуждении вопросов организации научных конкурсов должна участвовать научная общественность и потому открываю эту ветку. Вопросы организации конкурсов мегагрантов уже обсуждались не один раз и некоторые предложения, высказанные на форумах, полностью или частично реализованы. Но появляющийся опыт ставит новые вопросы. Напомню, что год назад мы здесь обсуждали введение входных фильтров. В 5-й очереди конкурса эта идея была реализована в виде двухступенчатой экспертизы: на 1-м этапе каждую заявку рассматривали два эксперта и после этого составлялся короткий список (шорт-лист) с учетом полученных оценок и  пороговых значений основных показателей. Заявки из шорт-листа (не более половины поданных заявок) отправлялись еще двум экспертам и затем Совет по грантам принимал решение на основе всех полученных оценок. Пороги по показателям были призваны отсечь заведомо слабые заявки, сохранив все конкурентоспособные. Перечень учитываемых показателей приведен в конкурсной документации и ее изменениях. Пороги обсуждались на форуме и были выбраны так, чтобы все победители прошлых конкурсов по ним проходили. Особые дискуссии такой подход вызвал у математиков. Кстати, вопросы учета наукометрических показателей у математиков с жаром обсуждались снова в "Троицком варианте" при обсуждении итогов выборов в РАН. Вопросы эти нетривиальны: вот, например, вид пороговых критериев для руководителей по математике  

1. Индекс Хирша не менее 5

2. Ведущий ученый за пять лет, предшествующих конкурсу, должен иметь не менее 1 публикации (типа article, review) в рецензируемых научных изданиях, индексируемых в базе данных «Сеть науки» (Web of Science), входящих в первый квартиль (Q1) по импакт-фактору JCR-2014 по тематической (предметной) области  WoS, соответствующей тематической (предметной) области, по которой заявка подана на конкурс,

или не менее 3 публикаций (типа article, review) в рецензируемых научных изданиях, индексируемых в базе данных «Сеть науки» (Web of Science), входящих в первые две квартили (Q1 и Q2) по импакт-фактору JCR-2014 по тематической (предметной) области  WoS, соответствующей тематической (предметной) области, по которой заявка подана на конкурс.

и по компьютерным наукам:

1. Индекс Хирша не менее 5
2. Ведущий ученый за пять лет, предшествующих конкурсу, должен иметь не менее 1 публикации (типа article, review) в рецензируемых научных изданиях, индексируемых в базе данных «Сеть науки» (Web of Science), входящих в первый квартиль (Q1) по импакт-фактору JCR-2014 по тематической (предметной) области  WoS, соответствующей тематической (предметной) области, по которой заявка подана на конкурс,

или не менее 3 публикаций (типа article, review) в рецензируемых научных изданиях, индексируемых в базе данных «Сеть науки» (Web of Science), входящих в первые две квартили (Q1 и Q2) по импакт-фактору JCR-2014 по тематической (предметной) области  WoS, соответствующей тематической (предметной) области, по которой заявка подана на конкурс. 
К указанным статьям приравниваются рецензируемые доклады (full paper/соnference paper), сделанные ведущим ученым на конференциях уровня A* и A по рейтингу CORE (версия 2014 года) и опубликованные в сборниках соответствующих конференций или зарубежных журналах.

Надо сказать, что по принятому принципу триады в заявке должны быть 1) сильный руководитель, 2) сильный коллектив, куда приходит руководитель и 3) сильная, перспективная, тема. Если  заявка слаба хотя бы по одному критерию, она не сможет конкурировать на финальном этапе. В критериях 1) и 2) наукометрия допустима, а в 3) конечно, нет, тут все зависит от экспертов, которые, правда, в конечном итоге ставит баллы по этому критерию, т.е. превращают экспертное мнение в число. Критерии указаны в конкурсной документации, но пороги - внутреннее дело Совета и могут меняться. Например, по физике порог по Хиршу Н=20, а по энергетике Н=10. Одно из возможных предложений - объявить пороги заранее и не допускать к конкурсу тех, кто ниже порога. 

На финальном этапе в Совете по грантам идет обсуждение предложений по победителям и эдесь могут учитываться дополнительные соображения.  Учитываются квоты по областям наук, обеспечивающие равный коэффициент прохождения в разных науках, т.е. квоты пропорциональны числу поданных заявок по областям наук. Учитывается также соотношение "центр-регионы". Не секрет, что из Москвы и Питера и заявок больше и уровень их в среднем выше. Поэтому в сложных случаях заявке из регионов дается предпочтение. Лично мне в последнее время кажется разумным такое правило: если по области наук квота - два победителя, то один из них должен быть абсолютно лучшим, а второй - лучший из регионов. Но по разным областям наук члены Совета могут иметь свои соображения.

По всем перечисленным вопросам предлагаю высказываться, чтобы выработать предложения для Совета по грантам, который должен утвердить правила для 6-й очереди конкурса на мартовском заседании. Заодно можно обсудить порядок экспертизы заявок и на других конкурсах. Думаю, что прислушаться к высказываемым мнениям будет полезно организаторам конкурсов и  РФФИ, и по госзаданиям МОН, и других.

29 комментарии

Цель конкурса

Какова цель конкурса? От этого зависят те или иные предложения.

Количество грантов? И т.д.

Каково предполагаемое количество грантов? Если по направлению, чтобы это слово не значило, будет 2 гранта, то что-то мне подсказывает, что чтобы мы тут не обсуждали, результат будет один.

Какие предложения по индексам Хирша у остальных направлений, какие направления? 

А главное, мне вот интересно, как-то не раз обсуждалось создание ветки про экспертизу, с примерами экспертизы и все такое. Я вот на примере последнего конкурса мегагрантов до сих пор впечатлен. 

мега-гранты

Первое - это как соотносится "денег нет, но вы держитесь"  и деньги есть, причем не на просто гранты типа РФФИ, а  на мега-гранты? Как вот это людям объяснить? Кто может подать на мега-грант, "великий ("ведущий") ученый? А остальные кто? Им нужно без денег "держаться"? При этом выдавать определенное кол-во статей "на мировом уровне", а иначе... Что иначе: уволят, понизят? Или сам помрет от безисходности.

Нормальной оценки самой прграммы мега-грантов как не было, так и нет. Только типа "мы довольны, что "ведушие" ученые смогли реализовать свои идеи". Конкретный пример с Маккиарини, какую "идею" он реализовал (свою при этом)? http://www.p220.ru/home/projects/item/349-11-g34-31-0065

"Поиск и разработка новых подходов к тканевой инженерии и клеточной терапии для регенерации дыхательных путей и легочной ткани."

Тут, кстати, вообще ничего не говорится о пересадках (экспериментах) на людях. Каким образом он их проводил вообще непонятно. Просто так что ли - захотел и поэкспериментировал на людях?

Текст (результаты исследований) написан очень странно (мягко говоря). Даже то, что написано (кое как) не отражено в публикациях, при этом ворремени достаточно прошло, грант был еще и продлен, а также одновременно с мега получен РНФ. 

"Также изучены морфологические особенности здоровых и пораженных органов и тканей (легкие, диафрагма, сердце, пищевод) крыс и различных видов приматов." Это что ДО Маккиарини никто не изучал "особенности здоровых органов крыс"? Конечно изучал - в прошлых веках. Смешно это. При этом за такие огромные деньги. Насчет "пораженных органов", чем же они были "поражены"? Не было там никаких моделей заболеваний (патологий, при которых что-то "поражается").

"Созданы образцы децеллюляризированных органов крыс и нечеловекообразных обезьян (легкие, диафрагма, сердце, пищевод) в качестве прототипов для создания синтетических каркасов, воспроизводящих структуру нативных органов крыс и приматов."

Вот как это люди себе представляют - каркас сердца, например? Сердце - это по сути мышца. Мышца состоит из мышечных клеток. Если убрать клетки, что останется? Ничего не останется. По их протоколам они детергенты использовали (это типа мыла или шампуня). Если взять кусок мяса (мышца тоже) и помыть его мылом (или шампунем), то что будет? Будет помытое шампунем мясо. Какие там "прототипы" и каких синтетических. 

"Разработана методика создания оригинального биореактора для выращивания клеточных культур и тканей."

Вот тут фото этого "биореактора" - пластиковая коробка, корявая на вид:

http://www.kuban.aif.ru/health/details/on_izmenil_nashu_sudbu_kubanskie_vrachi_o_professore_paolo_makkiarini

Такие коробки можно было заказывать в мастерских институтов (когда они там были) - за бесплатно. Заказывали камеры с охлаждением для белковых форезов. Ну и для "клеточных культур" животных необходим CO2 инкубатор (терморстат такой специальный с подачей кислорода и углекислого газа в определенных пропорциях: http://www.sterilizatori-bmt.ru/laboratornie-inkubatori-termostati-2), а не просто пластиковая коробка

Нет тут результатов. И быть не может. Мытое мясо так и станется мытым мясом, не говоря уже о "стволовых клетках" и "клеточной терапии".  Это их кто писал, журналистка Кокурина? Их кто-нибудь читал, читает? Столько денег угохано - из налогов налогоплательщиков. И что должно думатьобщество о такой "науке"?

Цели, количество, экспертиза

Целей у конкурса мегагрантов много. На главной странице сайта www.p220.ru  читаем:

9  апреля 2010 года Правительством Российской Федерации было принято постановление №220, направленное на финансовое обеспечение и стимулирование развития науки и ее инновационной составляющей. Основные задачи, которые решались в рамках постановления: 

01  привлечение ученых с мировым именем, в том числе и наших соотечественников, проживающих за рубежом, в российские вузы;

02  создание научных лабораторий, способных конкурировать с ведущими лабораториями мира;

03  получение научных результатов мирового уровня;

04  создание условий для улучшения качественного состава научных и научно- педагогических кадров, эффективной системы мотивации научного труда;

05  стимулирование притока молодежи в сфере науки, образования и высоких технологий;

06  создание устойчивых связей российских вузов, научных учреждений государственных академий наук и государственных научных центров Российской Федерации с ведущими мировыми научными школами;

07  трансфер в экономику перспективных разработок, полученных в рамках проведенных научных исследований.

 

К сожалению, приоритеты или хотя бы веса различных целей в постановлении не указаны. С количеством грантов-победителей проще. Их - 40 в каждой очереди.

Что касается недовольства экспертами-рецензентами: а Вы жаловались хоть раз? Если получаете дурацкую рецензию, надо писать организаторам жалобу: рецензент необъективен потому-то и потому-то. РНФ даже просит об этом. Организаторы мегагрантов пока не просят, но думаю, лишь потому, что никто не жаловался. Грамотных и добросовестных экспертов всегда и везде не хватает. И если появится жалоба, то думаю, что ее будут проверять, и, если она обоснована, то эксперта больше не будут привлекать. Хотя их не хватает. 

А смысл жалобы?

Что касается недовольства экспертами-рецензентами: а Вы жаловались хоть раз?

Обязательно пожалуюсь, только вот смысл в чем? Да и технический вопрос - кому жаловаться и кто может это делать? Вот не руководитель проекта может?

А то вот пожалуйста пример из 5й волны. Рецензент, видимо человек с большим чувством юмора, написал, что жаль, что у главного специалиста нет наград и медалей, а вроде как должны быть. Поэтому оценку снижаю. Теперь у меня вопрос: у всех победителей есть награды и медали? Это является обязательным требованием? Если да, то почему этого нет в документации, если нет, то почему этот "критерий" учитывается? 

Ответ Виктору Анатольевичу

Обязательно пожалуюсь, только вот смысл в чем? Да и технический вопрос - кому жаловаться и кто может это делать? Вот не руководитель проекта может?

Смысл в том, что недобросовестного эксперта могут больше не привлекать. В РНФ они говорят - жалуйтесь, мы рассмотрим и плохих экспертов выведем. В мегагрантах, кажется, пока просто никто не жаловался. Так проявите инициативу. Лучше, если жалобу подпишет ведущий ученый. А направить ее нужно в МОН. На сайте есть контакты. И если на экспертов никто не жаловался - значит, они идеальны и всех это устраивает.

Теперь у меня вопрос: у всех победителей есть награды и медали? Это является обязательным требованием? Если да, то почему этого нет в документации, если нет, то почему этот "критерий" учитывается? 

Смотрим КД (конкурсную документацию), п.14.4:

Оценивается уровень научных результатов ведущего ученого, их соответствие мировому уровню по выбранному научному направлению; публикационная активность ведущего ученого и рейтинг научных изданий, в которых публикуется ведущий ученый; соответствие уровня изданий и публикационной активности показателям, характерным для лидеров по выбранному направлению научного исследования; наличие у ведущего ученого престижных научных премий, наград, медалей.

Александру Львовичу

Спасибо, Александр Львович! Вы меня почти убедили, что

- экспертиза у меганрантов на высоте, глядишь, этих экспертов будем экспортировать. Действительно, никто же не жалуется.

- что у всех победителей мегагрантов имеются в наличии награды и медали,  а как же иначе, это же важный, обязательный, критерий. 

Почему почти, ну почти, много букв придется писать, а смысла я не вижу, зачем тут писать, лучше в МОН. Только лучше не я, а проигравший ведущий ученый - вот он по-английски ее напишет и  пошлет, по-русски он не умеет.

Что же касается вот этого вопроса, хотя он и не ко мне,

Можно теперь к Вам тоже вопрос: как можно за 5 лет опубликовать 224 статьи из WoS? Это не липа?

А что, есть подозрения, что липа? Вот Сергей Петрович напишет, что нет, не липа. И что? Ложечки нашлись, а осадочек остался. По идее, это же смотреть надо, что и как опубликовано... Я вот посмотрел недавно зачем-то Варшавский университет, там есть авторы, опубликовавшие 95 работ за год, правда в Скопусе, но 95 и за год. И что? Мне почему-то кажется, что тут мы вступаем на такую скользкую почву предположений и гипотез. А зачем?

Знаете, возвращаясь к рецензиям, я бы, например, вместо медалей, если бы хотел написать нечто критическое, написал бы, что в проекте все хорошо, но вот тема представляется не самой прорывной, есть например, более перспективные направления, так что надо бы поддержать, но если денег хватит. Вот, примерно такое, и медали не потребовал и придраться к экспертному мнению будет не так просто.  

 

Где взять экспертов?

Виктор Анатольевич! 1. Экспертиза мегагрантов неидеальна, поскольку идеальной экспертизы не существует. 2.Мне хочется, чтобы она была получше, потому я сам призвал критику на наши головы, открыв эту ветку. 3.Разговоры тут без нежностей, поскольку реально хорошие проекты теряют реально хорошие деньги.

Но, еще раз: идеальной экспертизы не существует. Правы как те, кто говорит, что наукометрия плоха, так и те, кто говорит, что живые эксперты некомпетентны и некультурны (мягко выражаясь). Так что же делать? Вот тут уже число комментов скоро за 500 перевалит, они спорят, как правильно выбирать в РАН. А ведь это тоже экспертиза.

Вы говорите, медали плохо? Но что вместо? Вы говорите, "вместо медалей, если бы хотел написать нечто критическое, написал бы, что в проекте все хорошо, но вот тема представляется не самой прорывной, " -  Думаете Совет устроит "не самой прорывной"? А что это такое? Чем конкретно она отличается от "самой прорывной"? А "если денег хватит." - это совсем ни о чем не говорит. Вот есть 40 мест, Вы, как эксперт, поддерживаете эту работу? Отвечайте: да или нет?

Где взять экспертов?

Если вместо медалей? Публикации, выступления, уровень презентаций, где и какая лекция прочитана, сколько учеников, какие именно гранты, опыт руководства лабораториями, опыт проведения конференций, причем реальный, а будучи свадебным генералом. Как говорил один персонаж, рассматривая рекламу мыла: "ну первым делом я бы приобрел бы блондинку, ну если бы на меня надавили, то и ванну, но о мыле и не подумал". Так вот и я, если это не общепризнанные премии и награды, я бы о медалях как признаке научных достижений и не подумал бы, да и как вот сравнивать эти медали  и награды? 

Не самой прорывной? Ну если я бы был экспертом, то так бы и написал, что считаю прорывным то и это, а вот это считаю рутинным развитием известных результатов. Да, а не про прорывные, это мы как-то получили из DFG, все хорошо, но не bahnbrechend. Но в отличие от "тут", "там" дали время на ответ и повтор. Правда этот апофеоз лояльности к заявителям закончился комически - DFG написало, что теперь все хорошо, просто денег нет. 

Ну и где брать экспертов? Воспитывать, искать, вот рецензентов на статьи Вы же находите? Есть методика типа снежного кома, есть  "наши люди" зарубежом, которые могут порецензировать. Вот двое недавно приехали на панель в Москву поренцензировать так сказать одно известное заведение. Можно попросить прошедших или непрошедших претендентов. 

Да и если вспомнить выборы в РАН, то как видим, наличие медалей, например, Филдсовской, не помогает стать академиком, а получить мегагранты помогает ;) Мне казалось, что естественнее было бы наоборот.

А где берут экспертов в других странах?

Если никому верить нельзя (все плохие - некомпетентны и некультурны), то цифрам можно, получается? А за цифрами ведь тоже люди - редакторы журналов, рецензенты. Им всем можно верить, они все культурны, компетентны, честны? Или вы полагаете компетентность и честность 100% зависит от "ранга" журнала и в Nature самые компетентные и пр.? Могу привести примеры с Nature - абсолютная чушь - по "казусу Маккиарини". Пока его статью липовую из Nature начали отзывать сколько времени прошло и скольких все это ввело в заблуждение (вас в том числе), сколько людей погибло. Как накручиваются цитирования не раз говорилось. Что такое новые области, которые мнятся прорывами тоже известно - кот в мешке - непонятно что. Сначала кто-то брякнул, все побежали в эту сторону, ничего толком не вышло, побежали в другую.

По поводу Маккиарини, там текст заявки висит у них на сайте, это, извините, просто набор слов, народ недоумевает как такое могло быть. Это похоже очень плохой (типа автоматический) перевод некого текста на английском (тоже странного, мягко говоря, судя по обрывкам исковерканных фраз). Сама идея убирать клетки с органа, оставляя каркас - это, извините, просто издевательство. Каждый школьник должен знать, что все органы состоят из клеток. И это не матрас, где можно убрать обшивку и набирку и вытащить пружинный каркас.

А также человек - это не резиновая игрушка, чтобы вставлять в него пластиковую трубку (вместо трахей), политую клетками из костного мозга и надеяться, что все это превратится чудесным образом в живой орган - трахею в частности. Привожу ссылку что такое трахея на срезе (несколько разных типов клеток и насколько сложно все это "устроено"). Это должен знать любой студент, прошедший курс анатомии, гистологии и физиологии. http://vmede.org/sait/?page=18&id=Gistologiya_atlas_bikov_ushk_2013&menu=Gistologiya_atlas_bikov_ushk_2013

И еще РНФ тоже выдал, только по пищеводу. Как там насчет экспертов и экспертизы? Эксперты гистологию хотя бы проходили? Или это физики были вместо биологов?

Насчет самой программы мега-грантов - это в принципе непонять что такое и зачем, поэтому столько проблем. Основать лабораторию за 3 года чужим дядей на чужом месте (если он по-русски не говорит, то вообще как?), закупить, установить оборудование (если экспериментальная), поставить методы, послать на обучение (на сколько, на пару недель - это экскурсия, да еще если у посылаемых с английским проблемы), получить результаты мирового уровня, и еще и успеть опубликовать (заставить рецензентов быстро рецензировать что ли?). Вы считаете, что это реально? К тому же, если и идеи никакой нет по сути, а лишь бы лаборатория была - про что-нибудь "от ведущего-великого".

Поэтому и пишут заявки на 40 человек с зарплатным бюджетом в 30+ миллионов на все возможные темы сразу и одновременно. Конечно ни один эксперт не станет давать всему этому "многообразию" оценку. ;0 чел - это примерно треть института в 100+ человек. Институты за три года "волщебным образом" не складываются. И трудно представить, что ни с кем не знакомый человек приедет и сразу начнет плодотворно руководить коллективом в 40 чел по всему многообразию тем. А уж расписать по тематикам работу на 40 чел на три года.... Не реально это в принципе.

 

Камень в мой огород

Поэтому и пишут заявки на 40 человек с зарплатным бюджетом в 30+ миллионов

Из 40 человек почти половина аспиранты, треть постдоки.  30 млн это на 3 года.   Что Вас смущает в этой цифре 30млн? Она маленькая или большая?

на все возможные темы сразу и одновременно

Читали проект? В крупном гранте и должно быть несколько направлений (связанных направлений)). Либо это должна быть очень узкая прикладная задача. Я другого варианта не вижу. 

Институты за три года "волщебным образом" не складываются. 

"волшебным образом" не складываются, а не "волшебным",- вполне. Я создавал группу менее чем за 3 года, не было ни аспирантов, ни сотрудников. Трех аспирантов взял с улицы, ребята работали менеджерами и учителями в школах. За менее чем 2 года получили несколько очень интересных фундаментальных результатов. Постдок иностранный приехал, теперь семинары в группе только на английском (у всех аспирантов резко улучшился английский всего за полгода). Начали с ним эксперименты по гибридным солнечным батареям (органика-полупроводники-наноплазмонные материалы), предварительные результаты очень приличные. Поступило еще более 40 заявок от иностранцев в аспирантуру ко мне (а меня даже рядом с ВУ ставить нельзя). Более 25 постдоков хотят приехать. Это буквально за год, когда я начал этим вопросом с привлечением иностранцев заниматься (причем не особо активно). Примерно 10% из них вполне приличного уровня. ВУ даже своим именем позволил бы привлечь еще более квалифицированные кадры. Получили за 3 года 4 крупных гранта, в том числе РНФ и проектные ГЗ. По моему неплохо для новой группы, в которой сотрудники большей частью вообще не были трудоустроены, никому не нужны были. Как уже говорил на сотрудника пришлось в этом году более 2.5 статей из Q1/Q2 (это включая аспирантов) с очень неплохими научными результатами, общий импакт статей за 2 года более 100 (при среднем по области науки 1-2).  Это все мы уже сделали-база есть и опыт организации, как мне кажется, более чем успешный в условиях России. Но ситуация нестабильная, базового финансирования нет, все сотрудники на временных годовых контрактах.  В любой момент все может развалиться если вдруг гранта не будет. А ВУ это все стабилизировать и развить,  поднял бы на существенно более высокий уровень чтобы была большая надежность в том числе, вошли бы в международные коллаборации, создали научную сеть и получали бы и международные гранты (сейчас сил на это нет),- у него такой организаторский и широкий научный опыт, который все это позволяет и нет никаких сомнений, что мы сделали бы существенный прорыв как в плане науки, так и в плане организации по настоящему международного научного центра. Так что никакого волшебства. Все можно сделать. Если делать...

Апелляции

 На сайте есть контакты. 

Это все должно быть в конкурсной документации.

В мегагрантах, кажется, пока просто никто не жаловался.

Что это изменит? Привлечете других экспертов? А смысл, если конкурсная документация и наверняка и вопросы экспертам составлены таким образом, что позволяет самые разнообразные трактовки, что и видно из моих примеров? Если в рецензиях нет баллов? Подписывают эксперты бумагу о "конфликте интересов"? Проводят ли для них вебинары с объяснением смысла и целей программы? Нет? О как. 

Проблема системная, что в мегагрантах, что в РНФ. Жалобами тут ничего не решишь. Уйдут одни эксперты , придут другие такие же. Меняйте правила игры для экспертов, чтобы они четко знали что писать можно, а что нет, что оценивать нужно, а что нет. И заявителям дайте знать о своих правилах, чтобы мы знали на чем акцент делать, на научном проекте, на орг. проекте, на конкретных результатах или на тематиках, на технологиях или внедрении. А то с вашей "триадой" что-то все непонятно (и экспертам в том числе). Она не очень-то соответствует целям, указанным в "Постановлении". 

наличие у ведущего ученого престижных научных премий, наград, медалей. 

Перечисление через запятую, а не через логическое И. 

Приоритеты

Приоритеты расставлены с первого по седьмой. Но тут есть противоречие с Вашей "триадой" и наукометрией по крайней мере относительно научных коллективов.

1-й ответ Сергею Петровичу

С 1 по 7 - на сайте - это не приоритеты, а цели (задачи). Какая из них важнее - никто не скажет. Если одна из целей - привлечь иностранных ученых, то это не значит, что ученых из РФ не пускают. Но планку по времени пребывания им ставят выше, т.к. им проще работать (в своей стране).

Вопросы Сергея Петровича из следующего поста - более сложные, надо проверять и уточнять у организации-монитора. Могу только сказать, что в базе данных по СибФУ у ВУ указано Н=67, за 5 лет 224 публикации из WoS, из Q1- 140 статей, из Q2 - 32 (эти данные не относятся к ходу экспертизы, т.е. конфиденциальность не нарушена). Так что об обрезке на уровне 100 статей нет и речи. А вот эксперт мог прозевать, посмотрев только первую страницу. Такого эксперта надо гнать. А в заявке все-таки лучше начинать со свежих статей, чтобы от таких экспертов застраховаться.

Можно теперь к Вам тоже вопрос: как можно за 5 лет опубликовать 224 статьи из WoS? Это не липа?

Статьи и наукометрия

С 1 по 7 - на сайте - это не приоритеты, а цели (задачи). Какая из них важнее - никто не скажет.

Мне кажется они четко проранжированы в порядке приоритетов, с 1 по 7.

Если одна из целей - привлечь иностранных ученых, то это не значит, что ученых из РФ не пускают.

Мне кажется это не соответствует заявленным целям программы. Там четко написано, что это должны быть иностранцы и "соотечественники", работающие за рубежом (я так думаю исключительно за рубежом). Иначе это никакая не программа по привлечению, а программа мобильности внутри страны, о чем не заявлялось ни разу (по крайней мере я не видел). Я бы обратил на это внимание Совета по мегагрантам. Все вроде бы четко и ясно написано в постановлении, зачем самодеятельностю-то заниматься... Или я ошибаюсь? Тогда было бы интересно взглянуть на слова о мобильности и "привлечении ВУ из России в организации России же, да еще на основе фактически внешнего совместительства за 30 млн в год". При этом, заметьте, невозможно проконтролировать пребывание таких ВУ в организациях. Вообще законными методами никак.

из Q1- 140 статей, из Q2 - 32 (эти данные не относятся к ходу экспертизы, т.е. конфиденциальность не нарушена). Так что об обрезке на уровне 100 статей нет и речи.

По конкурсной документации (вместе с изменениями и дополнениями) нужно было там внести журналы из Q1/Q2 за последние 5 лет. Суммируем, 140+32=172. 172>100? Вот 72 статьи и обрезалось. При этом в систему были внесены все статьи, система это сделать позволила. То есть в системе статьи были, но к экспертам не попали.

 как можно за 5 лет опубликовать 224 статьи из WoS? Это не липа?

Смотрите статистику по среднему числу публикаций за 5 лет по победителям прошлых конкурсов на сайте мегагрантов: http://www.p220.ru/images/FAQ/tablica.pdf

Физика: 110

Химия: 70

Химические технологии: 192

Нанотехнологии: 107

 У нас, по сути, есть все эти направления в проекте. Подчеркиваю, это средние цифры, то есть там наверняка были и бОльшие и меньшие цифры, а может даже и существенно большие/меньшие. Вас они не смущают? Тогда почему смущают наши, откуда вопрос? Да, у нас выше средних цифр, но не так чтобы особенно больше. На мой взгляд это скорее плюс чем минус, нет? У экспертов по этому поводу вопросов как раз не возникло. Возник вопрос почему представлены публикации только за 2011-2014 годы. Но, как я объяснил, это вопрос неадекватной работы системы,  мы из-за потеряли баллы и скорее всего много баллов, поскольку один из экспертов так и написал: позитивное впечатление о проекте этим оказалось "смазано" (а это один из важнейших моментов)- вознкило впечатление, что мы сделали copy-paste, хотя это, кстати, даже технически там невозможно.

Если более предметно: у меня с ВУ вышло за 12 лет совместной работы 11 совместных статей. Во всех статьях его вклад был существенным, начиная с постановки задач, заканчивая написанием-редактированием текста и анализом результатов и их представлением на конференциях. Почти наверняка этих статей просто вообще не было бы без его участия. У меня лично нет никаких сомнений, что тоже самое относится и к его остальным публикациям. ВУ действительно ученый ТОП уровня и выдающийся научный организатор, так за менее чем 20 лет он построил департамент на котором сейчас работают более 60 человек, а начинал в 1998 с 3х человек. К ним аспиранты теперь едут со своими деньгами исключительно. И большая часть постдоков тоже. Попробуйте-ка такое организовать. У меня нет никаких сомнений, что все бы нам удалось. Тем более за 3 года я уже создал тут существенный задел для работы и в плане организации и в плане привлечения новых людей и в плане привлечения финансирвоания- система работает. Но не хватает "веса" и людей топ-уровня, генераторов новых идей хотя бы в рамках уже имеющихся тематик. ВУ это все поднял бы на безусловно международный уровень. Мы в принципе в любом случае будем сотрудничать, но уровень взаимодействия, конечно, будет существенно ниже. Он уже приезжает к нам регулярно- читает лекции, ведем ряд совместных проектов. Но без финансирования и закупки необъодимого оборудования все будет уже совсем не так-много запланированных перспективных проектов будут свернуты. Очень многое Россия потеряла не дав ему грант, людей его уровня в программе мегагрантов по пальцам одной руки пересчитать можно. Много чего еще тут можно сказать, но пока не буду.

Ну и, кстати, я сейчас глянул Ваш профиль: 33 статьи за 2016 год. За 5 лет при таких показателях это могло бы быть 165 статей. Ну, вроде как почти сравнимо с нашим ВУ. Поэтому я бы переадресовал вопрос уже к Вам: как можно за 5 лет опубликовать 165 статей по автоматике? Это не липа?

Мне кажется они четко

Мне кажется они четко проранжированы в порядке приоритетов, с 1 по 7. 

По-моему, задачи 5,6,7 не менее важны, чем задача 1.

То, что российским ВУ не должно создаваться препятствий, вряд ли стоит обсуждать, оппоненты будут говорить о неконституционности запретов.

Контроль посещаемости сотрудников вуза - зона ответственности администрации вуза.

 При этом в систему были внесены все статьи, система это сделать позволила. То есть в системе статьи были, но к экспертам не попали. 

Все-таки нельзя исключить, что это эксперт прошляпил. Потому-что в системе все есть. 

Я, прошу прощения, слово "липа" не надо воспринимать негативно. С наукометрией часто однозначный ответ не дать. Вот Вы взяли мой профиль в Google Scholar, а здесь считают по Web of Science Core Collection. Тогда у меня за 2016 год не 33, а 17 будет, а за 5 лет - 64. Все-таки это не 224. Я еще позже напишу про дальнейшие наши действия.

По-моему, задачи 5,6,7 не

По-моему, задачи 5,6,7 не менее важны, чем задача 1.

Возможно. Но они расставлены именно в таком порядке как есть и никак иначе. А это тоже кое-что значит.

То, что российским ВУ не должно создаваться препятствий, вряд ли стоит обсуждать, оппоненты будут говорить о неконституционности запретов.

Этак можно сказать, что дискриминация по квалификации идет. Я вот совсем не ВУ, но тоже хочу участвовать. Почему меня дискриминируют? Какие-то требования выдвигают, а я может им не соответствую. Натуральная дискриминация. 

Эта программа четко сформулирована: привлечение иностранных ВУ и "соотечественников". Это требование программы, причем тут дискриминация. И требования эти неспроста. Мне всегда казалось это очевидным. Иностранные ученые и наша диаспора (хотя и не вся) обладают целым рядом компетенций, которых нет у родных отчечественных ВУ. В частности, они носители языка, они носители другой, причем успешной,  научной культуры, они завязаны на международные научные сети, которых у нас нет и потому у большинства очень плоха цитирумость, а по сути просто невостребованность результатов-это серьезная проблема, куда более серьезная чем даже отсутствие каких-то научных направлений- мы в большинстве оторваны от международной научной среды. Эти компетенции иностранных ВУ вполне объективная вещь, даже более объективная чем скажем Хирши или "научный уровень". Становись носителем этих компетенций и участвуй. Всегда и везде в грантах так было. Тут какая-то ерунда с этой мнимой дискриминацией... Кроме того, "Наши" уже здесь и ничего нового в этом смысле они не принесут. Ни новых научных контактов, ни  новых идей и направлений, ибо они могут принести только то, что уже и так имеется в России. Так за что такой большой грант? Да, могут "перенести" в другой регион. Но опыт подсказывает, что даже этого не происходит. Я думаю именно поэтому программа и была сформулирована именно так, а иначе. А кто-то ее уже исказил.  Есть другие программы в которых уже эта эта категория иностранных ВУ участвовать не может. В РФФИ вон нужно обязательно вид на жительство в РФ иметь чтобы участвовать. А некоторые наши соотечественники уже не имеют гражданства РФ. Дискриминация в рффи? Конкурсы разные и расчитаны на разный контингент и на достижение определённых целей. Мегагранты это не программа мобильности.

У меня иностранный постдок получает больше чем я и я более-менее нормально к этому отношусь, поскольку он приносит что-то чего я сам дать не могу, в частности просто атмосферу международности. Думаете этого мало? Нет, не мало, эта атмосфера мотивирует остальных как бы там ни было. а за меньшие деньги он бы не поехал. А я готов работать за меньшие. Это рынок труда. Я потому и писал что демпинг в зарплатах в России это беда, сам ведь тоже в этом участвую. Так почему нашим, которые как бы переезжают в другой регион нужно платить больше чем их остальным российским коллегам, что нового они несут? 

Контроль посещаемости сотрудников вуза - зона ответственности администрации вуза.

Так-то оно так, да не совсем. Если это не работает, то это уже проблема самой программы. А оно не работает...

Все-таки нельзя исключить, что это эксперт прошляпил. Потому-что в системе все есть. 

4 эксперта прошляпили. В комментариях русскоязычных экспертов та же ерунда. Правда с финансами они лучше разобрались.

Вот Вы взяли мой профиль в Google Scholar, а здесь считают по Web of Science Core Collection.

А у нашего ВУ нет статей не в WoS. И дело ведь не в том, где статьи напечатаны, а в том, что они так или иначе были  написаны. В этом ведь был вопрос? А если так, то какая разница WoS или не Wos. 

Замечания по "мегагрантам" - много букв

Одно из основных замечаний касается функционирования системы подачи грантов. Проблема даже не в том, что система отвратительная, проблема в том, что она приводит к несуразностям, которые делают экспертизу полностью неадекватной.

1) Формы для заполнения публикаций ведущего ученого функционируют неправильно. Они не позволяют вносить все публикации ведущего ученого. Точнее, внести их можно, но они при генерации pdf файла иногда обрезаются, а иногда не обрезаются и это вообще странно. По всей видимости публикации обрезались на числе 100. Это в моем случае (у ведущего учено было больше 100 публикаций за 5 лет из Q1-Q2) привело к следующим двум комментариям от двух разных экспертов: а) "Unfortunately, presented list of publication, probably taken from some previous application, is limited by the year 2014", b) "

Articles and reviews published by the leading scientist in 2011 – 2016…), the lists of the publications of applicant corresponds to the timeframe of 2011-2014. I assume, this part was copied from some older application and was not revised, which slightly reduces the overall impression about the quality of the present application".

Система просто "обрезала полный лист публикаций", а мы из-за этого недосчитались баллов. При этом, заметьте, те у кого публикаций существенно меньше, такой проблемы не получили. Налицо "отрицательный отбор". 

2) В списке форм есть 2 формы для Институтов и Университетов. При этом регистрации заявки без генерации обеих этих форм появлялось замечание. Было непонятно к чему приведет игнорирование этого замечания. В нашем случае в самом начале, когда поняли, что система выдает замечание на отсутствие формы для Институтов, мы сгенерировали 2 формы и для Институтов и для Университетов (хотя мы Университет). При этом форму для Институов, конечно, не подписывали. Но на последнем этапе мы поменяли бюджет. Форму для Институтов при этом не "перегенерировали" (хотя, как оказалось, было нужно это сделать тоже, хотя казалось бы зачем?). В результате получили вот такие однотипные комментарии от экспертов: 


а) "some inaccuracy in the forms, however, the main one appears in form 1, which is actually submitted twice in English and twice in Russian. In one of the form, the budget splitting over three years is 41 mln+ 24,5 mln + 24,5 mln, in another form it is 30+30+30 mln. The former form has later date and may be considered as a new version. Unfortunately, in form 5 this is again 30+30+30 mln, but in form 7 - 41 + 24,5 + 24,5 mln . Such kind of inconsistencies makes evaluation of the project even more difficult"; b) "The proposal documentation include two different Forms 1. One of them contains request of funding splitted in three years as 41 MRUR, 24.5MRUR and 24.5MRUR, whereas another one: three times per 30MRUR. Moreover, the Form 5 presents “Research project implementation plan” based on budget distribution in the form of 30MRUR/year, whereas the Form 7 describes the “Research Project Budget” with 41MRUR spending in year 1 followed by 24.5MRUR spending in years 2 and 3".


То есть экспертам (иностранным) отправили 4шт формы_1: две на русском и две на английском как для Институтов, так и для Университетов!!! Нафига, извините? В результате эксперты просто не смогли провести адекватную экспертизу в части финансов. Плюс еще и в формах 5 и 7 данные повторяются (финансовые). Мы в полях, которые потом пошли в форму 7, поменяли данные уже перед отправкой, решили внести изменения, а в полях, которые пошли в форму 5, не обратили внимания, что тоже нужно синхронно менять в точности те же самые данные (нельзя разве там данные брать из одних и тех же полей?). И что-то еще из этого "улетело" в форму 1, даже не знаю из какой из этих форм. Частично наш собственный "косяк", конечно, но если так все неудобно сделано когда нужно многократно одни и те же данные вносить в разных местах, то никто от этого не застрахован особенно в режиме спешки. При этом, заметьте, каждая форма генерируется нажатием своей собственной кнопки. То есть если что-то где-то поменял (не в формах, а в данных, которые идут в формы-еще нужно предварительно  понять что куда пойдет из вносимых данных, поскольку конечные формы и формы для заполнения не соответствуют друг другу), то нужно сесть и 20 раз нажать на кнопки "перегенерации" (9 форм на русском и английском+ 2 формы для Институтов), ибо в противном случае нет гарантии что все данные обновятся. И так каждый раз при любом минимальном изменении. Бред в общем. . 

3) Совершенно неадекватно составлена форма с финансовым обоснованием (форма 5). В ней заполняется только финансирование от правительства, но туда нельзя вносить деньги, которые нам орагнизация обещала как софинансирование, иначе система не пропускала заявку из-за большего объема средств, чем максимально возможное. То есть в форме на сайте мы написали софинансирование, но в формах из комплекта документов этой информации нет (ни в форме 5, ни в форме 7). Мы расписали куда пойдут деньги от софинансирования в форме 8, поскольку в форме 5 этого сделать было нельзя, там не было поля для софинансирования, а в форме 7 эта информация с сайта просто не была добавлена, и у экспертов это, опять-таки, вызвало недоумение: 

а) "The co-funding contribution of the host organization (Siberian Federal University) is high (more than 50% from the requested grant support). Otherwise, the tasks attribution for this money is not explained as the Form 5 includes only the grant money spending explication and do not contain explications related to co-funding spending; b) The commitment of SibFU is very high. Among others, around 45 mln roubles will be added to the project budget. Unfortunately, it is not seen to which tasks of the project this money will be added. Indeed, Form 5, which is summarizing allocation of funds as related to the project tasks, contains solely main project budget and no any information about additional funding. Form 8 describes splitting of this funding by categories (e.g. 32 mln for salaries), however again does not provide any information about the relevance to particular project tasks. I can conclude once again, that this project is salary and not research oriented".

Заметьте, первый эксперт даже не заметил, что эта информация есть в форме 8. А во втором  комментарии кроме собственно непонимания куда пойдут деньги продемонстировано также непонимание экспертом российской специфики и неадекватное, на мой взгляд, понимание условий конкурса. У нас на зарплату запланировано было около 50% бюджета (по условиям конкурса на зарплату можно было использовать 60%) на порядка 40 человек. По сути это меньше чем требуется даже в ГЗ. Поэтому претензии эксперта просто не соответствуют условиям конкурса и здравому смыслу. Так что экспертам нужно четко объяснять условия конкурса, иначе вот такое пишут. При этом на зарплату у нас была взята ровно та сумма (даже чуть меньше), которую обеспечивал университет как софинансирование (вот они эти 32млн руб на зарплату), с тем, чтобы сохранить кадры когда грант закончится (университет обещал продолжить финансирование и после завершения гранта). То есть по сути у нас почти все деньги от самого мегагранта шли на оборудование и поездки. Эксперты вообще ничего не поняли из этой катавасии с формами. Мы также написали, что будем привлекать иностранных постдоков и аспирантов. На это эксперты напсиали, что уровень предлагаемых зарплат не позволит привлечь иностранных аспирантов. Полная ерунда. Я и без мегагрантов привлекаю в группу иностранных постдоков. Мы, конечно, не ориентируемся на европейских или американских постдоков, но китайцы, индийцы и иранцы и тп вполне заинтересованы ехать даже в Сибирь. И за куда меньшие чем в Европе деньги. Мы, конечно, не можем платить 2к евро постдоку. Но столько и не нужно как оказалось. Эксперты просто этого представить не могут? Или считают что международный уровень не может быть у китайцев? Или у китайцев, которые едут в Сибирь на зарплату меньше чем в Европе? Сочуствую им если так думают. Наверное такие спорные вещи они вообще не должны в качестве критериев оценки использовать, нет? 

Вообще экспертиза от двух иностранных экспертов, что видно даже из приведенных примеров (это, кстати, примерно половина всего их отзыва, остальное это в основном похвалы ведущему ученому и критика проекта в плане его слишком большой "широты" (мы охватываем своей командой очень широкую область связанную со спектроскопией на наноуровне- плазмоника, квантовые точки, фотонные кристаллы, апконверсия, резонансная рентгеновская спектроскопия для биофотоники, биосенсорика и оптическая биоизуализация-действительно широко, но мы это все делаем и большинство людей в команде вовлечены срау в несколько из этих направлений, к тому же многие методы пересекаются- возникает синергетический эффект при взаимодействии направлений и людей) наводит на мысль что писал их если не один человек, то, по моим ощущениям, люди, которые этот проект обсуждали, как будто под кальку замечания сделаны немного разными словами. Мне кажется это видно невооруженным взглядом аргументы просто один в один, это очень странное на мой взгляд совпадение. Злые языки, конечно, могут сказать, что раз 2 эксперта пишут одно и то же, то может быть действительно проблема есть. Я с этим могу согласиться только в плане "технических" несуразнсотей системы подачи заявок. Все остальные существенные вопросы экспертов снимаются после внимательного прочтения проекта и некоторого обдумывания предлагаемого. Вероятно чтение не было достаточно внимательным. 

Но основная проблема возникла из-за чисто технических и организационных вещей, которых в такого уровня конкурсах быть просто не должно, поскольку приводит к неадекватной экспертизе и случайному отбору, поскольку понятно, что кто-то этой проблемы счастливо избежал (особенно те, кто подавал не в первый раз), а кто-то с легкостью наступил на эти грабли.  

Еще один момент с экспертизой. По своим рецензиям я четко вижу, что эксперты оценивавшие проект достаточно узкие. Они не могут увидеть упомянутый выше синергетический эффект от взаимодействия научных направлений. Ничего почти в проекте нет насчет научной части проекта. Один, например, написал следующее: 

"The reviewer should not be necessarily an expert in any particular field of science to evaluate this project, as the project looks like a mixture of many highlights and keywords from modern nanoscience. The authors promised to do a lot of things in many different directions in only 3 years and simultaneously forgot to mention anything specific, any product which will be delivered at the end and can be evaluated as a particular success of this particular work".

Дело в том, что у нас проект действительно очень широкий и действительно закрывает большую часть научных областей в нанотехнологии, но, вероятно, эксперт не является экспертом ни в одной из них, о чем по сути честно и пишет. В противном случае он понял бы, что предлагаемое реально к исполнению и то, что в проекте есть очень четкие и конкретные вещи. Вплоть до протоколов. Ну как так можно читать? И это даже не обращая внимания на тот факт, что, по крайней мере как я это понимаю, мегагранты ориентированы даже не на получение какого-то конкретного продукта или технологии, а на создание научной и образовательной среды, которая в дальнейшем даст возможность проводить исследования на мировом уровне и, может быть (только может быть, потенциально) приведет к созданию каких-то технологий. Если у экспертов такого понимания нет и они ожидают что за 3 года мы выдадим какой-то продукт помимо публикаций или даже просто будем обещать какой-то прорывной научный результат, (хотя у нашего ведущего ученого есть мировой рекорд по преобразованию солнечной энергии в конверсионных приборах в ИК области и это тоже было частью проекта, был также еще ряд вещей, которые, если бы эксперты были внимательнее, означают получение очень сильных научных результатов-как минимум 2 результата мы так и так получили к концу прошлого года (Sci rep, вероятно Nat comm), но уже, увы, без мегагранта), то их, наверное, не стоит больше к экспертизе привлекать? Публикаций мы, кстати, обещали по 25-30 в год и минимум половину из 1-2 квартилей, и это более чем реально, мы и за меньшие деньги и более узкой командой почти столько выдаем (порядка 2.5 статей Q1 за год на сотрудника, в число которых включаю и аспирантов). Какой "результат" эксперту еще нужен или нужно пообещать, что мы получим какой-то сверхнаучный прорыв или технологию или даже процесс для технологии, за 3 года? Это ведь не вполне корректно такие обещания давать, нет? Да и не соответствует это все целям программы на мой взгляд. Ошибаюсь? В команде люди, которые имеют результаты мирового уровня, опубликованные даже в последние годы в журналах с импактами выше 20-30 (при среднем по области науки 1-2), несколько ппрорывных научных результатов за последние годы. Ребята, мы пишем что мы еще будем делать. Вероятность новых прорывов высока. Но обещать это никто не может и не должен. Я так думаю... 

4) В системе крайне неудобно вносить данные. Каждую публикацию нужно забивать отдельно. При этом для авторов, названия статьи, журнала, тома, номера, страниц и т.д там отдельные поля. В результате у меня аспирантка сидела неделю и забивала более 200 публикаций вручную, да еще как потом оказалось все было зря, поскольку система их "обрезала" (см. пункт 1). Нельзя разве по DOI или, например, по .ris файлу публикации вносить. Импорт данных из файла публикаций казалось бы несложное для программистов дело...

5) После нажатия кнопки "подписать" система не выдает ничего. Хоть бы написали "заявка принята", а то поседеть можно...

6) Перед конкурсом заявлялось, что экспертиза будет двухступенчатой, однако, по факту это было реализовано достаточно странно и, кстати, мне до сих пор не вполне понятно как именно это было реализовано. Изначально заявлялось, что на первом этапе будут оцениваться только показатели ведущего ученого. Это написано в конкурсной документации! Но Александр Львович выше написал, что проект уже на первом этапе оценивали 2 эксперта. Они оценивали ведущего ученого или проект? Если ведущего ученого, то какой смысл было всем писать полноценные заявки, если половина вылетело? Если оценивали уже сам проект, то это противоречит конкурсной документации, там было четко написано, что на первом этапе оценивается только ведущий ученый.  

Смысл двухступенчатой экспертизы не в том, чтобы облегчить жизнь чиновникам, а в том, чтобы облегчить жизнь участникам конкурса. После первого этапа "вылетело" 50% заявок. Им действительно нужно было писать полные тесты заявки? Это ведь огромные затраты времени. Или можно было ограничиться описанием ведущего ученого? 

Поэтому, я бы предложил  изменить систему подачи заявок и сделать ее реально многоступенчатой, так, чтобы людям не приходилось делать ненужную работу. Может быть даже 3-4 этапа сделать: 1) наукометрические показатели ВУ (отсечь скажем 70%), 2) "короткие проекты с формулировкой задач и заявляемыми целями и результатами" (еще минус 15%), 3) "оценка "программы развития (staffing plans)" лаборатории в соответствии с мировыми критериями" (еще минус 7.5%), 4) полный научный проект (отсекать только если совсем все плохо).  На первые 3 этапа дать 1-2 месяца. На 4й этап тоже 1-2 месяца, этого будет достаточно.  

7) Провести для экспертов и участников вебинар, на котором четко объяснить цели и задачи программы. Мне до сих пор непонятно является ли эта программа чисто научным проектом или это научно-организационный проект? На первый взгляд, если смотреть на цели программы, это все-таки больше научно-организационный проект (и мы об этом тут говорили), но после получения рецензий я засомневался.

8) Дать возможность апелляций, хотя бы с тем, чтобы отсечь неадекватных экспертов. Сейчас ситуация, насколько я понимаю, такова, что эксперты получают за экспертизу неплохие деньги и никто от экспертизы не отказывается даже не будучи экспертом. Когда я пишу "система апелляций" я имею ввиду облегчение подачи апелляции. В конкурсной документации это должно быть четко прописано, с адресами для связи и т.д. А по хорошему нужно организовывать взаимодействие между экспертами и заявителями. Многие вопросы можно было бы снять. Наверное это будет дороже, но при таких деньгах цена ошибки может быть еще более высокой- просто деньги на ветер. 

9) При этом по своим проектам я вижу, что эксперты не всегда понимают значительную часть проекта. По сути в наших рецензиях собственно о научной части не написано почти ничего. Только общие фразы, имеющие мало смысла. Наверное для экспертов нужно создать специальную форму, в которой они должны честно указать в каких из рубрикаторов проекта они являются экспертами. Грубо говоря если у меня в проекте стоит 5 кодов рубрикатора, а эксперт является экспертом только в одном из них, то этого недостаточно, нужно как минимум совпадение 3-4 кодов, а лучше всех 5. Если таких нет, то тут нужно думать что делать, поскольку мультидисциплинарные проекты явно проигрывают тем, которые нацелены на решение конкретных узких задач именно из-за экспертов, а решение узких задач это не самое лучшее вложение денег с точки зрения науки (зато может быть лучшее вложение с точки зрения технологий- но это уже последний пункт целей "программы").   

10) Мне непонятен еще один момент. В целях программы четко написано, что программа расчитана на привлечение ведущих ученых из-за рубежа. При этом если ученый уже состоит с какой-то российской организацией в трудовых отношениях, то он подавать не может. При этом, однако, он может быть ведущим ученым в другой организации. На мой взгляд здесь налицо противоречие: если он уже состоит в трудовых отношениях с организацией, то зачем его привлекать пусть и в другую организацию.  Это уже не привлечение, а перетасовка. Тоже дело нужное, но как это соответствует целям программы, там ведь четко написано о "привлечении", а не о мобильности? С другой стороны, чем плохо, если кто-то например приезжает читать лекции в Россию и таким образом трудоустроен по крайней мере на короткие периоды? Грант позволил бы человека привлечь еще и в плане научного руководства и дал бы возможность создать инфраструктуру. В общем масса противоречий в этом моменте.

11) поднимал по поводу РНФ вопрос по срокам отправки бумажных версий заявок. Считаю, что нужно смотреть по срокам отправки быстрой почты (DHL, например) на конверте, иначе дискриминация по территориальному признаку. То же самое и тут. А вообще хорошо бы и почту оплачивать победителям. И до момента подписания соглашения принимать сканы подписей, а не оригиналы. Или считать датой отправки заявки электронную версию и начинать с ней работать, и спокойно ждать когда придет бумажка. если это не противоречит законодательству, что возможно.

Есть еще много замечаний и предложений по экспертизе. Но это чуть позже. И так много написал.

Обсуждение продолжается!

Сергей Петрович, Ваши заметки очень ценны дл тех, кто готовит заявки на будущие конкурсы. Я бы, конечно, порекомендовал их где-то опубликовать, если время позволяет.

Я не могу обсуждать, тем более публично, прохождение отдельных проектов т.к. подписывал обязательство о конфиденциальности. Но общие рекомендации и тенденции я, считаю, обязан донести до потенциальных  участников новых конкурсов. Самые важные претензии и предложения  постараюсь донести до членов Совета по грантам, чтобы на их основе сформировать предложения по изменению условий новых конкурсов. Поэтому важно, чтобы здесь высказалось побольше участников прошедшего конкурса. Предлагаю до конца февраля обсуждать замечания и предложения, а потом подводить итог.

Претензии и апелляции  по результатам экспертизы регламентом конкурса не предусмотрены, но я советую писать о них по контактным адресам в МОН, тогда они попадут в правильное место. Регламентом и работой с экспертами занимается Конкурсная комиссия, а не Совет по грантам (дабы уйти от конфликта интересов). А организация-монитор (Инконсалт) только исполняет принятые решения. 

Не все замечания Сергея Петровича понятны. Что значит "является ли эта программа чисто научным проектом или это научно-организационный проект? " Это совсем не научный, а организационный проект.

Согласен, что процедура апелляции должна быть, но много от нее ждать не приходится.

Вебинаров не было, но семинары были. Но вебинары нужны, согласен. 

"Изначально заявлялось, что на первом этапе будут оцениваться только показатели ведущего ученого. " - да, так и было - это я уже запамятовал. Переход на полностью двухступенчатую экспертизу (писать сначала короткую заявку, потом длинную) обсуждался много раз, но отвергался, т.к. это удлиннило бы сроки экспертизы, а для хороших заявок их написание не упростилось бы. 

Число публикаций - не главный показатель. Он не входит в число целей 1-7. Поэтому не надо в заявке обещать десятки хороших публикаций - потом трудней отчитываться. Это - вечная ошибка участников и победителей. Лучше обещать прорывные результаты, а потом получать их.

Наконец, вопрос о соотношении зарубежных ВУ и "наших" - это деликатный вопрос. Да, цель №1 - привлекать зарубежных. Но участие "наших" не запрещено и в ряде случаев их заявки успешно конкурируют с другими. И потом, члены Совета - живые люди, со своими убеждениями. Большего сказать не могу.

Обсуждение продолжается!

Прорывные результаты

 

 Думаете Совет устроит "не самой прорывной"? А что это такое? Чем конкретно она отличается от "самой прорывной"?

 

Лучше обещать прорывные результаты, а потом получать их.

То есть, если эксперт напишет, что по его мнению обещанные результаты не являются прорывными, то это плохо, потому что непонятно что это такое. А если авторы напишут, то хорошо.  Вы не видите противоречия?

Может быть, я нечетко выразился

Тут нет противоречия. В КД нет ни слова про прорывные результаты - это я от себя сказал, чтобы идею пояснить. В КД требования минимальны. Но потом начинается конкурс. И из нескольких сильных проектов Совет должен выбрать самые сильные. Конечно, баллы, полученные от экспертов играют роль. Но есть еще заключения координаторов групп экспертов, дающие содержательный анализ заключений экспертов и свои предпочтения. И, члены Совета должны взвесить баллы экспертов, заключения координаторов и свои предпочтения. Уверяю Вас, довольно часто оказывается, что член Совета заглядывал в саму заявку, когда между экспертами и координаторами есть разногласия. Неформальное рассмотрение дополняет формальное. Это же правильно, как Вы считаете?

Орг. проект?

Это совсем не научный, а организационный проект.

Тогда "триада" имеет мало смысла. И противоречит вот этому высказыванию:

Лучше обещать прорывные результаты

В орг. проекте не обязательно должны быть прорывные результаты. 

обсуждался много раз, но отвергался, т.к. это удлиннило бы сроки экспертизы, а для хороших заявок их написание не упростилось бы. 

Упрощаете жизнь организаторам и усложняете заявителям. Половина проектов не была никем даже прочитана. Те кто не прошел 1й этап не люди что ли, их время не ценно, почему речь только о "хороших заявках"? Сколько на это времени люди угробили... 250  проектов коту под хвост, это 250, если не больше, рабочих месяцев. Более 20 рабочих лет!!! А скорее всего в разы больше. Если время людей не жалко, то Совету стоит подумать хотя бы о том, что это разбазаривание ресурсов, заявки обычно пишутся в рабочее время. 

Удлините сроки экспертизы. В мае объявите конкурс, 1 месяц на написание коротких заявок (май), 1 месяц на 1й этап экспертизы (июнь), потом написание проектов 3 месяца (июль-август-сентябрь), экспертиза - октябрь-ноябрь. До декабря вполне все можно успеть сделать, чтобы начать финансирование с января. 

Число публикаций - не главный показатель. Он не входит в число целей 1-7.

Дааа, сместились у нас понятия совсем. "Публикация" теперь не равно "научный результат". "Публикация в Q"1- не равно "прорывной научный результат". А я вот считаю, что статья это и есть научный результат. И число статей равно (или даже больше) числу научных результатов. А Q1 это уже научный результат мирового уровня. Поэтому когда я пишу в гранте, что мы напишем 30-40 статей, и из них половину в Q1, то я имею ввиду что будет получено 30-40 научных результатов и минимум половина из них будут на высоком международном уровне. А если человек обещает 1-2 статьи, то сколько у него будет начных результатов? В чем я не прав?

Да, цель №1 - привлекать зарубежных. Но участие "наших" не запрещено

Не запрещено кем? В Постановлении о конкурсе нет ни слова о "наших". Цели программы четко сформулированы. Практическая реализация конкурса, на мой взгляд, противоречит Постановлению. Причем тут убеждения "живых людей"... Привлекать "зарубежных и соотечественников" это не цель №1, это единственная цель если речь о ВУ. Или я как-то неправильно читаю постановление? Совету по мегагрантам, наверное, стоит подумать о том, что он, может быть, реализовывает какое-то другое постановление.

И чтобы не было ощущения, что я против "наших". Нет, не против. Но это должен быть другой конкурс, с другими условиями. РНФ что-то подобное уже делает. И ясно, что срок пребывания в организации не должен быть кратким: хочешь делать новую лабу- езжай и делай. А не так, что там 3 дня, там 3 дня (наверное и по 3 дня можно, но не за такие деньги). С иностранцами другая история и сроки пребывания для них были сделаны потому, что на полный срок за такие деньги к нам мало кто поедет из мировых ТОП-ВУ. Они и на короткие-то сроки не особо стремятся судя по именам. Реально работающих ТОПов в мегагрантах очень мало.

! яростно плюсуем

думаю, что многие под этим подпишутся - и под просьбой реального разделения конкурса на 2 этапа, и под тем,  что: 

на полный срок за такие деньги к нам мало кто поедет из мировых ТОП-ВУ

у топовых активных западных ученых просто нет на это времени...за редким исключением, как пример  - интересна Россия как объект исследования).

И на фоне этого  несколько странным выглядит ограничение - отсутствие трудовых соглашений ВУ с приглашающим вузом в течение нескольких предыдущих лет...мало что повести за не очень большие деньги 4 месяца в чужой по сути стране, так еще и провести их с малознакомыми людьми в малоизвестном учреждении?

 

Чтобы расставить точки

Я не могу обсуждать, тем более публично, прохождение отдельных проектов

Чтобы была понятна моя мотивация: я не ждал, что именно этот проект будет обсуждаться, мне это совсем неинтересно. Не получили, значит так "карты легли" и так тому и быть. Выдержки из рецензий приведены исключительно для иллюстрации. Вещи, которые я описал общие и системные. Это был уже 5й конкурс, а тем не менее ничего толком не организовано даже с формами заявок. Я уж не говорю про то, что эксперты похоже не понимают, что это орг. проект (как Вы говорите).  А не научный проект. Возможно, кстати, что у других членов Совета и тем более у экспертов совсем другое мнение, иначе откуда эта "триада", какой в ней смысл? Определитесь уже в Совете что это за программа, определитесь с критериями и озвучьте их заявителям и что еще важнее озвучьте их экспертам... Пусть пишут в рецензиях баллы как они есть в конкурсной документации= это позволит избежать многих ляпов и даст основания для апелляций, а так и  оснований почти нет. Есть большая разница между написанием научного проекта типа РНФ, но с бОльшими деньгами, и написанием орг. проекта.

Нельзя ли поконструктивнее?

Я перечитал фразы на которые я вроде бы должен отвечать

 система отвратительная, ... она приводит к несуразностям, которые делают экспертизу полностью неадекватной.

 Совершенно неадекватно составлена форма с финансовым обоснованием

эксперты оценивавшие проект достаточно узкие.

ничего толком не организовано даже с формами заявок

Честно говоря, в таком тоне отвечать мне трудно. Если экспертиза ПОЛНОСТЬЮ неадекватна, и мы будем предлагать ее ПОЛНОСТЬЮ переделать, то, боюсь, нас никто не станет слушать, т.к. мы будем от обычных людей требовать невозможного. А решать неразрешимые задачи желания ни у кого нет. То есть, если мы хотим, чтобы наши предложения кто-то рассматривал, то не надо начинать с того, чтобы этого кого-то бить по голове. Может быть, этот кто-то старался, и надо сначала понять, почему у него не получилось? 

В частности, отвечая на вопрос Сергея Петровича

Мне до сих пор непонятно является ли эта программа чисто научным проектом или это научно-организационный проект? 

я написал, что программа - организационный проект, имея в виду программу мегагрантов. И только по реакции Сергея Петровича я понял, что вопрос был не про программу мегагрантов, а про заявляемые проекты. Думаю, что тогда ответ очевиден.

 Аналогичный случай с вопросом про приглашение иностранцев и наших. В КД все прописано: и то и другое легитимно! Но критерии в обоих случаях - международные. Если ученый с мировым именем из Москвы поехал в Омск или Якутск, и там есть сильные люди, готовые научиться и выполнить проект, то что плохого? 

В общем, просьба продолжать в более спокойных тонах и выделить сначала 2-3 главных предложения, не требующие ломки всего процесса. Тогда будут шансы, что нас услышат и что в этой дискуссии есть смысл.

Предложения 1: Формы

Я уже описал проблемы с формами вполне конструктивно и написал каким образом они приводят к ошибкам в экспертизе на конкретных примерах.

Повторю кратко что, очевидно, нужно сделать чтобы избежать этих ошибок в будущем. 

1) сделать "вилку" форм для институтов и университетов в самом начале- просто поставить переключатель, университеты будут попадать на один набор форм, институты на другой. Причины необходимости ввода такого свитчера я описывал: эксперты получили 4 формы 1, по 2 штуки на русском и английском. Эти формы могут и не совпадать по финансам-зависит от того обновлялись ли после всех изменений данные во всех этих формах или только в тех, что относятся либо к институту, либо к университету. Либо кто-то должен следить, чтобы экспертам отправляли правильные формы и не отправляли лишние. В том числе вряд ли нужно отправлять иностранцам формы на русском.

2) повторяющиеся данные в полях на сайте, относящихся к формам 5 и 7 не должны вноситься 2 раза. Это очень усложняет контроль ввода данных и затрудняет анализ бюджета экспертами. 

3) должна быть сводная форма по бюджету с софинансированием. Сейчас такой общей формы нет, хотя данные по софинансирования вносятся в полях на сайте относящихся к форме 5, но в самых формах не появляются нигде, и по крайней мере иностранные эксперты не понимают как распределяется бюджет. В частности один из экспертов похоже посчитал зарплаты не принимая во внимание данные по софинансированию (где и были почти все деньги на зарплаты- данные могли быть только в форме 8, мелким шрифтом в сплошном тексте без форматирования!!!), и сказал, что такие мизерные для международной лаборатории зарплаты это бред ( ridiculous)(хотя там ещё один момент есть, связанный с диапазоном зарплат, который нужно было указывать- возможно просто непонимание экспертом российских реалий-пояснения нужны?). Сейчас финансовые данные разбиты на 5 форм: формы 1a, 1b, 5, 7, 8!!! Плюс иностранцам отправляют ещё 5 штук на английском. Вероятность ошибки при таком разбросе данных по разным но по сути связанным формам очень высока как для экспертов, так и для заявителей.

4) привести форму 8 в человеческий вид: сейчас любой форматированный текст в ней превращается в текст без форматирования, даже абзацы исчезают-сплошной текст. А это очень важная форма, в которой указывается и софинансирование и планы развития. Она совершенно не воспринимается. 

5) исправить ошибки формы 2: публикации ВУ обрезаются при числе публикаций выше 100-102. Эксперты их не видят (либо я должен предположить что как минимум иностранные эксперты были невнимательны) и это приводит к снижению оценок. Либо внести изменения в конкурсную документацию,- например ограничиться 10 ключевыми статьями.

6) в форме 2 предусмотреть возможность импорта публикацийж из файла или хотя бы изменить ее так, чтобы не нужно было вносить все данные в разных полях (сейчас есть отдельные поля для авторов, названия работы, года, тома и тд). 

7) сделать все формы независимыми, чтобы изменения в одной форме не приводили к изменениям в других- проконтролировать при таком подходе что и где поменяется весьма непросто.

8) предусмотреть кнопку для перегенерации всех форм, чтобы не жать 18 кнопок. 

9) предусмотреть уведомление в системе и на почту о том, что заявка отправлена и принята к рассмотрению.

В принципе это все должно было быть сделано уже давно и, наверное, кто-то уже должен был это протестировать. Проблема даже не в том, что заполнение заявок неудобно для заявителей, а в том что это приводит к неадекватной экспертизе-эксперты не в состоянии разобраться ни с финансами, ни, в некоторых случаях, с публикациями. А это очень важные вещи. 

Если сейчас начать работу по формам, то к маю вполне можно успеть.

Предложения 2: Оценка коллектива

вопрос был не про программу мегагрантов, а про заявляемые проекты. Думаю, что тогда ответ очевиден.

Ответ не очевиден. Вы, я так понимаю, хотите сказать, что заявки это чисто научные проекты. Но это плохо согласуется с целями программы. По сути научный проект это лишь одна из семи целей программы, озвученных Вами. Остальные 6 пунктов это в большей мере как раз организационные вещи. И эти 6 вещей почти никак не представлены в "триаде". Более того, они ей частично противоречат. Например, второй пункт "триады" "сильный коллектив, куда приходит руководитель" не совсем корректен. Поскольку есть пункты 4, 5 целей "Программы": 04  создание условий для улучшения качественного состава научных и научно- педагогических кадров, эффективной системы мотивации научного труда; 05  стимулирование притока молодежи в сфере науки, образования и высоких технологий; То есть изначально коллектив не обязан быть таким уж сильным, поскольку это цель программы создать такие коллективы, а не требование программы иметь сильный коллектив на начальном этапе. Очевидное противоречие насчет коллективов, на мой взгляд. И, тогда понятно, что Ваши слова в начальном посте о том, что в "триаде" "В критериях 1) и 2) наукометрия допустима" может быть  тоже не очевидны в пункте 2. Коллектив можно оценивать только после выполнения проекта, либо можно оценивать только планы по созданию коллектива и только в таком контексте оценивать и сам коллектив, который "будет создаваться". 

Также нужно растолковать экспертам, что основой коллектива все-равно должны стать люди, которые уже работают в организации. У меня эксперт объявил, что недостатком проекта является то, что в проекте поддерживаются ППС уже имеющиеся в организации (причем он признает что большая часть из них выше среднего уровня).Можно, конечно, набрать совсем новых людей, но сложно себе представить что приедут скажем 15-20 новых человек и за 3 года что-то сделают. Да они год-два разбираться будут куда они попали... Конечно, если коллектив уже и так вполне сильный, то развитие будет минимальным.  А другим недостатком эксперт назвал, что имеющийся коллектив усиливается приглашенными людьми, вроде как это некорректно. Куда податься бедному ученому. И так плохо и этак: и своих нельзя брать и приглашать нельзя... 

Поэтому Предложения 2: 

1) Внести в КД слова о том, что оцениваться будут "перспективные коллективы", то есть те коллективы, которые будут способны решать поставленные задачи, вне зависимости от того, будут ли привлекаться новые люди, или они уже есть в организации. В принципе это уже есть в том или ином виде в КД, но тогда нужно:

2) разъяснить экспертам этот момент и сделать этот момент более четким в КД.

мегагрант - это научно-организационный проект
Вы, я так понимаю, хотите сказать, что заявки это чисто научные проекты. 
Нет, я хочу сказать, что мегагрант - это научно-организационный проект. Надо создавать новую успешную лабораторию, а это оргработа.
 
С "триадой" это согласуется. Коллектив не должен быть очень сильным, но и слабым не должен быть. В КД, п.14.4 есть про это. Как часто говорят в Совете "нельзя приглашать Гуса Хиддинка тренировать  дворовую команду." 
 
Коллектив можно оценивать только после выполнения проекта,...
Не согласен. ВУ должен начинать работать в коллективе, ГДЕ ЕСТЬ ЛЮДИ, УЖЕ публиковавшиеся в приличных журналах, т.е. знающие как писать статьи в такие журналы. Хотя, конечно, не обязательно в Q1.
Т.е. оценивается не коллектив, а ключевые люди, их может быть 3-4 всего. Всех аспирантов и не надо включать в коллектив - их потом набирать можно. Думаю, что эксперты это должны понимать.
 
А другим недостатком эксперт назвал, что имеющийся коллектив усиливается
 приглашенными людьми, вроде как это некорректно. Куда податься бедному ученому. 
И так плохо и этак: и своих нельзя брать и приглашать нельзя..
Да, это уже перебор. Но может быть, просто у Вас был слишком большой коллектив в заявке, да еще каких-то сильных пригласили? На все случаи жизни инструкцию не напишешь...
 
Украине ученые важнее?

Почему Украина тратит на академическую науку бóльшую долю ВВП, чем Россия

https://www.gazeta.ru/science/2017/02/05_a_10510685.shtml

Если России нужна продуктивная и конкурентоспособная фундаментальная наука, необходимо уже в ближайшие годы начать выделять из федерального бюджета на ее финансирование средства, в отношении к ВВП сопоставимые хотя бы с Грецией, Польшей, Португалией и пр., а в качестве долгосрочной цели установить уровень в 0,35–0,4% ВВП.

Страницы