Что губит российскую науку и как с этим бороться
В новом номере ТрВ вышла статья академика РАН Георгия Георгиева (стр. 6-7): http://trv-science.ru/2015/12/22/pdf194/#respond
Что губит российскую науку и как с этим бороться? Часть II
Георгиев поднимает много очень серьезных проблем и предлагает решения, с которыми можно соглашаться или нет, с чатью, по крайней мере. Но он едва ли не единственный говорил и продолжает говорить о проблемах работы в области молекулярной биологии, что имеет отношение не только к собственно фундаментальных работам по молбиол, но и ко всем областям биологии и биомедицины, где используются молбиол методы, а это как раз самые прдвинутые области.
Речь идет о КАТАСТРОФИЧЕСКОМ положении в частности с реактивами, без которых просто НЕ ВОЗМОЖНО работать. Изменение курса рубля привело к удоражанию реактивов, работа по грантам рассчитана была на весь объем, а сможет закупить реактивы на (много) меньшую сумму. Как быть с отчетом?
Проблемы с таможней - там еще увеличивается стоимость плюс долго и часто не правильно хранятся реактивы, например антитела (они очень дорогие). В результате люди получают испорченные полностью реактивы. При этом если работа по гранту НЕ выполнена, грантополучатель обязан ВЕРНУТЬ деньги. Как, с чего их возвращать, если они потрачены на испортившиеся реактивы, с мизерной базовой зарплаты?
Предлагаю каждому попробовать поставить себя на место такого грантодержателя, которому предлагают ВСЕ предусмотреть - доставку каждого реактива в частности, а их не один и не два - много необходимо разных и постоянно угрожают, что если не предусмотрит и не сделает, то должен вернуть деньги с гранта.
Что будет в результате такой ситуации и постоянных угроз? Люди или не будут вообще писать заявки на гранты со сложной работой по современным (даже самым современным) методам для которых нужны такие реактивы, а значит и не будет публикаций по этим областям исследований. Или будут сложную экспериментальную часть стараться делать за границей и только те, у кого есть такая возможность (а она есть далеко не у всех). Но тогда эти современные методы НЕ будут развиваться в России. И надо учесть, что именно такие работы с такими методами можно опубликовать в приличных зарубежных журналах и рассчитывать на цитирования. Ну тогда привет молбиол в России, ее НЕ будет. Совсем
гранты и отчеты
Отчет писать - не велика работа,
Когда все сделано с умом.
И радость будет - от отчета,
Ее сдержать - и то с трудом.
Смотрите, вот, мы показали:
И то, и это, и про то,
Всему мы миру доказали,
И даже опубликовали...
Увы, все это был лишь сон.
Приснились дали голубые
Открытий значимых полны,
Журналы зарубежные
Цветные
И конференции
Международные
Большие,
Импакт,
Цитаты
И хирши.
И творческий полет:
И то, и это
Мы сможем сделать,
Сможем показать...
Возможностям предела нету,
Да хоть луну с небес достать!
Реальность же печальна
И жестока:
Того нет, этого
И это не пришло,
У реактивов вышли сроки,
Их только выбросить.
На этом все.
Конец импактам и журналам,
Конец всем творческим полетам.
Полеты все во сне остались,
В реальности - пора отчетов.
Домокловым мечем
Висит угроза:
Вернуть все деньги,
Что потратил.
Ты отвечал за результаты!
Вот только грант -
Что "кот наплакал".
Предусмотреть все было надо:
Курс доллара, рубля и нефти,
Военные конфликты все в придачу,
Ремонты, переезды, встречи...
ТЫ ВИНОВАТ и не учел все это,
Оставь во сне свои полеты!
Планировать всегда все надо,
Запомни навсегда - важней ОТЧЕТЫ!
Как совместить полет с отчетом
Лишь остается вопрошать.
Пришла пора писать отчеты
И нужно их идти писать
К сожалению, всё так и есть
и никаких перспектив на улучшение ситуации не предвидится. Лично я для себя нашёл выход из положения в виде официальной работы вне науки (ради зарабатывания средств на жизнь) и написания высоко цитируемых обзоров по своей тематике, используя самые современные результаты, полученные в ведущих лабораториях мира. Ни коим образом не считаю своё положение идеальным, однако, от всей бюрократии и прочего около-научного маразма я полностью свободен и на 100% занимаюсь только тем, что мне интересно. Страдаю только от неучастия в конференциях, ибо мои доходы не позволяют оплатить участие из собственного кармана, а заявки на гранты я подавать не имею права ввиду непринадлежности ни к какой научной организации.
а разве это справедливо?
именно привязка к ведомственной принадлежности убивает массу полезного. Поулчается, пока ты в правильной организации работаешь - ты умный, как перешел куда-то не туда - сразу компетенции потерялись.
Так все-таки стоит устранять эти барьеры - нужно давать гранты без учета ведоственной принадлежности (только уровень заявки и заявителя долны быть опереляющими). Я, например, знаю двух самых знающих и цитируемых исследователей в своей области и обоих в свое время ушли из их НИИ. Почему же специалисты самого высокого уровня (более компетентные чем я) лишены возможности продолжать исследования? Давайте какое-нибудь письмо от ОНР подготовим.
про тех, кого "ушли"
Нужно имена называть, иначе как понять кого "ушли"? На старм scientific писали, что у нас типа "аморальное большинство". Хороших людей много. У нас большинство - молчаливое.
А если кто-то что-то говорит (да еще и под ником), то "завообще" , при этом имеет ввиду конкретную ситуацию и конкретных людей. А поскольку имена этих конкретных не называется, то пятно ложится НА ВСЕХ, поэтому и "кризис репутаций"
не уверен
все-таки не очень хорошо без спроса выкладывать имена людей.
Финансирование по результатам
Вообще говоря, мне кажется, что финансирование по результатам, предложенное в другой ветке, в которой я не могу ответить, кажется очень даже разумным. Не буду писать почему, так как это хорошо изложено Чеботаревым. Приведу только пример реализации подобной идеи в Польше.
По результатам работы за год сотрудники предъявляют список публикаций. Согласно известным правилам за публикации начисляются пункты. Есть списки журналов, отнормированные для различных областей науки. В соответствие с набранным количеством пунктов, например, кафедра университета получает ДОПОЛНИТЕЛЬНОЕ финансирование от министерства. Которое может тратить на конференции и тому подобное.
Виктор Анатольевич, а почему
Виктор Анатольевич, а почему не удается написать в другой ветке? Что происходит?
Все хорошо
Просто не члены ОНР не могут комментировать форумы ОНР, извините за неудобства.
Ну а еще добавлю, что читал Соколова :)
желательно указать отличие от известных схем
Во-первых, согласен что основным критерием должны быть не прожекты, а достигнутые результаты. Для прикладных направлений наверно можно как-то оценить перспективность проекта, для теоретических это гораздо сложнее. В математике о сравнительной перспективности направлений могут квалифицированно судить только люди уровня Колмогорова.
Однако, непонятно чем предлагаемая система оценки лабораторий отличается от известного ПРНД. Тем, что применение ПРНД зависит от произвола администрации института? А смысл предложения Чеботарева в непосредственном финансировании ФАНО отдельных лабораторий?
ПРНД с человеческим лицом
Может, Павел Юрьевич не согласится, но мне эта схема представляется как логическое продолжение ПРНД. Раньше спускали в НИИ на стимулирующие выплаты какие-то суммы , никак не связанные с результатами, за которые эти суммы получались. А предлагается спускать столько, на сколько наработано результатов, т.е. оплата по труду.
Да, вроде бы так и надо, но как это организовать? Есть две проблемы: 1) убедить распорядителя средств платить пропорционально рассчитанным баллам и 2) договориться о том, как рассчитывать эти баллы. Обе проблемы трудны, если вообще разрешимы. Пример: ФАНО спускает в конце года денежки на стимулирование, но никто не знает, что именно они стимулируют. Все дальнейшее обсуждение бессмысленно, пока мы не узнаем у ФАНО, как они рассчитывают эти деньги и готовы ли они принять другие правила расчета.
Может, разделить проблемы?
Как ФАНО рассчитывает деньги и как распределяет, это конечно важно и даже интересно. Но может случиться и так, что просто остались какие-то деньги и их надо было потратить. Ну вот и потратили, разделили "поровну", "по-братски" или как-то еще.
Но внутри организации мне казалось, что можно договориться, как и кого стимулировать. Что и кого надо, а не подстраиваясь под идеи или их отсутствие у ФАНО прочего начальства.
А как и кого надо стимулировать?
О, Виктор Анатольевич, Вы недооцениваете проблему. Если бы в каждом институте все одинаково понимали, как и кого надо стимулировать, то еще в 2006 году ПРАН договорился бы с МОН, пилотный проект реформы РАН закончился бы триумфом и реформа 2013-го пошла иначе или не пошла бы совсем. А когда МОН продавил ПРНД, установивший достаточно жесткие правила стимулирования, с приоритетом на импактные публикации, ПРАН, вместе с Советом директоров институтов РАН, взяли курс на саботаж и к 2009 году в большинстве институтов РАН с ПРНД было покончено. Правда, МОН тоже внесло в это свой вклад, т.к. денег конкретно на стимулирование согласно ПРНД ни разу выделено не было. Сейчас, казалось бы мир переустроен, МОН и ПРАН от руля отстранены, ФАНО стимулирует институты напрямую, но корень зла не вырублен: условия 1) и 2) не выполнены. В ИПМаш РАН в конце 2014 года, когда вдруг из ФАНО свалились денежки и надо было их делить, стали думать, как это сделать. На совещании у директора несколько человек, включая меня, спрашивали: что стимулирует ФАНО? Дирекция неуверенно ответствовала: публикации в Web of Science, Scopus. После этого стало ясно, что придется делить деньги между лабораториями пропорционально числу этих публикаций. На дальнейшее духу и времени уже нехватило и было решено отдать на усмотрение завлабов. После этого я спрашивал - на форуме и в рассылках: как в других институтах делили. Оказалось, что у всех делили по-разному. В лучшем случае - считали что-то типа ПРНД.
Очень интересно узнать, как все происходит сейчас, в конце 2015 года. Похоже, что снова ни верхи не хотят, ни низы не могут "договориться, как и кого стимулировать."
А Вы говорите...
Проблем море
Ну почему же недооцениваю, все может быть даже хуже. Александр Львович, говоря о том, что внутри организации проще договориться, я как раз и имел ввиду ИПМаш РАН как вполне нормальный институт. Распределение за публикации выглядит вполне разумно. А так, суммируя за прошлое время, я уже сталкивался с методами решения внезапно свалившихся денег следуюшими способами:
1) Отдать "молодым", поделив между ними поровну.
2) Отдать в основном все начальнику, ибо это он все пробил и ему надо.
3) Собрать собрание аксакалов, которое поделит все между собой.
4) Поделить поровну, иногда выбросив из равных кого-то, например, совместителей.
5) В ПРНД в качестве дополнительного параметра ввести публикацию тезисов, например 2 балла по сравнению со статьей в ПММ оцениваемой в 6 баллов, публикацию отчета, публикацию со студентом, и прочая, прочая. И в результате львиную долю ПРНД вдруг забирают люди, опубликовавшие за год более ста тезисов.
6) В качестве параметра ввести импакт-фактор журнала без оглядки на "энтомологов/агрономов/математиков", например, у кого меньше 2, денег не давать - в результате все забирают химики с физиками. Милое решение в мультидисплинарных институтах.
Ну и если порыться в памяти, то найдутся и другие "решения".
На а что и как делать осмелюсь предположить следующее. Примем как основную гипотезу, что должны стимулироваться научные результаты человека плюс его участие в продвижении института. В чем они проявляются:
1) В публикации статей в импактных журналах, например, по квартилям. Внутри конкретной дисциплины как-то можно договориться, как делить и сравнивать журналы. Особенно если учесть, что теоретически правительство хочет скопусов. Если не журналы, то труды конференций, атласы, словари, монографии и так далее, в зависимости от специфики науки.
2) Защиты диссертаций, как своих, так и учеников. Защитившемуся - премию. Руководителю - тоже.
3) Получение грантов. Если человек получает гранты от внешних фондов, значит можно надеятся, что он проходит какие-то пороги и его можно поддержать дополнительно. Особенно если учесть уровень оплаты гратов по РФФИ.
4) Выступление на конференциях в качестве пленарного-ключевого и т.д. докладчика. Желательно зарубежных, потому что на внутренних в качестве пленарных докладчиков обычно/часто выступают сами знаете кто.
5) За организацию конференций. Ну опять же, за реальную организацию, а не свадебным генералам.
6) За членство в редколлегиях журналов, входящих в некий топ.
Ввести рейтинг, основанный на подобных показателях. 80% распределять согласно ему, а 20% согласно решениям завлабов для учета неучитываемого показателями.
Ну вот какое-то идеалистическое видение предложил.
Отличие от ПРНД в способе оценки.
Как убедить и кого - вторая задача. Мы вообще не знаем, долговечно ли ФАНО...
И нельзя ли эту ветку обсуждения перенести по назначению?
В двух словах отличие в том, что...
... ПРНД - подсчет количества, часто приносивший космичекие очки графоманам, а предлагается экспертная оценка качества. Вопрос о сравнении с ПРНД, конечно, напрашивается.
Коллеги, а не удается обсуждать текст под ним самим?
давайте определимся с целью
если цель - увеличить уровень заработной платы у хороших ученых за счет плохих ученых то мы приходим к вопросу - это стоит делать внутри институтов или делить на хорошие институты, хорошие науки и "наказывать" всех остальных?... Или это вопрос руководства НИУ в сочетании с политической активностью сотрудников - как начальство выбрали - так и получили. Вероятно было бы правильно увеличивать и уменьшать доп. финансирование пропорционально приросту или убыли показателей по сравнению с предыдущим годом - здесь мы придем и к мотивации коллектива-руководства создавать условия для роста финансирования и уйдем от необходимости высчитывать фоновые уровни по формальным показателям для разных наук.
Для выполнения исследований нужен энтузиазм (а он мало соотносится с оплатой труда) и реактивы, приборы, экспедиции. Финансирование этих статей расходов в меньшей степени интересует случайных людей, поэтому остается вопрос - как повысить эффективность финансирования для реального повышения эффективности научных исследований. Вот здесь мы возвращаемся к вопросу - как повысить эффективность воплощения наиболее переспективных научных идей (прожектов).
1. необходимо не увязывать оплату труда и финансирование затрат на приборы, реактивы и прочее - по крайней мере люди озабоченные только зарплатой перестанут приобретать ненужные им приборы (которые смогут получить люди озабоченные реализацией своих идей).
2. мне импонирует подход минобра при проведении ФЦП - они собирали предложения по тематикам лотов ФЦП. Другой вопрос - это требует усилий и мотивирует писать предложения только будущих получателей финансирования. Вот если оплачивать такую работу - например исследователь предложивший хоршую научную идею, обосновавший перспективную тему НИР должен получить некую премию (или хотя-бы в отчетности НИИ собирать данные по такой активности).
Первая простая цель -
Первая простая цель - внедрить естественный способ расширенного (т.е. не уравнительного) финансирования - НЕ грантовый.
Чтобы сделать это осмысленно, нужна внешняя экспертная оценка, а не библиометрический индекс, т.к. самый эффективный способ "сделать себе библиометрию" - делать именно библиометрию (а не науку). Во всяком случае, во многих областях исследований.
Экспертную оценку естественно проводить на уровне лабораторий (и рабочих групп, если в лаборатории их несколько). Можно одновременно смотреть, что произошло с колективом за последние годы: развивается он или деградирует.
Согласен, что не нужно смешивать зарплату и материальное обеспечение исследований. Без второго многие науки не сдвинешь, но и без первого они умрут из-за отсутствия молодежи. Первое должно обеспечиваться в основном через оценку по результатам, второе - и через этот механизм, и через гранты.
это не цель, извините
или не должно быть самоцелью всякие бюрократические действия. Цель, в вашем случае, экономически мотивировать наиболее активных сотрудников или, более абстрактно, - повысить уровень справедливости вознаграждения за труд (не уверен что это будет иметь какое-то отношение к эффективности научных исследований, скорее повысит количество склок между исследователями).
хорошо что мы пришли к консенсусу по зарплате и мат обеспечению вопрос в том - какие механизмы могли бы быть в плане того и другого? Если мы будем поддерживать коллективы имеющие хорошие результаты (в т.ч. за счет наличия необходимого оборудования) и "наказывать" неэффективные коллективы не предоставлением материального обеспечения (а часть коллективов неэффективна именно по причине отсутствия необходимых ресурсов) то не снизит ли это все эффективность финансовой поддержки? Ведь нет линейной зависисости между вложениями в науку и научным выхлопом. Эффект насыщения уже имеет место быть в некоторых лабораториях.
Нужно как-то выявлять перспективные лаборатории и с помощью экспертов все-таки обеспечивать им необходимую ресурсную базу (пусть не зарплату).
если ставить цель - увеличение количества хороших научных работ востребованных научным сообществом (цитируемых) или промышленностью (внедрение где-либо в т.ч. и не в нашей стране) то, наверное, это можно разбить на этапы
1 увеличить количество хороших и гениальных научных идей
2. увеличить эффективность отбора, поддержки и комбинирования лучших научных идей
3. повысить эффективность реализации научных проектов (финансирование, мобильность кадров, доступ к ресурсам)
4. повысить эффективность внедрения и распространения успешных проектов (повышение общей публикационной активности) всякие инновационные штуки
Именно для этого, вероятно, - гранты.
Василий Николаевич, цепочки целей можно строить по-разному, даже имея в виду примерно одно и то же, здесь трудно добиться однозначности в формулировках.
Но Вы выделили важную проблему - низкой эффективности работы коллективов в силу недооснащенности. Видимо, решать ее удобнее всего посредством грантового механизма: если заявка интересна, реалистична и демонстрирует достаточно высокую квалификацию соискателей, они должны иметь хорошие шансы получить грант, обепечивающий материальную сторону заявленной программы.
только если шанс получить грант
настолько высок чтобы реально работающий ученый мог расчитывать регулярно получать гранты, либо участвовать в них. Гранты дают по модным направлениям и если ты аграрий то можешь хоть на изнанку вывернуться но в РФФИ нет даже такого раздела наук...
Прелесть обсуждаемого здесь подхода в том что при правильном и честном регулировании можно увеличить поддержку ВСЕХ активно работающих ученых (в ущерб неактивным). Например, прирост показателей мог бы служить поводом увеличения именно материальной поддержки на приборы реактивы (уменьшение - наоборот). Пока есть прирост - поддерживаем. Закончился прирост - закончили поддержку. Понятно что лаборатория забитая приборами и реактивами под завязку скорее всего будет иметь большее количество публикаций и является ли это поводом покупать такой лаборатории приборы которые даже поставить будет некуда? Это как в свиноводстве - стараются подобрать такое количество питательных веществ в корме чтобы была максимальная продуктивность (за оптимальные затраты) действительно - более продуктивные свиньи получают более питательный корм, но как только увеличение питательности перестает давать прибавку продуктивности эту питательность перестают увеличивать. Иначе свинья просто отравится. А у нас я пока не вижу механизма регуляции. По примеру Курчатника и сколково и ВШЭ мы знаем сколь много можно скушать. Однако стоит уже размышлять и о вреде, токсичности излишних ресурсов. эТо ведь развращает, система становится неустойчивой к кризисам и негибкой.
Кстати в отличие от зарплаты - приобретение приборов можно увязать с последующим научным выходом (или обеспечением доступа коллег и др.) и, в случае неуспеха, оборудование может быть передано другому научному коллективу т.е. шансы на достижение высокой эффективности финансирования - выше. Предлагаю в РФФИ увеличить количество баллов за отказ от зарплаты в пользу приборов-расходных материалов, зарплаты для коллег из посторонних организаций.
к вопросу о грантах?
РФФИ загадочная структура.
мы с моими коллегами подали 5 заявок в РФФИ и продули, бывает. Очевидно что если из более 40 проектов выиграно теперь уже 4 то выжить никак не получится т.е. мы обречены тратить большую часть рабочего времени на ненаучную деятельность чтобы на заработанные деньги делать науку в оставшеес врямя. Будем ли мы конкурентоспособны? (если нас сравнивать по общим формальным критериям со всякими физиками - нет, наверное). С другой стороны только в этом году и только на одной птицефабрике я предотвратил ущерб на 180 млн рублей (по расчетама специалистов самой фабрики) две из трех проблем были весьма новыми и решение этих проблем обладало научной новизной, предварительно были проведены научные исследования в т.ч. фундаментальные. в процессе таких работ мы получили около 30 тыщ рублей из которых большая часть ушла на реактивы и в институт.
Зато одну заявку на базе моей работы и предыдущей заявки одна моя коллега из бывшей РАН и выиграла. теперь мне надо будет выполнить этот проект :) Чем спрашивается заявка написанная мной как человеком сформировавшим научный задел и основным исполнителем хуже заявки переписанной моей коллегой? Учитывая что у девушки и профиль работ мягко говоря другой?
или вот вполне позитивные отзывы по проекту, спрашивается почему тогда не дали?
про РФФИ
Василий, спасибо, что вы привели результаты экспертизы (это конфиденциальная инфрмация, полагаю, что она приводится по решению самого автора заявки). Не имея возможности видеть заявку полностью трудно сказать почему грант не поддержан ("почему не дали").
Насчет того, что РФФИ - загадочная структура, обсуждалось ранее. В частности, я писала, что хорошо бы бы было иметь возможность общаться с координаторами направлений ( а не только с автоматической безличной системой КИАС).
За несколько дней до дедлайна подачи отчета в системе КИАС (пол инициативным грантам РФФИ) на номер сотового мне позвонили из РФФИ. На вопрос кто конкретно звонит - был ответ что из отделения биологических наук (человек не представился, не назвал своего имени). Мне было сказано, что если мы не представим отчет, то деньги по нашему гранту РФФИ будут возвращены в фонд. До окончания срока подачи отчетов оставалось несколько дней. Абсолютно НЕ понятно почему нужно было звонить из Москвы в Новосибирск и сообщать о том, что в случае НЕ подачи отчета деньги (мы?) должны возвратить в фонд. Сотрудница фонда НЕ представилась (только сказала, что отдел биологических наук). Я когда писала об общении с координаторами проектов в РФФИ, мне даже в страшном сне не могло присниться такое "общение".
В ЧЕМ задача координаторов проектов? Пугать? Или консультировать и поддерживать?
Ваши соображения кажутся мне
Ваши соображения кажутся мне резонными. Видимо, выход в том, чтобы разделить понятия премирования за высокие результаты и обеспечения будущих исследований. Во втором случае исходить и из прогнозируемой эффективности, и из права профессионалов на исследования. Эффективность выше тогда, когда оборудование не простаивает, а используется максимальным числом групп, имеющих высокий потенциал.
а нет ли там еще проблем с количеством экспертов?
последние годы рецензии приходят однотипные, есть ощущение что один и тот же человек пишет две экспертизы из трех или даже три из трех
сравните например рецензии выложенные выше (проект кстати подается второй раз и первые три рецензии были разгромными, вторые три - очень позитивными и мягкими)
в приложенных здесь рецензиях проект является продолжением ранее выигранного и успешно завершенного проекта РФФИ т.е. оформление первой выигравшей заявки было по определению хуже - менее подробный анализ литературы, плавание в методиках и организации экспериментов и др...
Некоторые ответы про РФФИ
Я несколько лет работал экспертом-рецензентом для РФФИ (по математике), могу некоторые вопросы прояснить.
На вопрос "почему не поддержали" ответ всегда один: потому что были заявки лучше. Это конкурс. По правилам РФФИ может поддержать не больше 30% из поданных заявок. Подозреваю, что в последние годы число заявок уменьшилось - из-за уменьшения финансирования РФФИ и появления других фондов. Поэтому заявка того же уровня теперь, вероятно, имеет меньше шансов. Но ваши проигранные заявки помогают увеличить квоту и дают возможность поддержать кого-то другого или другие ваши же проекты. Отсюда мораль: имеет смысл подавать больше разных проектов с перекрывающимися составами участников, тогда будет больше шансов что-то выиграть.
Про конкретные ваши рецензии. По первой заявке - они совсем не хорошие. Один эксперт отнесся к заявке позитивно, а два других - кисло. Тексты, конечно, вежливые и доброжелательные, но по ним видно, что баллы поставлены ниже среднего. Это, скорее всего, отправит заявку в нижнюю половину общего списка. Со второй заявкой совсем плохо. Один из рецензентов не счел ее "фундаментальным ислледованием", а это отменяет все дальнейшие вопросы и делает его общую оценку нулевой. В этом случае, наверно, должна назначаться или дополнительная экспертиза, или отдельное рассмотрение на экспертном совете. Но если и другие двое не в восторге, то понятно, что здесь дело швах.
Почему в последние годы изменился стиль рецензий? Потому что изменилась сама форма экспертной анкеты. Раньше просили анкету, отзыв о плюсах и минусах и итоговую оценку из 10 баллов. А теперь каждый пункт анкеты (новизна, актуальность и т.д.) состоит в выборе из трех-четырех подробно сформулированных вариантов ответа, каждому из которых присвоено значение в баллах, которые потом складываются. Плюс к этому в каждом пункте просят отдельный комментарий. Вам из этого прислали только комментарии - самую бессмысленную и ни на что не влияющую часть анкеты. Это неудачно сделано - баллы и формулировки, что они означают, были бы информативнее и полезнее для "работы над ошибками". И вообще система оценок от последних новшеств заметно ухудшилась, на мой взгляд.
да спасибо
есть ведь и выигранные гранты где такие же рецензии... так какой примерно процент заявок отбирается экспертами и сколько отсеивается на втором этапе? когда решения о поддержке принимается не экспертами?
меня смутило сходство фраз . иногда заявка подается каждый год и когда видишь примерно однотипные ответы кластеризующиеся по каждой заявке.... Создается иллюзия что один и тот же эксперт пишет примерно одни и те же фразы немного меняя слова. Мне как-то доводилось формировать группу экспертов и платить им деньги - толп желающих я не наблюдал. Как рассказывали мне другие мои коллеги - проблема набрать нужное количество экспертов (даже за деньги) стоит практически везде. Является ли РФФИ исключением из этого правила?
замечание про РФФИ
Сергей Владимирович нарисовал идеальную схему. На самом деле, если один из членов экспертного совета априори считает, что Вам не стоит давать грант, то Вы его не получите.
Поэтому необходима ротация экспертных советов. Кроме того, хорошо когда научных фондов несколько, даже если из-за этого на написание заявок уходит больше времени.
Эксперты
Эксперты-рецензенты не отсеивают. Они оценивают, в баллах. Это делается в той же системе КИАС, где подаются заявки. Каждому экперту приходит какое-то количество заявок. Он должен бросить все дела и за две недели их изучить и оценить в баллах каждую из нескольких позиций - новизна, актуальность, предыдущие достижения и т.д. Плюс еще написать комментарий к каждой оценке. Дело это хлопотное, а коментарии ни на что особо не влияют, поэтому не удивительно, что они пишутся формально. В последней версии их можно вообще не писать.
Потом все результаты отправляются экспертному совету по специальности. Экспертный совет - это часть тех же экспертов-рецензентов, которые считаются особо квалифицированными. Состав экспертного совета держится в секрете, период ротации - три года. Экспертный совет рассматривает рецензии и выбирает какое-то количество заявок, рекомендуемых к поддержке - не больше 30% от общего числа. По математике эта квота всегда выбирается полностью, про других не знаю. Как именно выбирают лучших - не берусь сказать, что понимаю, хотя когда-то сам в этом участвовал. В первом приближении это верхушка по сумме баллов, но надо обращать внимание на случаи сильного расхождения оценок рецензентов, перекрытие составов участников, тематическое разнообразие и так далее. В сложных случаях надо писать объяснение, почему именно так решили.
Список рекомендованных отправляется в Совет РФФИ, который его утверждает. Или что-то еще с ним делает, я не в курсе. Какие там есть меры против злоупотреблений - не знаю. Но по крайней мере по математике итоги выглядят честными.
Насчет нехватки экспертов. У меня с той стороны информации нет, но думаю, что да, не хватает. Их нужно много, а работа эта ни выгоды, ни удовлетворения не приносит. В то, что кто-то может писать две рецензии по одной заявке, я не верю. Просто не понимаю, как это можно технически организовать и, главное, зачем.
еще раз спасибо
три рецензии на проект это константа
а количество имеющихся экспертов и количество имеющихся проектов это переменные. если проектов будет слишком много а экспертов слишком мало, то, при нежелании экспертов тратить слишком много времени (а при увеличении нагрузки количество ученых желающих заниматся экспертизами будет падать) мы и получим ситуацию когда эксперт может начать писать две-три рецензии на один проект.
С другой стороны - даже мне доводилось рецензировать проекты РНФ при том что я там не был экспертом, просто меня как узкого специалиста попросили дать консультации. Можно представить ситуацияю когда по какой-то узкой теме есть кучка проектов и всего один эксперт, или два и какие здесь остаются варианты? Люди вообще могут работать в одном учреждении и подменять друг-друга со всеми вытекающими. Эксперты неравномерно распределены по направлениям наук, у экспертов неравномерно распределено свободное время - как это остается компенсировать?
Мне доводилось видеть в сми сообщения академиков
о том что поддерживается примерно один проект из трех и о том что эксперты отсеивают меньшую часть проектов..
http://www.rae.ru/upfs/?section=content&op=show_article&article_id=7455
вы подтверждаете что отсеиваете не менее 30% но наверное не сильно более?
если это так то основная экспертиза и отбор проводится не независимыми экспертами а советом РФФИ т.е. эксперты отсекают 30% самых плохих проектов и на этом честная и независимая экспертиза заканчивается? Пардон - начинается честная и объективная оценка проектов силами наиболее высокостатусных ученых и научных администраторов как это и делается в академиях но в чем тогда отличие РФФИ от ФАНО и т.д.?. Конечно, ценно что сам факт честного отбраковывания 30% наиболее плохих проектов столь серьезно повышает успешность поддержанных проектов.
экспертиза в РФФИ
Василий Николаевич, 30% - это не доля отсева, а итоговая доля поддержки.
В 2013 г. я написал довольно длинную статью об экспертизе в РФФИ: http://onr-russia.ru/content/%D1%8D%D0%BA%D1%81%D0%BF%D0%B5%D1%80%D1%82%...
В основном содержание ее не устарело. В двух словах, после оценки заявок экспертами заявки делятся на 3 группы: проходные, непроходные и "серая зона" с отсечками по сумме баллов, но иногда неформально. Серая зона довольно большая. Какие заявки из нее поддержать, решает профильный Экспертный совет (ЭС): обычно они голосуют. Каждую заявку представляет один из членов ЭС: он ее посмотрел, остальные голосующие обычно заявку не читали, судят по баллам и его "представлению". Комментариев экспертов они тоже, как правило, не читали. В разных ЭС эта процедура несколько отличается - сказанное выше не для всех ЭС верно на 100%.
Могу допутить, что при нехватке экспертов (ситуация рядовая) член ЭС может заполнить недостающую анкету "по материалам" уже полученной экпертной анкеты.
вроде ничего непротиворечит
как и объяснял предыдущий коллега - 30% или треть эксперты относят к непроходным проектам (или отсеивают, в данном случае это синонимы)
как соотносятся проходные проекты и серая зона вероятно не столь прозрачно если не все эксперты могут объяснить как соотносятся эти две группы и как это различается в разных экспертных советах. Очень хорошо если "проходные проекты" тоже определяются экспертами. Например, мы подали с одним химикам проект по кворум-сенсингу и он не прошел. Потом мы подали тот же самый проект и получили поддержку... На первый взгляд мистика но как выяснилось химики давно не получали грантов РФФИ (мой коллега подал 9 штук и не получил ни одного как и большая часть его товарищей хотя проблем с другими фондами и т.д. не было) начальство института возмутилось и случилось чудо - в следующем году проекты резко улучшились и дали кучу грантов в т.ч. и нам.
Если все так независимо и честно то откуда такая флуктуация? В принципе и остальные наши поддержанные проекты были получены благодаря подобным чудесам. Если можно увеличить количество поддержаннных проектов в разы повоздействовав на совет в данном конкретном случае то кто даст гарантию что некоторые НИИ не оказывают такого рода давление непрерывно?
Вы не там ищете
Не понимаю, из чего вы делаете вывод, что "эксперты отсеивают меньшую часть проектов". Этап выбора, он же отсева, только один: есть список всех проектов с оценками рецензентов, из него надо выбрать победителей. Этот выбор делает экспертный совет. Победителей не более 30%, это прописано в правилах. Соответственно, 70% "отсеиваются", если под этим понимается непопадание в список победителей. Совет РФФИ (точнее, бюро из 9 человек) только утверждает результаты.
Может ли один эксперт рецензировать два раза одну заявку? Всеми техническими деталями занимается автоматика КИАС. Она собирает рецензии, она печатает договоры и акты выполненных работ. Чтобы один человек писал две рецензии, он должен быть зарегистрирован там в двух экземлярах - с паспортными данными и всем прочим. И оба экземляра будут в списках, утверждаемых руководством, и в бухгалтерии и так далее. И это должно быть массовым явлением, чтобы быть полезным для облегчения работы. Короче говоря, не верю.
Вы не там ищете. Главное значение имеют сами условия конкурса и содержание экспертной анкеты. Если там большой вес имеют пункты о предыдущих достижениях, то, конечно, статусные ученые автоматически получают большой бонус. И вот эти детали (и прочую научную политику) определяются как раз наверху, а не в экспертных советах.
наверное я что-то недопонял
и слова насчет "серой зоны" тоже только слова.
соглашусь что стандарты определющие приоритетность поддержки вносят больший вклад скорее всего. Когда-то в нашей сфере мои коллеги вет-сан эксперты заниммались коррупцией и поборами а потом эти статьи доходов были легитимизированы и теперь средства собираются легально ввиде гос услуг и контролируются не рядовыми сотрудниками а более высоким начальством. Коррупции нет но денег всякие бизнесмены платят больше. Просто удивительна параллельность процессов в столь разных структурах, правда?
Кстати, когда-то очень давно госветслужба приносила реальную пользу решая проблемы связанные с эпизоотиями и если надо то исследовали вместе с учеными... А сегодня акцент тоже делается на формальные показатели и практически полностью специалисты устранились от реальных проблем. Что-то мне это напоминает.
Павел Юрьевич,
По поводу РФФИ, такое впечатление, что ситуация разная в разных областях исследований. Для нашей области - биомедицина (с использованием методов молекулярной биологии) РФФИ задавал высокие стандарты, к ним стремились и вокруг таких грантов кучковался продвинутый, компетентный народ. И, конечно же, исследования мы старались делать на уровне. А как иначе сравнивать с тем, что делается в других странах. Там такой пункт (в заявках и отчетах) всегда был - обзор литературы и сравнение с тем, что сделано в мире. И никакой кичливости не было, как мне кажется: с чем-тоже надо сравнивать, ну и сравнивали - с тем, что сделано в мире. Вопрос в том, что постепенно выходило из строя старое оборудование и кончался запас реактивов.
На РФФИ можно было докупать только реактивы фактически. Что-то из оборудования закупалось институтами для общественного пользования. Люди кучковались вокруг общественного оборудования и (современных методов), была та самая творческая атмосфера и сотрудничество с приличными публикациями в результате (зарубежных журналах в том числе). Это то, что я могла наблюдать здесь у нас - в РАН и РАМН.
А потом пошли лоты, госконтракты и мега, где если оборудование и закупается, то только под конкретную лабу и ее тематику. Ну а пускать кого-то со стороны на свое - по спец-гранту закупленное оборудование.... Ну их тоже понять можно, а вдруг сломают или еще что. Просто такой путь в принципе тупиковый - оборудование простаивает (и устаревает), одной лабой его трудно обслуживать, ремонтировать и пр.
Конечно что-то делалось как ЦКП (Центр Коллективного Пользования), но, к сож, в реальности далеко не все "ЦКП" функционируют как коллективные (по разным причинам). При этом ЦКП - это та самая точка сборки, вокруг которой и может кучковаться народ с разными тематиками. НУ а в результате - публикации с указанием, что сделано с использованием оборудования ЦКП. И способ контроля работы - сделанные гранты, отчеты и публикации со ссылкой на конкретный ЦКП и его оборудование. Конечно же все это не просто и вообще говоря не быстро, но реально и возможно.
Можно рассмотреть на примере нашей работы в ЦКП SPF-виварий ИЦиГ СО РАН. Мы ждали пока его построят и введут в эксплуатацию. Меня спрашивали (разные люди) зачем нужен именно SPF- виварий и зачем нужно было проводить работу именно в нем. Виварий - это комплекс спец-помещений для разведения, содержания и работы с лабораторными животными (мыши, крысы, хомячки). SPF - это Specific Patogen Free, это означает, что там очень чисто и животные не подвержены заболеваниям. Это важно, поскольку когда изучаешь какой-либо процесс на моделях животных, животные должны быть здоровыми. Если животные болеют (чем-либо), то тогда непонятно как интерпретировать результаты экспериментов: то ли это реальные резалты конкретного эксперимента, то ли влияние какой-то болезни (причем не понять какой). Вот ссылка на наш SPF-виварий: http://spf.bionet.nsc.ru/
Кроме того, в нашей предидущей работой мы столкнулись с такой проблемой: для сравнения экспериментальных и контрольных групп животных (причем двух и более линий) необходимо достаточно большое кол-во животных одного (!) возраста, т.е. много животных одновременно. Обычный виварий не мог обеспечить необходимое (большое) кол-во животных одного возраста, а условия, возраст и пр. должны быть одиниковыми, иначе непонятно что с чем сравнивать и как. SPF-виварий может обеспечивать необходимое кол-во животных - таких каких необходимо и мы их заказали, получили и смогли провести эксперименты с этими животными.
Что касается нашей работы, заявка на наш грант РФФИ была написана в 2012 г, спустя два года после введения в эксплуатацию SPF-вивария. Конечно это был определенный риск, все только отлаживалось, но мы не могли больше ждать, нужно было продолжать работу. Кроме того, статьи вышедшие по предыдущей работе "устаревают", втам же требование (в заявке) приводить статьи за определенный период. В результате оказалось (уже после того, как заявка на грант была поддержана), что основная контрольная линия крыс не переведена в SPF-статус (т.е. ее нет в виварии, невозможно заказать и работать с ней). Ее переводили в этот статус (а это отдельная сложная работа) специально для нашего проекта (гранта). Мы очень благодарны сотруднику ИЦиГ СО РАН Сергею Амстиславскому за эту работу - специально для нас.
Только основной эксперимент с животными занял 4 (!) месяца, в общей сложности с предварительными экспериментами - около года (!), в работе было использовано около 100 (!) животных (крыс) трех линий. Получены первые результаты и они достаточно интересные. В работе использовалась фруктозная нагрузка (добовляли в питьевую воду крысам) - это приводит к ожирению. Был решен вопрос как измерять жир у кпыс. У людей это достаточно просто - измеряют объем талии (это общепринято в мире), а у крыс как? Им же талию не измеришь. В ЦКП SPF-виварий был введен в эксплуатацию томограф и мы смогли определить кол-во жира у крыс легко и быстро. Было введено оборудование по гистологии тоже в этом ЦКП и мы получили данные по жировойинфильтрации печени.
Мы работаем. Настолько быстро, насколько это в принципе возможно. И когда человек звонит из РФФИ и говорит, что есть угроза, что деньги нужно будет возвращать..... Там в виварии только литр воды стоит около 20 руб - для животных. А ее за несколько месяцев до фига было израсходовано. Мы себе не можем позволить покупать и пить воду за такую сумму (зарплата не позволяет). Проделана такая офигенно большая работа, получены первые существенные резалты и что? Мы плохо работали и должны деньги вернуть??? Там еще работы вагон и тележка и каждая копейка на счету. Я сделаю спец науч-популярную презентацию и здесь (и не только) поставлю, чтобы каждый мог посмотреть в глаза этим животным (в кол-ве) около 100, результаты работы с которыми сейчас обрабатываются и хочется надеяться, что работа по обработке полученных образцов имеет шанс на продолжение.
в дополнение
Хотелось бы еще вот что сказать. Знаете о какой сумме идет речь? По последнему году нашего гранта - это 290 тыс. Хотя из разговора с представителем РФФИ (биологические науки) трудно было понять обо всей сумме гранта идет речь или о сумме на последний год. Сумма за 2 первых года - 420 тыс первый и 420 второй. Я когда смотрю сколько и на что раскидывается денег - десятками, сотнями миллионов и миллиардами руб мне просто мозг выносит. Публикации? Так их НЕТ - за десятки и сотни миллионов - в нашей области исследований - точно. Как нет и гипотез. А нет гипотезы откуда ждать результата - это НЕ возможно. Сергей Дорожкин пишет обзоры, анализируя чужие резалты - здорово. Я тоже пару глав для книг написала - на английском. Но в нашей области анализировать чужие резалты - проблемы. Это ОЧЕНЬ приблизительные оценки. Поскольку живые существа - это сложно и не так все просто как может показаться на первый взгляд - по литературным данным в частности. Тем более то, что касается патологических процессов (заболеваний). Вот мы взялись по гранту за казалось бы простую модель ожирения: по литературным данным (в мире) используют фруктозу (добавляют в питьевую воду - в частности), используют разные концентрации - 10%, 20% фруктозу. Казалось бы ну и какая разница? А разница оказалась принципиальная. Взяли 10% -для начала (если работает зачем лишние деньги тратить их и так мало, фруктоза денег стоит как и все остальное). А крысы оказывается пьют 10% фруктозу в несколько раз больше (!), чем просто воду (причем не одна линия крыс, а две разные - это значит, что не от одной линии зависит эффект)! А 20% примерно как воду (обе линии). Такое большое потребление жидкости - это большая нагрузка на почки. Надо думать и разбираться почему так происходит, обрабатывать пробы и результаты.
Обычно спрашивают а что это означает для людей? А фруктозу часто добавляют в напитки (газированные, например) вместо сахара, так вроде как дешевле выходит и фруктоза на вкус "слаще". Смотрите внимательно что конкретно добавлено, по-видимому, лучше избегать напитки с фруктозой, тем более для детей и подростков. Вроде как и так все знают, что лучше натуралка (соки например), но тем не менее такие вот могут быть (предварительные) выводы.
ССылка на вики, там фото ожирения у человека: https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%B0%D0%B1%D0%BE%D0%BB%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B8%D0%B9_%D1%81%D0%B8%D0%BD%D0%B4%D1%80%D0%BE%D0%BC
Нам нужны новые технологии отбора экспертов
Проблема вовсе не в том, что должно стать объектом экспертизы - конкретные проекты (идеи) или организация (команда), которая обещает идеи (проекты) генерировать. Проблема в архаичных технологиях проведения самой экспертизы. Для спасения науки нам надо создавать в сети Интернет новые структуры коллективного мышления, которые бы отфильтровывали реальных экспертов от псевдоэкспертов
Новые технологии отбора экспертов
Вот умеют философы загнуть ... Вот толко можно один маленький вопрос - вы экспертом работали ? В РФФИ, РГНФ, еще где ?
А так все уже придумано. Есть только один критерий - уровень публикаций будущего эксперта. Все.
а как определить уровень публикаций?
Уважаемый Пётр Андреевич!
А как определять уровень публикаций? По импакт-факторам журналов, где статьи опубликованы и по числу ссылок на статьи? Если так определять, то многие отрасли науки с низкоимпактфакторными журналами и слабым цитированием могут быть попросту "убиты", например, систематика. Все статьи по систематике обычно можно опубликовать в журналах с импактом не выше 1 (среди журналов WoS, да и РИНЦ импакты журналов по систематике также заметно меньше 1). И ссылок обычно на любую работу по систематике бывает в среднем много меньше одной. И что же Вы предлагаете, систематикам оставаться без финансирования, менять работу, а систематикой заниматься как хобби?
Опять козла драть начинаем ...
Да забудьте просто про глобальные импакты. У каждого эксперта есть свое "поле" - заданное в частности классификатором РФФИ. Ну вот в этом поле и смотрим. Если у систематика топ журналы с IF 0.5 - ну и ОК. А если мы возмем 04-2... - то ситуация сразу станет другой.
Эксперты и публикации
Мне почему-то кажется, что для выбора экспертов никаких новых технологий не надо. Например, есть вполне узкая область. В ней есть признанные журналы. Которые, вообще говоря, могут никакого импакт-фактора не иметь, как это ни странно выглядит с точки зрения "высоко-импактных" научных сотрудников, но пользуются заслуженным уважением данного научного сообщества. Стало быть эксперт должен там иметь публикации. Ну и второе, в общем-то даже более важное, насколько сообщество готово признать кандидата в экперты экспертом.
Далее есть совсем другой вопрос - насколько это вот научное сообщество со своими признанными экспертами является признанным и уважаемым со стороны аналогичных сообществ, занимающихся подобной тематикой, например, в других странах. Или оно, сообщество это, является исключительно локальным явлением, никому не интересным. За примерами в недавней истории ходить не надо, вспомнить научный атеизм, научный коммунизм, политэкономию социализма. Ну собственно и в современной истории такого рода явления есть.
Доверяй, но хорошо бы и проверять
В российских фондах РФФИ, РНФ, по программе мегагрантов, ФЦП и т.п. список экспертов неизвестен. Поэтому какие у них публикации проверить невозможно. Однако как здесь писали, неофициально многие эксперты известны. Так вот, то что мне известно по моей специальности неофициально, особого доверия не внушает.
О выборе экспертов
Ну вот и я том же. Если научное сообщество (то есть группа людей, занимающейся научной работой в одинаковой области), не готово признать "эксперта" экспертом, поскольку он/она не вызывает доверия, то значит, выбор его как эксперта был неудачен. И это сразу порождает вопрос к фондам - "а судьи кто?".
Знаете, это как на конкурсе красоты, вдруг выбрали не самую красивую, а бабу-ягу. Ну тогда сразу же сказали, что это не конкурс, а не пойми что.
Голосовать будем ?
Достоин ли ХYZ быть экспертов ? Бюллетени напечаетаем или так, рукми подымем ?
Особенно интересно будет сравнить резуьтаты голосования 70% и 30%.
Безусловно, такая процедура
Безусловно, такая процедура отбора экспертов - это полный абсурд:) Тем не менее, даже в Думе (номинально самом главном экспертном совете страны), у нас сидят валуевы, роднины и прочие кабзоны ... а самое абсурдное, что мы потом ещё и удивляемся, что так плохо живём:)))
Ну а почему бы и нет?
А почему собственно нельзя и проголосовать? Если рассуждать теоретически, то было бы замечательно. Другое дело как это организовать.
ВАК уже ввел конкурс для членов экспертных советов
Организации предлагают свои кандидатуры, отбор происходит по анкетным данным, что заверяют номинирующие учреждения. Список членов ЭС известен и опубликован на сайте. Так же как и анкетные данные.
Эту процедуру неплохо было бы ввести и для экспертов РНФ, РФФИ и РГНФ. Точно также, как и опубликовать списки экспертов. Плюс регулярная ротация, каждый год треть экспертов обновляется.
Я не верю, чтобы организации не предоставили бы нужное количество кандидатов, еще и конкурс был бы. Но видимо, нет желания сделать эту сторону прозрачной.
Хотя лично я и не жалуюсь, я никого не знаю и не пытаюсь завести знакомства, но иногда что-то и получаю.
Списки экспертов
- это дело хорошее. Однако, аналогично тому как уже написал Владими Николаевич Потапов, некоторые из известных мне по списку эксперты ВАК особого доверия не вызывают. А вызывает сомнения вот эта процедура их выбора. Насколько я вообще понимаю, далеко не все хотят быть экспертами, а из тех, кто хотят, далеко не все могут.
Тем не менее, списки экспертов хорошо было бы публиковать.
Андрей Петрович, если выбор экспертов не изменился со времен Ломоносова, то может быть на то есть причины? А если есть новые технологии, то не могли бы Вы их детально привести. У меня лично есть прямая заинтересованность - иногда трудно найти рецензентов.
интернет-технология отбора экспертов
Институциональные основания науки остаются неизменными со времён Вольфа и Ломоносова потому, что до недавнего времени не было достаточных предпосылок для изменений, отвечающих динамике современного общества. Такие предпосылки окончательно созрели совсем недавно и связано это с развитием интернет-технологий. Буквально три дня назад я наткнулся на монографию академика Д.Новикова "Сетевая экспертиза", он в ней прорисовывает те же перспективы изменения институционального основания науки, что и я, но появление технологий отбора (выбора) экспертов считает всё же делом будущего... Я с удовольствием поделюсь с Вами и другими колегами описанием этой технологии, но детально оно представлено только в виде бизес-проекта, продвижением которого я сейчас занят (для обсуждения проекта на Фейсбуке создана группа https://www.facebook.com/groups/395262693943384/ ). В статьях я эту технологию описывал всего дважды, да и то пока в самом общем виде.
Спасение утопающих - дело рук самих утопающих ...
Уважаемый Андрей Петрович,
Здесь Вы можете прочитать о сходной по своим целям инициативе по открытому списку экспертов в области естественных наук:
http://expertcorps.ru/science/about
От себя я только добавлю, что это проект начинался как частная инициатива его основателей, постоянной господдержки он не получил. Насколько я представляю, основные препятствия для его реализации и последующей востребованности экспертов таковы:
1. Относительно низкий уровень активности научного сообщества, на часть писем рассылки ответов получено не было.
2. Эксперт может быть звездой и общепризнанным авторитетом в своей области, но может не иметь желания или времени для оценки проектов в различных фондах.
3. Госорганы, чиновники, привыкшие сотрудничасть "со своими" по принципу "рука руку моет" с осторожностью и неохотой привлекают членов корпуса экспертов, которые, скорее всего, будут вести себя независимо.
Не надо останавливаться на полпути
Проект-то хороший
Проект однозначно хороший. Я лично не вижу проблем с методологией. Сначала отобрать тех, кто печатается согласно какому-то пороговому значению, потом прошедшие проводят выборы тех, кого они считают экспертом. Верятно, и достаточно очевидно, что пороговое значение надо было выбирать разное для разных областей. Ну так, как смогли. В каких-то областях полученный список экспертов наверное хорош, а в каких-то нет. Но можно думать как это исправить. По-крайней мере, прохождение порога - вполне объективная характеристика. А уж как к ней относиться...
Что же касается "состязательных научных дискуссий", то уж в это я не верю вообще. Правильность теоремы не зависит от того, насколько доказатель убедительно выступает. Для кого убедительно? Кто будет состязаться? Тут демократии нет.
Проект хороший, но пока
Проект хороший, но пока мёртвый. Оживить его можно только экспертными дискуссиями, которые как раз-таки и должны быть "порогом". Я вполне могу разделить, Виктор Анатольевич, Ваши сомнения насчёт эффективности интернет-дискуссий, однако корень этих сомнений не в самих дискуссиях, а в технологиях их проведения.
По поводу математических теорий:
Логика и теория аргументации являются основой любой науки, а уж в математике цепочка логических умозаключений особенно важна. Представим себе, что Вы придумали теорему, отражающую некую новую, неизвестную мне (допустим я тоже считаю себя математиком) закономерность. Представим, что я считаю Вашу теорему ложной. Как выяснить Вашу (мою) правоту и подтвердить её публично? Для этого как раз и нужна чётко структурированная дискуссия (дебаты). Состязаться в ней будем, разумеется, мы с Вами (если за каждым из нас стоит команда единомышленников, состязание может стать командным). Убеждать будем судей. Судей (любое нечётное количество) мы выбираем из автоматически формируемого списка заявителей (примерно так же, как в известной передаче "Своя игра" выбираются темы финального раунда). При выборе учитываем как комптентность спеца (глубина специализации + широта кругозора), так и объективность его предыдущих судейских вердиктов.
В проекте, над которым я сейчас работаю, немало технологических тонкостей, но в целом он довольно простой. К этому сообщению я прикрепляю рисунок, который поможет составить общее представление о том, как примерно должна выглядеть технология проведения интернет-дискуссии (применительно к любой области знания)
универсальный для всех наук метод?
Предлагаемая технология экспертной интернет-дискуссии вероятно оправдана для гуманитарных наук (здесь я не компетентен), но выглядит абсурдно в приложении к математике. В математике не возникает споров об истинности или ложности утверждения. Бывают дискуссии о полноте доказательства в формате рецензирования статей: автор обязан давать разъяснения непонятных мест в доказательстве. И околоматематические дебаты о важности и пользе различных теорий.
Дебаты математикам нужны не меньше, чем гуманитариям
Мне часто приходилось слышать, что математика - мёртвая наука, что в ней ничего не меняется, что в этой области знания нет новых идей. Если это так, то Вы правы, дебаты в математике - полный абсурд. Однако даже Вы, во второй части своего сообщения, признаёте, что место дискуссиям всё же есть не только в "околоматематической" сфере, но и в самой математике. Судите сами - я рецензирую Вашу статью и указываю Вам на недостаточность разъяснений. Меру этой достаточности ("понятности") определяю исключительно я. Причём делаю я это не только с позиции Вашего оппонента. Попутно я ещё занимаю позицию судьи и арбитра... Да будь Вы в таких условиях хоть самим Перельманом, статью свою Вам удастся опубликовать разве что в Интернете:)... Вы конечно можете ответить, что талант всегда пробъётся и если ты Перельман, тебя обязательно обнаружат и по заслугам воздадут, но это будет неправдой
Перри Мейсон, адвокат
Вот, кто умел устраивать дебаты. И там они видимо нужны, состязательность и все такое.
Но вот в математике, механике, физике, химии, все эти диспуты действительно кажутся абсурдными. На ум приходит словечко "срезал". Околонаучные дискуссии, ну так это да. Более того, зачастую, используя всевозможные так сказать "диспуты" и прочее "красноречие" к руководству приходят как раз таки те, кто ничего сделать не может кроме как порассуждать про синергию и прочие чудеса науки.
Долой дебаты, нам и без них хорошо?
Когда я десяток лет назад слышал слово "дебаты", мне на ум тоже ничего хорошего не приходило:) Технология, интерфейсно изображённая на рисунке и условно названная "онлайн-дебаты", нужна там, где есть традиции, новации и диалектическое снятие первых вторыми. То есть, прощу прощения за то, что повторяюсь, в ЛЮБОЙ области знания. Неважно о какой области идёт речь - о новом плане градостроительства, физике горных пород или разведении сусликов в домашних условиях.
Некоторые учебники по теории аргументации начинаются с очень правильных слов "Человек разумный есть человек аргументирующий". На сегодняшний день человек аргументирующий вытеснен из науки. Типичный представитель сегодняшней науки имеет весьма смутное представление о таких, казалось бы, базовых для него понятиях как структура аргумента, например. Поймите, Виктор Анатолевич, если люди в науке спорят, они должны спорить организованно, с опорой на аргументы. Я несколько лет руководил университетским клубом парламенских дебатов и понимаю Ваш скепсис в отношении "красноречия". Да, в живой речи убедительность аргументов часто перекрывается игрой спикера на публику. Однако такое происходит только при слабом судействе. В ОНЛАЙН-дебатах нет живой речи, есть только текст, что же касается слабого судейства, оно искореняется очень лёгкими способами
такие дебаты полезны для популяризации, а не для математики
Дело в том, что математический семинар по сути похож не на прения в суде, а на урок в школе. Докладчик пытается научить чему-то слушателей, а они пытаются его понять. Никакой состязательности в этом процессе нет. Умным (компетентным, экспертом) считается тот, кто быстрее понимает, но главное тот, кто может научить чему-то принципиально новому. Если слушатели уже поняли докладчика, они конечно могут обсудить насколько услышенное значимо. Но это уже обсуждение не математического, а околоматематического вопроса. Если человек умеет красочно и убедительно объяснять зрителям важность какой-то теоремы, то это не доказывает его математическую квалификацию.
Прям нега да и только:)
Нет состязательности, говорите? У всех есть, а у математиков, значит, нету, это как?:)... На самом деле нарисованная Вами пастораль быстро исчезает как раз-таки в условиях этой самой сосязательности (конкуренции). Представьте, что у некоего обладателя денег есть некая математическая проблема и каждый из нескольких квалифицированных математиков предлагает свой вариант её решения. Лучшим будет тот. кто научит других принципиально новому? Это как? Они по очереди друг друга учить будут?
При разведении сусликов дебаты особенно важны ...
Как раз к концу оных все суслики и передохнут. Но будет принято верное решение - таки да, кормить их надо.
Пётр Андреевич, ну зачем Вы
Пётр Андреевич, ну зачем Вы так? Какой смысл в Вашем троллинге?
Еще раз об экспертизе
Уважаемый Андрей Петрович, мне кажется, Ваш проект онлайн-экспертизы широким кругом экспертов не подходит для научной экспертизы и участники дискуссии это прекрасно понимают. Для оценки серьезных научных результатов нужна высокая квалификация. Эксперт должен не только иметь соответствующее образование, но и опыт работы в близкой области. Научная экспертиза имеет свои проблемы, специалисты часто расходятся во мнениях, но наши проблемы не имеют отношения к тому, что обсуждается в этой ветке. В качестве примера прочтите свежий пост с интервью Клименко про работу РНФ - там есть, над чем подумать. Там же можно и пообсуждать.
в науке должны быть дискуссии
Уважаемый Александр Львович, на этой площадке нет участников дискуссии:) То, в чём все мы сейчас участвуем, программисты называют несколько грубым, но по сути верным термином "срач".
Единственным инструментом организации всех общественных дискуссий в интернете на сегодняшний день является однополосная, уходящая в бесконечную даль лента комментариев. Инструмент этот вполне подходит для организации спора ради самого спора, но абсолютно не подходит для организации конструктивного выяснения истины в ходе дебатов (структурированной дискуссии).
Для организации разумного хода интернет дебатов необходимо качественно иное программное решение, самым понятным отличием которого должна стать БИПОЛЯРНАЯ лента комментариев, позволяющая организовать попарное ранжирование сообщений по критерию убедительности аргументов (к одному из своих комментов я прикреплял графическое изображение того, как это решение будет, примерно, выглядеть).
Что касается статьи, ссылку на которую Вы, Александр Львович, привели, обсуждать там особо нечего - интервьюеруемый не обозначает серьёзным образом ни проблем, ни путей их решения. Единственное, что зацепило в статье лично меня - расхождение в логике: сначала интервьюеруемый сообщает, что "в науке должны быть дискуссии" и тут же, семью строчками ниже сообщает: "Своих экспертов мы охраняем. Невозможно узнать никоим образом, кто проводил экспертизу той или иной заявки". То есть получается, что если я, как автор заявки, нахожу аргументы оппонирующего мне эксперта слабыми, мне предоставляется великолепная возможность подисскутировать самому с собой:)...
Кстати, игровая механика модуля "онлайн-дебаты" довольно адаптивна. Её можно рассмотреть и в привязке к задачам Российского научного Фонда. Например, имеем в год 5000 проектных заявок, надо определить тех, кто сможет оценить эти заявки наилучшим образом. Как это сделать?
1. открываем портал, на котором каждый может зарегистрироваться как эксперт с правом судейства, и как автор проекта;
2. для каждого эксперта и проекта создаём стартовый игровой банк, в который зачисляем N-е количество виртуальных баллов;
Далее собираем статистику бонусов и штрафов, заработанных пользователями по ходу участия в онлайн-дебатах.
Эксперты и проекты, набравшие больше всех баллов, выходят в топ – лучшие проекты включаем в существующие программы финансирования, а топовых экспертов привлекаем к последующим экспертизам.
Видать соскучились Вы по философским сессиям
отделений РАН как в преждние времена.
Вот только добровольно с Вами дискутировать не будут, сначала постараются вразумить, а потом будут тихо потешаться (тролить, по современному).
Тут много физиков и иже с ними, согласных с Блез Паскалем.
Согласных с Паскалем в чём?
На этапе формирования идеи сервиса "онлайн-дебаты" проект был ориентирован на студенческую молодёжь, потому что я, так же, как Вы сейчас, думал, что добровольно вовлечь взрослую аудиторию нашей страны в дебаты невозможно. Дебаты в России отторгаются и причины этого отторжения известны мне не меньше, чем Вам, Андрей Михайлович (вот, кстати, хорошие размышления о том, почему "философские сессии" и разные партсобрания отбили у нашего населения всякий интерес ко всяким дискуссиям http://www.msses.ru/mediateka/Гладарев%20Публичная%20немота%20мой.pdf ). На сегодняшний день я убеждён в обратном: вовлечение "физиков и иже с ними" в дебаты - дело техники (подчёркиваю, не в "срач", и не в "философские дискуссии" а именно в "онлайн-дебаты" как принципиально новую технологию коллективного мышления)
Для исследователей есть семинары
а есть и определение философии, данное Паскалем. Погуглите, Вам должно быть интересно.
ну вот и поговорили:)
???
Жаль
Ну что же, Андрей Петрович! Когда Ваши предложения выйдут за рамки бизнес-проекта и обретут вполне конкретные черты, поделитесь пожалуйста. А пока что придется как во времена Ломоносова...
С удовольствием обменяюсь знаниями и опытом
Виктор Анатольевич, у бизнес-презентации, например, "черты" не менее конкретные, чем у статьи:), да и воспринимается она легче. Я бы мог презентацию проекта здесь прикрепить, но прикрепление файлов ppt на этом ресурсе не предусмотрено. Если Вам по каким-то причинам неохота заходить на ФБ, можно списаться по e-mail (мой ящик charge@mail.ru)
С уважением, А.П.Лазуткин
Спасибо
Спасибо, Андрей Петрович! Я пробовал зайти на указанную странчку и не смог - не доступна.
Группа закрытая, но это не
Группа закрытая, но это не проблема - доступ я сейчас дам
Ну-ну, новая элита ...
"Наша цель — организовать новые элитарные группы (экспертные сообщества), способные возложить на себя самые высокие властные полномочия и взять всю полноту ответственности за управление обществом
Вы поднимаете очень
Вы поднимаете очень правильную проблему - проблему формирования профессионально-экспертных сообществ. Причём решать эту проблему надо не в масштабах села Кукуево, а глобально. И здесь без новых технологий (в первую очередь информационно-коммуникативных) никак не обойтись.
Нет, экспертом научных фондов
Нет, экспертом научных фондов мне работать не доводилось, но проблема отбора экспертов мне, тем не менее, известна. Вы скорее всего и сами прекрасно понимаете, что уровень публикаций критерием быть никак не может, равно как не может быть таким критерием звание профессора или академика РАН, например:)... Я бы согласился с предложенным Вами "критерием", если бы в научные журналы каким то чудом, в обход экспертов, попадали объективно лучшие статьи. Но проблема в том, что статьи ранжируют всё те же горе-эксперты, которые не несут никакой ответственности за недооценку хороших идей и переоценку плохих, которые по отношению к автору статьи (идеи, проекта) выступают и оппонентом, и арбитром и судьёй в одном лице. Важно понимать - проблема не в конкретных экспертах (как правило в отдельности они - замечательнейшие люди), а в технологии отбора экспертов, которая не менялась со времён Ломоносова, и которую надо срочно менять
Ну приехали хорошие статьи эксперты душат
Все пропало. Гипс снимают, клиент уезжает. В этом мире сотни журналов. Вы гениальное написали - шлите в Nature. Не возьмут - эксперты не умные, профессора с академиками и статьями в том же журнале.А журнал Социс в принципе не должен раскрывать вам экспертов.
Безответственность псевдоэкспертов - главная беда науки
Гениальная писанина конечно же может быть опубликована в журнале. Можно, в конце концов, монографию опубликовать - это сейчас не проблема, но кто определит меру гениальности, сам автор что ли? Даже если ты стал лауреатом конкурса "Лучшая научная книга России" (как я, например, в 2011 году), далеко не факт, что твоя монография не бред.
Не верится как-то, что Вы действительно не понимаете сути проблемы:)... Проблема именно в том, что эксперты принимают решения КЕЛЕЙНО, никак не отвечая за свои действия (бездействия) перед обществом. Экспертным советам любого научного фонда, например, должна быть вменена ОТВЕТСТВЕННОСТЬ, поскольку им даны ПРАВА на распоряжение многомиллиардными общественными фондами (РФФИ, РГНФ, ФЦП, всякие там Фонды содействия чему-либо и т.д., и т.п.). Проблема в том, что на сегодняшний день ни один "эксперт" не несёт никакой ответственности за те случаи, когда он недооценивает хорошие идеи (проекты) или переоценивает плохие.
Обозначенная проблема решается созданием экспертных сообществ в глобальной сети Интернет. В 21 веке возможность выступить экспертом нужно дать любому интернет-пользователю, способному к конструктивной, аргументированной критике.
Вплоть до высшей меры
А насчет интернета - все потонет в троллинге. Или вы не видели просьб типа "Проголосуйте за фото моего котика" ?
три момента
1. Насчет интернета - нет не тонуло. Например - Зворыкинский проект - там конечно были отдельные эксперты но на первом этапе голосовали "за фото котика" сами участники проектов (попутно народ напрашивался в проекты в качестве участников, подкидывал идеи (случайных людей было немного так как все ограничивалось самими участниками) Основной минус- модные темы получали большую поддержку в ущерб немодным.
2. Есть вопрос - как уменьшить негативный эффект от "некачественной" экспертизы? Ответ - нужно дифференцировано смягчить жесткость разделения на плохие и хорошие проекты. То есть нужно увеличить количество поддерживаемых проектов (в РНФ - РФФИ и др) например на 10-20% а ресурсы на это взять за счет досрочного закрытия неудачных проектов (и следует прекратить за это карать). Важно повысить креативность авторов проектов и допустить возможность риска неудачи тогда и будут более радикальные идеи и, соответственно, повысится количество прорывных научных работ (на фоне сотен провалившихся идей). В конце-концов для сверхнадежных проектов есть банки.
3. Мне в целом понравились принципы формирования экспертных групп под всякие экспертизы по технологическим платформам - там было четко прописано соотношение экспертов из разных целевых групп (представители ВУЗов, НИИ, производственной сферы, бизнеса) это конечно касалось прикладных НИР в первую очередь (правда не очень то это работало... много активного народа собрать никому не удавалось даже за деньги, даже мне :)). Однако и для фундаментальных НИР вполне можно привлекать экспертов от ВУЗов, прикладных направлений исследований и чистых фундаменталов. Заодно такое экспертное трио обеспечит большую честность принимаемых решений и взгляд с разных точек.
к вопросу об экспертах
Немного на другую тему : коллеги, поделитесь опытом:. Что делать, если рецензент статьи явно не понимает ни метода, ни результата исследования и пишет третью рецензию, добавляя все новые идиотские замечания и требования, видимо, пытаясь таким образом войти в тему? Прилично ли написать редактору, что он выбрал некомпетентного рецензента?
Если нет другого выхода
Я бы написал. Если нет другого выхода и конца этому не видно, то да, наверное, стоит в корректной форме написать редактору. Например, в форме письма редактору одновременно с новым вариантом рукописи. Что из этого произойдет, заранее никому не известно. С большой вероятностью статью все равно зарубят, но лучше один ужасный конец, чем ужас без конца.
Можно конечно упереться и ничего не писать редактору, пытаясь ответить на замечания рецензента. Мой опыт говорит, что итераций все равно может быть немного и редактору придется принять решение. Ну а кому он поверит, своему рецензенту или автору, зависит от многих обстоятельств.
P.S. И да, сам я такие письма редакторам писал.
К вопросу об идиотах в редколлегиях...
В 2009 году я с интервалом в несколько месяцев отправил две статьи в жунал Социс. Первую - существенно более слабую, на мой взгляд, чем вторая - напечатали быстро, в течение 2-х месяцев, без сколько-нибудь существенных редакторских правок (рецензентом мне назначили довольно умную даму, работать с ней было одно удовольствие). Вторая попала к бабке лет 70-ти, которая в моём вопросе никак не ориентировлась. К тому же бабка не умела пользоваться компьютером и мне приходилось просвящать её по телефону (звонил, естественно, я, а шесть лет назад разговоры с Москвой были удовольствием отнюдь не дешёвым). Помню, намучился я с этой бабкой, и решил вежливо намекнуть замредактора на её некомпетентность. Намекнул. Тот мне ответил, что вопрос о смене рецензента капец какой щепетильный, сам он его решать точно не рискнёт и надо мне позвонить по этому вопросу главному редактору (Ж.Т. Тощенко). Я позвонил. Результатом звонка стало письмо, надиктованное, по всей видимости, какой-то полуграмотной секретарше. Вот, я его из почты так и не удалил (орфография оригинала письма сохранена):
"По Вашей просьбе я познакомился с отзывами членов реколлегии и мнением редактора Глебовой Л.В., прочитал статью лично и сообщаю Вам следующее.
думаю, что это маловероятно
В моем случае это маловероятно: статья в Elsevier'ский журнал рецензируется минимум двумя рецензентами, и дебил -только один из них. Но отвечать-то приходится на все рецензии и тратить время на описание (по требованию дебила) метода, до этого описанного многократно (ссылки на предыдущие публикации рецензента не удовлетворяют). Боюсь, что проблема будет в политкорректности : на предыдущей стадии борьбы, когда я написал в ответе "competent reader himself can estimate this value on the given data)", мой английский соавтор вычеркнул эту фразу и привел очевидные данные.
На Западе уровень научной экспертизы вряд ли выше, чем в России
Сильно гордый коллега Ваш, ему бы в России пару годков пожить:))... Если серьёзно, то он не совсем прав, рассчитывая на внимание компетентного читателя. Дело в том, что фокус такого внимания формируют именно эксперты. Да, фокус этот на сегодняшний день до безобразия искажён, но сфокусировать внимание читателя по-другому мы пока не в состоянии, поэтому если Ваш иностранный коллега хочет опубликоваться совместно с Вами, пусть расслабится и получает удовольствие от уровня научной экспертизы в РФ;) И кстати, касательно проблемы компетентности экспертов наша старна далеко не исключение, так что оскорблённую невинность он зря изображает
Дело не в политкорректности
Евгений Германович, мне кажется, что дело не в политкорректности. Если дело в том, чтобы описать общеизвестный метод и рецензент настаивает, ну я бы описал. Может рецензент хочет, чтобы статья была самодостаточной и компетентный (но не абсолютно) читатель не был вынужден смотреть что-то еще. Ну в аппендикс например вынести это описание, тут трудно, да и не нужно давать советы, автору должно быть виднее.
Что же касается редакторов, то это право редактора формировать политику журнала. В том числе подбирать рецензентов и членов редколлегии, которым он может доверять. Если его политика окажется провальной и журнал перестанет публиковать топовые статьи, ну что же, журнал станет третьесортным и умрет. Таких примеров полно. И клубных журналов полно (членам клуба все, остальным - рецензентов). Авторам от этого не легче, ну так с другой стороны если все подряд печатать, это тоже не выход. Сейчас все-таки легче, журналов много :) Единственное, что можно вменить в вину редакции и редактору - это нарушение времени рецензирования и публикации. Вот если статья лежит полгода, а потом получаешь сообщение, что "не удалось найти рецензента", "статья не соответствует профилю журнала", то это безобразие.
P.S. Я бы тоже вычеркнул фразу про компетентного ридера. Если она одна такая. Трудно судить вне контекста. Подразумевается, что читатели данного журнала компетентны. По определению. Это как фразы "легко доказать", "очевидно, что". Да, я пишу "легко доказать" и далее пишу, "действительно, покажем что..." Это после целого ряда рецензий с предложением показать как или с утверждениями, что этого не можеть быть.
"Если дело в том, чтобы
"Если дело в том, чтобы описать общеизвестный метод и рецензент настаивает, ну я бы описал. Может рецензент хочет, чтобы статья была самодостаточной и компетентный (но не абсолютно) читатель не был вынужден смотреть что-то еще".
Со студенческих лет помню рассказ профессора об авторе, пытавшемся написать учебник по такому принципу: в каждом месте, где он должен был сослаться на уже известное, он начинал описывать это известное заново, Помнится, этот горе-учитель дошел до 6го тома своего опуса и помер от натуги.
Я думаю, нужно уважать как читателя, так и себя - список источников для того и дается в конце статьи.
Проблема, как я заметил, как в зарубежных журналах (иногда), так и в отечественных (часто), в том, что редактор не утруждает себя чтением ни статьи, ни рецензии, чтобы составить свое мнение. В случае, кот. я описываю, редактор после первой некомпетентной рецензии и нашего ответа на нее просто послал статью снова ему же и второму рецензенту, Первый рецензент снова продемонстрировал свою некомпетентность (в отличие от второго), и теперь, кроме того, чтобы отреагировать на вполне разумные замечания второго рецензента, я должен тратить время на ответ на очередной опус первого. А жизнь так коротка!
Ну журналов же много
Если жизнь коротка, то журналов много. Можно считать, что не повезло с этим и послать в другой.
Евгений Германович, а Вы действительно считаете, что редактор должен внимательно читать все, что ему присылают? Просматривать, да, согласен. И то, если этим занимается член редакции, то зачем? Нельзя объять необъятное - никто не является специалистом во всем, а во-вторых, если все поступающее читать, то никакой жизни на это не хватит. В-третьих, процедура именно такова (часто) - рецензент, раз уж был выбран, должен согласиться с исправлениями. Запрос к нему делает (часто) сама программа ("секретарша"), а не редактор. Вот для замены рецензента требуется осмысленная деятельность, при этом нужно объяснить прежнему рецензенту, что в его услугах не нуждаются.
Иногда эта процедура доходит до маразма. Два рецензента. Один написал accept, другой - minor revision. Исправил, послал. Жду. Через 2 месяца позвонил редактору и поинтересовался, что собственно происходит. Оказалось, что рецензент с accept, просто не понял, чего от него хотят, он же все одобрил. Ну а эта прога типа "Manuscriptcentral" просто ждала и не переходила на следующий этап. Соответственно и редактор не смотрел, что там делается.
Заключение. Считаете, что рецензент некомпетентен, и его требования бессмыслены, ну так и напишите это редактору с новым вариантом статьи, не тратьте свое время.
Страницы