03
Дек
2013

Профессиональная оценка научных организаций

Читайте также другие материалы по теме: 

Коллеги, параллельно с обсуждением методов оценки институтов, инициированным Минобрнауки, проводится обсуждение общественной инициативы, касающейся оценки научных учреждений: http://rascommission.ru/index.php/documents/statements/55-professionalnaya-otsenka-nauchnykh-organizatsij и http://rascommission.ru/index.php/documents/statements/54-otsenka-nauchnih-organizatsiy . Замечания и соображения можно высказать на форуме ОНР или послать разработчикам по адресу, указанному в ссылке.


 

2 вопроса после первого прочтения

1. Наивный вопрос, почему в пункт А рубрикатора попали естественные науки и математика, а в пункт Б техника и информатика. Понятно, что традиция обязывает объединять физику и математику в одну науку, но это уже давно не так. По-моему гораздо естественнее сгрупировать естественные науки с техническими, а математику с информатикой (это мое наивное мнение).

2. Где в проектк имеется гарантия от того, что как и в прошлый раз все институты окажутся "хорошими" (под прошлым разом я подразумеваю тот случай, когда академии предоставили возможность оценивать саму себя)?

14.1. Отнесение подразделений института к одной из следующих категорий:

 (а) подразделение, работающее в области фундаментальной науки на уровне выше среднего 
мирового,
 (б) перспективное подразделение, работающее на среднем мировом уровне и включающее 
научных специалистов высокой квалификации,
 (в) эффективное подразделение, занятое разработками или прикладными задачами,
 (г) эффективное подразделение, обеспечивающее работу других подразделений института,
 (д) иное.
Типа есть хорошие и разные (иные)?  Но очевидно же, что "плохие" оценки ставить придется, иначе вся затея с аттестацией заранее провальна (спросите преподавателей, имеет ли смысл делать экзамен, на котором все получают хор и отл). Ни нам, ни министерству не нужна экспертиза, которая радостно объявит, что у нас все поголовно ученые являются лидерами мировой науки, а все научные организации просто светочи эффективности во тьме раздолбайства. Если же предполагается все-таки объективная оценка, то шкалу хорошо бы сделать пошире и в плюс и в минус. 
Кроме того, то, что подразделение обеспечивает работу других подразделений института еще не значит, что оно делает это хорошо. Возможно эти службы нужно если не ликвидировать и построить заново, то хотя бы существенно реформировать.
про рубрикатор

Учитывая, что имеется такая область как математическая физика (которую зачастую рассматривают как раздел математики) провести чёткую границу между физикой и математикой по-прежнему невозможно.

А технические науки с компьютерными связывает то, что объектом изучения является не природа, а то, что созданно человеком. Да и софт с железом разлучать как-то нехорошо - ведь известно, что одни и те же вопросы могут решаться как на программном уровне, так и апаратно. К тому же и в технических, и в компьютерных науках очень часто более важным является создание чего-то реально работающего, чем выяснение ранее неизвестных закономерностей. 

Да, в этом, пожалуй, смысл есть

Просто мне казалось, что чистые компьютерщики ближе к чистым математикам. Впрочем, я сужу по себе, а у меня в любом случае в тематике компьютеры и физики, а значит в один пункт рубрикатора никак не влезть.

деление на грязных прикладников и чистых фундаменталов?

основные претензии к шкале оценок.

сразу ставится шкала по принципу А) если фундаменталы то хорошие а если В) ... то  Г...

(а) подразделение, работающее в области фундаментальной науки на уровне выше среднего 
мирового,
 (б) перспективное подразделение, работающее на среднем мировом уровне и включающее 
научных специалистов высокой квалификации,
 (в) эффективное подразделение, занятое разработками или прикладными задачами,
 (г) эффективное подразделение, обеспечивающее работу других подразделений института,
 (д) иное.

считаю необходимым определять уровни прикладных и фундаментальных исследований  от а до д  + по обеспечивающим структурам. 

В РАН, конечно, подразделения и занимающиеся и фундаментальщиной и разработками редкость, но встречаются. В РАМН и РАСХН редко но встречаются прикладники занимающиеся фундаментальными вещами на досуге. Принципиально важно сохранять такие коллективы.  Это ведь мостики между фундаментальными и прикладными исследованиями. Поэтому каждое подразделение следует оцениать по трем шкалам. 

 

о чистоте расы

Фундаментальные исследования очень нужны. Без них прикладные исследования вырождаются и превращаются в хождение по кругу.  Фундаментальные исследования биологии дрозофилл,  проводимые в РАН, никак не заменят фундаментальные исследования иммунологии кукурузы, проводимые не в РАН.

Если институты РАМН и РАСХН четко оценивать с позиции внутриведомственных критериев, то подразделения и исследователи ведущие, больше, теоретические исследования будут проигрывать своим прикладным собратьям (по числу патентов и разработок). Если в качестве основного критерия брать публикационную активность, то "теоретики" РАМН и РАСХН будут выигрывать у прикладных ученых, но проигрывать РАНовским теоретикам-фундаменталам (но нужно учитывать - далеко не каждый РАНовец пойдет работать с РАМН и РАСХН). Если под раздачу попадут ученые совмещающие теоретические изыскания с прикладными разработками, то они проиграют в любом случае (ведь они не тратят 100% времени на написания статей).

Повышение однородности научной среды по типу - мухи отдельно , котлеты отдельно не улучшит жизнь мух, как минимум.  

Замечания

1) "Конфликт интересов" должен, в дополнение, включать пункт, в котором говорится, что эксперт не является "научным конкурентом" оцениваемого подразделения или ученого. Этот критерий общепринят в мире.

2) Представляется, что особое выделение только возраста до 35 лет в качестве одного из критериев для оценки любой организации (и, в частности, лаборатории) является необоснованным. Совершенно очевидно (хотя это и идет в разрез с "официальной политикой"), что значение имеет не процент "молодых" в организации (это лишь один, и не самый показательный, из критериев), а вся возрастная структура организации. Причем "оптимальная" возрастная структура может варьироваться от организации к организации, и зависеть, в том числе, и от области науки и от решаемых задач.

3) Совершенно непонятно как тут предлагается оценивать научные подразделения, которые созданы только недавно (менее 5-10 или даже менее лет назад).

О понятии "научного конкурента"

Сергей, могли бы Вы пояснить, является понятие "научного конкурента" субъективным или поддается объективному измерению? Какие из двух работающих независимо в одной или близких областях специалистов являются, а какие не являются "конкурентами"?

По п.2: есть ли у Вас предложение?

3. На часть вопросов можно ответить и по данным более короткого периода. Деятельность сотрудников подразделения до вхождения в него тоже может быть учтена. 

Научный конкурент.

является понятие "научного конкурента" субъективным или поддается объективному измерению?

1) Понятие вряд ли поддается формализации, поскольку, в частности, затрагивает область человеческих взаимоотношений. Поэтому, можно было бы либо а) ввести в анкету эксперта пункт о том, что эксперт-оценщик не имеет с оцениваемым пересекающихся научных интересов и близких научных задач, либо 2) оцениваемый изначально указывает каких экспертов он не хотел бы видеть в качестве "оценщика", либо 3) и то, и другое.

По п.2: есть ли у Вас предложение?

2) Вопрос непростой, поскольку, например, в разных областях, как я уже сказал, может складываться совершенно различная практика. Однако, какие-то общие черты, в плане возрастного состава и остепененности,  есть у всех мне известных сильных международных лабораторий. Как основу (схему) можно было бы принять, что минимальная группа (или лаборатория) состоит из 1 "профессора" (лидер группы, завлаб и тд), 2-3 "постдоков" (кандидаты наук в возрасте 25-50-55 лет, один из которых до 40), 4-5 "юных" (аспирант, мнс и тд) исследователей без степени, плюс неограниченное число магистрантов. Вот в такой конфигурации, на мой взгляд, лаборатория в любой области науки становится конкурентной на международном уровне, иначе не угнаться. Детали здесь, безусловно, нужно продумывать, однако, на мой взгляд, серьезные отклонения от такого состава, во-первых, могут делать группу слабоконкурентной на международном уровне, во-вторых, могут нарушать преемственность поколений, что критично особенно сейчас в России, в-третьих, могут означать, что отсутствует "сито" и нет конкуренции за место в группе.

Разумеется, возможны вариации, которые должны как-то обосновываться в заявке.  Например, ряд исследователей имеет "виртуальную" группу, рассеянную по всему миру, другие просто работают в одиночку в силу личных особенностей  или специфики научной области, но речь вроде бы не о них...

Я думаю это предложение никак не войдет в предлагаемую процедуру оценки, поскольку разрыв поколений в российской науке ужасающий, практически полностью выбито поколение 35-55 лет, как раз с поколением до 35 особых сложностей не видно (и не было видно). А вот заполнение людьми возрастного провала 35-55 лет требует гораздо больших усилий и средств чем привлечение молодежи. То есть, лабораторий с предлагаемым мной возрастным составом в России, насколько я вижу, практически нет. Будут оценивать что есть по тем критериям, по которым все выглядит получше... для "оценщиков", в особенности.

На часть вопросов можно ответить и по данным более короткого периода

3) Да. Но, наверное, это должно быть отражено в "правилах"?

Парадокс экспертизы

По п.1. Это то, что можно назвать основным парадоксом экспертизы: чем выше компетентность эксперта, тем выше пересечение научных интересов с оцениваемым автором и, как следствие, - выше конкуренция (или протекция). Этот парадокс так же неразрешим, как принцип неопределенности Гейзенберга. Журналы (даже высокого класса) часто шлют статьи на рецензию тем, на кого авторы ссылаются. Тем самым сознательно идут на конфликт интересов. При этом он чаще приобретает окраску излишней снисходительности: статью, где делают эксперту рекламу, ему труднее отклонить. Но бывает и иначе. Поэтому пункт в анкете о непересечении научных интересов может противоречить принципу компетентности. Пункт 2) об априорных "отводах" некоторым экспертам имеет практику применения.

 

Пункт 1 тоже

Пункт 1 тоже имеет практику применения, по крайней мере в журналах, в которых я рецензировал до сих пор.

Возможный вред от конфликта интересов "крутого" эксперта, на мой взгляд, больше, чем вред от чуть менее компетентного, но не конкурирующего эксперта.

О "конфликте интересов"

Сергей, а как в принципе можно определить "компетентность" эксперта (более компетентный - менее компетентный)? По каким критериям? То же самое по поводу того "конкурирующий" или не "конкурирующий", какие критерии? Одни работают коллаборируя , другие... в общем все зависит от персональных качеств каждого.

аудитор для академического НИИ только из другого ведомства

например из ВУЗа или другой академии. Если мы в  одной академии работаем, то мы или из конкурирующих организаций или дружим по принципу "ворон-ворону глаз не выклюнет"

Сергей Петрович,

Я бы не стал так жёстко расписывать структуру штатов лаборатории заранее. Мало того, что в разных областях науки коллективы разного размера, от маленьких у гуманитариев и математиков, до огромных у синхрофазотронных физиков. Например, что касается аспирантов, то количество аспирантских мест у нас в РАН резко сокращено, на 50 000 штатных научных сотрудников всего 2500 мест в аспирантуре, т.е. в среднем 1 аспирант на 20 штатных научных сотрудников. Каким образом лаборатория сможет урвать себе вдвое больше аспирантов, чем штатных сотрудников, мне совершенно непонятно. Откуда возьмутся излишние аспиранты? Может быть, Сергей Петрович, у вас в университете можно набирать неограниченное количество аспирантов, но у нас это не так, количество мест определяет министерство и это количество 2500 человек от Калининграда до Камчатки и на все науки от астрономии до гастрономии. Кроме того, количество магистрантов ограничено возможностями имеющихся в РАН базовых кафедр университетов и НОЦей т.к. РАН фактически не разрешено заниматься подготовкой магистрантов, лицензий для этого министерство институтам РАН не выдавало никогда.

Поэтому прежде чем предлагать некие схемы нужно сперва убедиться в том, что эти схемы не противоречат реальности. Иначе получится очередная кукуруза за Полярным кругом.

О реальности

прежде чем предлагать некие схемы нужно сперва убедиться в том, что эти схемы не противоречат реальности

Реальности много что не противоречит, разве это означает, что не должно быть каких-то разумных ориентиров хотя бы в качестве схемы?

Вообще не понял Ваш комментарий, особенно в плане аспирантов, там вообще-то аспиранты и мнс и еще многоточие были в скобочках. И речь идет о структуре лаборатории, в том числе о возрастной структуре. Если реальность очень далека (с оговорками, о которых я уже писал выше), то значит что-то в этой реальности исправлять  нужно, не так ли? Или Вы систему оценки предлагаеет под существующую реальность подгонять?

систему оценки под существующую реальность подгонять

Разумеется система оценки должна действовать в существующих реалиях, а не в выдуманом мире грёз и фантазий. Оценивать ведь будут не сферических коней в вакууме, а реально работающие в современных реалиях коллективы.

И если сейчас на 50 000 штатных научных сотрудников приходится 2500 аспирантов, то совершенно нормально, когда в лаборатории 1 аспирант на 20 научных сотрудников. Если хотелось бы видеть при оценке лабораторий больше аспирантов, то сначала нужно предоставить больше мест в аспирантуре академии, а уже потом проводить оценку.

То же самое по поводу магистрантов, сначала нужно предоставить институтам возможность принимать на работу/учёбу  магистрантов, начать выдавать лицензии на обучение, гранты для временных рабочих мест, а уже потом подсчитывать сколько в лабораториях окажется этих магистрантов.

По поводу того, что вы объединили в одну кучу аспирантов, м.н.с. и ещё... вы, уж извините, видимо, плохо представляете чем эти категории научных работников отличаются.

Аспиранты по российскому законодательству являются учащимися послевузовского образования, они не работают, не получают зарплату, не входят в штат лабораторий или институтов, не имеют права на какие-либо выплаты за счёт Государственной Программы фундаментальных научных исследований и не получают ни копейки денег на свою научную работу из бюджетного финансирования лаборатории в которой готовят диссертацию, не могут получать молодёжные гранты РФФИ. Чтобы что-либо изменить в положении аспирантов нужно вносить изменения в российское законодательство.

В противоположность аспирантам, м.н.с. - полноценные штатные научные сотрудники избираемые на должность по конкурсу на 5 лет и по правовому статусу ничем не отличаются от научных, старших научных, ведущих научных и главных научных сотрудников.

Если под "ещё..." подразумевались инженеры, лаборанты, препараторы, коллекторы и т.п. вспомогательный научный персонал, на ставках которых обычно "висит" молодёжь не имеющая возможности занять ставку м.н.с., то это тоже другая категория, научная работа их не предусмотрена законодательством, "полуподпольна", ничем не обеспечивается, кроме собственно зарплаты из постоянной ставки. Эти люди "пролетают мимо" жилищных программ, зарплатных проектов, ПРНД и во многих отношениях дискриминированы.

Так вот любая система оценки должна учитывать эти реально существующие особенности реальных лабораторий, реальных людей на реальных должностях. А чтобы изменить ситуацию в каком-либо направлении нужно менять законодательство и правовой и материальный статус разных категорий научных работников, вместо того, чтобы ликвидировать и увольнять лаборатории отличающиеся от каких-то неправдоподобных фантастических схем не имеющих ни малейшего отношения к реальности!

Пояснение и просьба.

Речь идет 1) о возрастном составе лаборатории, 2) о должностных обязанностях того или иного сотрудника в лаборатории (которые часто сильно коррелируют с возрастом). Вы принципиально не согласны с тем, что лаборатория должна состоять из сотрудников всех возрастов (чтобы обеспечивать преемственность поколений) в том числе и 35-55, а не только до 35 и после 55 как это, в большинстве случаев, есть сейчас? Вы принципиально не согласны с тем, что должна быть "линейка" должностных обязанностей, а не так, что в лаборатории 3 ведущих научных сотрудника (со своими обязанностями), 1 старший, 1 мнс и 0 аспирантов? Если согласны, то я не понимаю о чем спор тут вообще?

вы, уж извините, видимо, плохо представляете

в этот раз уже не извиню. Вы подобные высказывания в таком ключе, когда я вынужден оправдываться за слова, которых не говорил и даже не имел ввиду, а также явное желание показать что "заграница" ничего не понимает, позволяете себе не в первый раз.

Поэтому, 2 просьбы. Прошу не приписывать моим высказываниям смысла, который мной не закладывался. Прошу воздержаться в дальнейшем от дискуссий со мной в подобном нравоучительном и обличительном  тоне.

 

По поводу состава лаборатории

Сергей, насколько я понимаю Андрей Геннадиевич Быструшкин работает в прикладной лаборатории, лаборатория работает по хоздоговорам. Какая работа ведется по фундаментальным направлениям (мне лично) не очень понятно. Диссертации (как правило) защищаются по фундаментальным направлениям. Мы тоже работали по хоздоговорам (и в 90-е, относительно недавно) это очень непросто заниматься и тем, и другим одновременно.  Мы работали (и работаем) в так называемых "временных рабочих коллективах" - из разных институтов и академий наук (РАН и РАМН), коллективы сбалансированы по возрастам, иначе просто нормальной работы не получится.

Елена Николаевна, я поясню. В

Елена Николаевна, я поясню. В нашей лаборатории есть научные группы, обладающие своей специфической областью научных интересов, которые пересекаюся не на 100%. Для выполнения конкретных, часто кратковременных задач, под задачу формируется временный ВТК из необходимых сотрудников и оборудования, с привлечением коллаборации вовне лаборатории если необходимо. По выполнении задачи каждый возвращается обратно в свою группу. Соотношение фундаменальных/прикладных работ в каждой группе своё, соответственно научным интересам.

Фундаментальная тема по госпрограмме фундаментальных исследований в нашей лаборатории очень обобщённая: "Изучение и сохранение биологического разнообразия экосистем континенальных районов Северной Евразии", разумееся это общая шапка для разделов работ выполняемых разными лабораториями института.

У нас нет ни одного сотрудника занимающегося исключительно прикладными хоздоговорами и нет ни одного, кто бы вообще никогда ни в одном хоздоговоре не участвовал. Каждый в той или иной мере. Я работаю в группе в которой фундаменальные работы преобладают над прикладными, но и прикладные тоже иногда делаю, понимаю специфику того и другого.

При соотношении в целом по РАН на 50 000 штатных научных сотрудников 2 500 аспирантов трудно ожидать что в лабораториях аспирантов вдруг стало бы больше, чем сотрудников, не правда ли?

Сергею Перовичу

1. Да, я принципиально не согласен с тем, что лаборатория непонятно кому и почему "должна" курочить свой коллектив под непонятно кем и для чего созданное прокрустово ложе "идеального возрастного состава" всех научных коллективов от астрономии до гастрономии, от крошечной гляциологической станции-лабораории в Антарктиде до огромной лаборатории ядерной физики на синхрофазотроне, от крошечной лаборатории этнографии югорских народов до огромной лаборатории иммунопатологии бактериальных инфекций, от крошечной лаборатории бриологии до огромной химии полимеров, от крошечной археологии палеолита до огромной дефектоскопии материалов... примеров можно привести в большом количестве, когда Ваша схема неприемлема для работы и навязывать её насильно = погубить такие научные коллективы.

2. Я принципиально не согласен с тем, что кто-либо извне будет распределять сколько на каких должностях людей через голову завлаба, да ещё и с одним стандартным соотношением обязанностей внутри коллекивов во всех лабораториях страны от Калининграда до Камчатки и во всех науках.

И да, я вполне допускаю, что есть такие науки, в которых соотношение 3 внс+1снс+1мнс+аспирант раз в несколько лет - оптимальное для научной работы.

Навязывать извне всем одну схему - неприемлемо!

3. Я всего лишь извинился перед Вами, Ваше дело принимать извинения или нет, но не стоит приписывать мне Ваши собственные рассуждения о "загранице", Я ЛИЧНО НИКОГДА НЕ ПИСАЛ БУДТО ЗАГРАНИЦА НИЧЕГО НЕ ПОНИМАЕТ! Заграница она большая, гораздо больше, чем внуриграница, обобщать мнения и понимание одного человека на всю заграницу глупо и я так никогда не делал.

4. Чтобы было предельно ясно, я повторю почему считаю неправильным объединение в одну категорию научных рабоников м.н.с., аспирантов, магистрантов и вспомогательный персонал (инженеры, лаборанты и т.п.) ничего обличительного или нравоучительного тут нет, лишь констатация реальных фактов, игнорировать коорые нельзя.

"Аспиранты по российскому законодательству являются учащимися послевузовского образования, они не работают, не получают зарплату, не входят в штат лабораторий или институтов, не имеют права на какие-либо выплаты за счёт Государственной Программы фундаментальных научных исследований и не получают ни копейки денег на свою научную работу из бюджетного финансирования лаборатории в которой готовят диссертацию, не могут получать молодёжные гранты РФФИ. Чтобы что-либо изменить в положении аспирантов нужно вносить изменения в российское законодательство.

В противоположность аспирантам, м.н.с. - полноценные штатные научные сотрудники избираемые на должность по конкурсу на 5 лет и по правовому статусу ничем не отличаются от научных, старших научных, ведущих научных и главных научных сотрудников.

Если под "ещё..." подразумевались инженеры, лаборанты, препараторы, коллекторы и т.п. вспомогательный научный персонал, на ставках которых обычно "висит" молодёжь не имеющая возможности занять ставку м.н.с., то это тоже другая категория, научная работа их не предусмотрена законодательством, "полуподпольна", ничем не обеспечивается, кроме собственно зарплаты из постоянной ставки. Эти люди "пролетают мимо" жилищных программ, зарплатных проектов, ПРНД и во многих отношениях дискриминированы.

Так вот любая система оценки должна учитывать эти реально существующие особенности реальных лабораторий, реальных людей на реальных должностях. А чтобы изменить ситуацию в каком-либо направлении нужно менять законодательство и правовой и материальный статус разных категорий научных работников, вместо того, чтобы ликвидировать и увольнять лаборатории отличающиеся от каких-то неправдоподобных фантастических схем не имеющих ни малейшего отношения к реальности!"

Анрей Геннадьевич,

я с Вами, на самом деле, почти полностью согласен в этом вопросе. Однако, прошу обратить внимание, что речь идет не о ранжировании подразделений, а о совсем других вещах.

Сергей Петрович

Насколько я понимаю, речь идёт об оценке научных организаций. Вы предлагаете при оценке лабораторий учитывать насколько личный состав подразделения соответсвует некой придуманной "идеальной" схеме возрастного состава. И если лаборатория имеет другой состав, то вы предлагаете ставить это в вину коллекиву и оценивать неудовлетворительно их работу. Я с таким подходом категорически несогласен!

Андрей Геннадьевич,

ну что за бред, извините. Я уже предлагал Вам не приписывать мне Ваши измышления. Читайте хоть внимательнее что ли, что я писал прежде чем такие комментарии публиковать. Единственное что я действительно предлагал, так это при экспертной оценке оценивать в том числе и возрастной состав лаборатории (вместо оценки численности ученых до 35 как было раньше), и смотреть (эксперту) насколько при таком составе лаборатория жизнеспособна и конкурентна на международном уровне хотя бы в среднесрочной перспективе именно в данной области науки. Кроме того, прочтите внимательно для чего вообще все это делается, о чем пишут организаторы. Нигде, никто, никому в вину ставить что-либо в этом проекте вообще не собирается, и я о "вине" тоже не писал. Согласитесь это сильно отличается от того о чем пишете Вы?

Сергей Петрович,

"Нигде, никто, никому в вину ставить что-либо в этом проекте вообще не собирается"

- Мы собственно обсуждаем суть происходящего или благоглупости в преамбуле про "заботу партии и правительства о дальнейшем повышении надоев, хиршей, благосостояния трудящихся и всемерном развитии науки вместе со всем прогрессивным человечеством..." ?

- Я обсуждаю реальную задачу, поставленную министром Ливановым, с использованием обсуждаемого инструмента поделить существующие научные организации на 3 категории, отнести к 3 категории не менее 25% организаций и ликвидировать их.

Не суть разница, какой именно проект методики, моновский или один из альтернативных, в конце концов для ликвидации будет использована одна методика, один инструмент. Нужно думать как нам так повлиять на конечный инструмент, чтобы ликвидированы в итоге оказались действительно слабые коллективы, а не те, у кого здания на лакомых землях или конкуренция с Курчатником или иностранные спецслужбы захотели уничтожить в России данное направление научных исследований, для чего завербовали продажных чиновников и экспертов.

Вы предлагаете в этот инструмент внести ещё один критерий - возрастной состав, чтобы "экспертам" было проще сливать лаборатории и институты в 3-ю группу под предлогом "плохой возрастной состав". Я категорически против этого. Если "численность до 35 лет" ещё позволяет как-то маневрировать, чтобы уложиться в дурацкие представления чиновников об "идеальной численности до 35", то ваше предложение жёстко закрепить "идеальное" распределение по возрастам и должностям позволит уничтожить практически любую лабораторию по такому дурацкому критерию. В том числе уничтожить значимые для безопасности России исследовательские группы специально подготовленными шпионами и диверсантами. Я против этого!

Вы не слышите!

Я везде пишу про то, что решать должен эксперт. Это не есть жесткое закрепление какого-то формального показателя. Снова приписываете мне то, чего я не говорил. Зачем?

Экспертов взять неоткуда.

Экспертов взять неоткуда. Поэтому пойдут по пути "формальных показателей". Или назначат экспертов таких, которые будут решать по понятиям, не имеющих прямого отношения к науке.

А что имеет?

Кадровый состав имеет прямое отношение к развитию науки (научной инфраструктуры) в стране? Если нет, то скажите что имеет "прямое" отношение.

Пойдут по пути формальных показателей, так как это есть для ученых до 35 лет. Но, в отличие от этого показателя, то о чем говорю я имеет больший смысл.

Количество ученых до 35 лет (

Количество ученых до 35 лет ( оставим в стороне вопрос насколько в 28 они ученые) зависит сейчас в лаборатории от вливания в нее денег, которые можно было потьратить на зарплаты этих ученых, в последние лет 10. Вы увернны,что большинство этих денег делилось не "по-понятиям" ? И Вы уверены, что в тех лабораториях, где нет сиих ученых до 35 лет, люди 50 лет не смогут за 10 лет воспитать таких ученых до 35 лет, если этим людям 50 лет и их воспитуемым не дать нормальные для нормальной жизни зарплаты ? Я вот не берусь это сказать.

Впрочем, я сужу со своей колокольни. Ведь меня ууволят вместе со лабораторией, которая не дотягивает по этому параметру. Я б предпочел, чтоб меня  судили по хиршу, сосчитанному по  ссылкам в журналах топ 25% без самоссылок всех соавторов, заработанному по публикациям последних 10-12 лет. И других тоже пускай по этому судят. Вот такая мне удобная "кочка зрения".

Сергей Петрович, на всех научных форумах все время идет спор всех со всеми со своих "кочек зрения". Поверьте: этот % ученых моложе 35 лет - страшной силы разрушительное оружие в руках "блондинок из МОН". У Ливанова достаточно "блондинок". Думаю, что и в ФАНО их будет не мало.

Так а я разве против?

В предлагаемом проекте оценки лабораторий изначально был пункт,в котором говорилось о количестве ученых до 35 лет. Я все это писал к тому, что если уж какие-то критерии связанные с возрастом вводить, то стоило бы тогда вообще возрастную стуктуру лаборатории смотреть, а не только до 35 лет. Если говорить по гамбургскому счету, то такие критерии при оценке должны иметь место. Причины совершенно очевидны и я о них писал выше.  Но вводить их нужно  только в том случае, если оценка не формальная, а экспертная (и, Вы правильно говорите, вообще при наличии экспертного сообщества). Если этого нет, то я вполне готов согласиться, что введение таких критериев может быть разрушительным. А может и не быть, при минимальном желании.

Еще раз замечу: критерий "до 35 лет" был введен в проекте, подготовленном "научной общественностью."

Консенсус
критерий возрастного состава

Геннадий, Сергей, ну так и нужно было бы по возрастному составу ориентироваться на возраст 35-55 лет, а не "до 35"  как и на "научную составляющую".  В группе, где есть оч большой разрыв в возрасте (стар да млад) слишком велика вероятность, что проекты от имени молодых пишет старшее поколение, а с (естественным) уходом старшего поколения есть риск, что все рухнет, поскольку молодые привыкнут, что за них думают старшие. По поводу "научной составляющей", вот та история с "передачей информации" от убиенных крыс зачинаемым, ведь кто-то же руководил этой э-э-э фигней и кто-то это финансировал. И может оказаться, что и до 35 там есть кого посчитать, и журнал, где это было опубликовано в WoS входит (он точно входит) и что, и дальше это будет продолжаться и финансироваться? А насчет ставок, так они когда "кончились", давненько уже.

Сергей Петрович, я слышу

Вопрос ведь не в том, будет решать человек именующийся экспертом или ещё каким-то названием называющийся. Вопрос в том, чем именно будет руководствоваться человек проводящий оценку и какими инструментами оценки у него будет возможность воспользоваться - в этом суть вопроса.

Одно дело если эксперт будет руководствоваться в своих действиях стремлением объективно оценивать НАУЧНУЮ состоятельность деятельности организации и НАУЧНУЮ значимость получаемых в ней учёными результатов. И инструментом его будут методы оценки НАУЧНОЙ работы. И результатом такой экспертной оценки будет возможность хотя бы сохранить лучшие с НАУЧНОЙ стороны коллективы.

Совсем другое дело получится если "эксперт" будет руководствоваться "подсказками" МОН, ЦРУ, Моссада, Московской ассоциации риэлтеров и девелоперов... уничтожить конкретный институт, либо занимающий слишком лакомое здание в центре города или слишком хорошо исполняющий НИР и НИОКР в области ядерного вооружения, радарной или ракетной техники или способного дать в будущем технологии альтернативные МОНСАНТО или Джонсон-и-Джонсон, или проводящий слишком хорошие исследования в области "ненужной этим диким козакам и унтерменшам" русской культуры, истории. И у этого "эксперта" окажется в руках совершенно не имеющий никакого отношения к собственно НАУКЕ и абсолютно безответственный инструмент - прокрустово ложе "возрастного состава".

Согласитесь, что во втором случае результатом такой "экспертизы" будет подрыв научно-технического, экономического, образовательного и оборонного потенциала России. Я категорически против этого! Я против того, чтобы давать в руки бесконтрольное оружие неизвестным пока "засланным казачкам", которые потом этим оружием смогут легально ликвидировать лучшие научные силы России.

Я считаю, что неизвестным пока будущим экспертам нужно предоставить возможность пользоваться теми инструментами, которыми они физически не смогут нанести вред лучшим научным коллективам. Только такими инструментами, которые могут быть проконтролированы научным сообществом, которые вообще имеют отношение к науке.

И у нас есть все основания подозревать самые худшие намерения инициаторов реформ. Если посмотреть на проведённую уже "экспертизу эффективности" вузов и анекдотическое "неэффективны в силу специфики деятельности" выданное экспертами в адрес лучших театральных и литературных институтов страны. А всё потому, что у "экспертов" МОН в руках оказались анекдотические инструменты. Они сравнивали по количеству иностранных студентов на квадратный метр институт дружбы народов имени Патриса Лумумбы с каким-нибудь Сыктывкарским пединститутом. Они сравнивали количество вложенных в научные исследования миллиардов долларов  какой-нибудь Физтех и какой-нибудь ВГИК

 

Проблема в том,

Проблема в том, что критерий о поддержке "до 35 лет" уже есть и им вовсю пользуются, что и я и Вы вместе признаем неверным (если пользоваться цензурными выражениями). При этом после 35 лет поддержка исчезает и люди, получив сертификаты на квартиры (не все получают, но все-же) и т.д, либо уезжают, либо уходят из науки. То есть срредства просто разбазариваются. Это реальность, это все уже делается. Мое предложение ситуацию не ухудшает, а улучшить (в принципе),- может. А следствие моего предложения- поддержка не только людей до 35, а всей возрастной цепочки.

Еще раз: 1) инструменты для возрастной оценки уже есть. Не вызывает никаких сомнений, что чиновниками будут также разработаны новые инструменты, в том числе дойдут они и до возрастного состава. Это реальность и неизбежность. Я вижу задачу сообщества в том, чтобы эти инструменты были более адекватными; 2) возрастной состав для собственно науки имеет мало смысла, но с точки зрения научно-образовательной системы целой страны, этот возрастной состав имеет ключевое значение (две альтернативы: "пенсионеры и студенты" vs "нормальный возрастной состав", в котором, грубо, минимум процентов 40 составляют возраста 35-55).

Возможно, что для науки (фундаментальной) было бы полезнее всего, если бы "дали денег и не мешали", сообщество само может решать что и как нужно делать. Государство при этом, конечно имеет право выдвигать требования к результатам, но только самые общие требования, не пытаясь регулировать внутринаучную жизнь. На практике это могло бы означать, что государство дает денег,  НО  требует написать N статей, получить NN патентов и т.д., но ни в коем случае не вмешивается во внутринаучные дела, как то распределение денег, формулировка тем исследований и тд. При этом государство говорит, что при улучшении показателей будет премия и увеличение финансирования на следующий год или снижение при плохих показателях и т.д. Однако, я не уверен, что российское научное сообщество могло бы в таком случае самоорганизоваться и распределить деньги оптимальным, для развития науки в стране, способом. Как Вы считаете?

Сергей Петрович,

Мы с вами обсуждаем в данном случае не одну и ту же проблему.

1. Если оставаться в рамках обсуждаемой темы оценки научных коллективов.

Критерий "до 35" это сравнительно ни к чему не обязывающий показатель при оценке коллектива т.к. в крупном коллективе всегда есть люди до 35 лет и "подстраховаться" для благополучного избежания репрессий можно за счёт перераспределения ставок и людей внутри коллектива между подразделениями. Этот инструмент можно сравнить с травматическим пистолетом в руках проверяющих, выглядит страшно, но не смертельно при приняти элементарных мер защиты коллектива. Если же будет подробное деление каждой лаборатории по возрастам с дробностью 10 лет и подробнее, либо по должностям, то это уже крупнокалиберный пулемёт в руках проверяющих, с помощью которого они смогут заведомо уничтожить любой коллектив. Экспертиза при этом превратится в расстрельные команды а сотрудники лабораторий в беззащитных узников. С тем же успехом можно дать им в руки инструмент "количество негров на квадратный метр лабораторных помещений" или "равномерность распределения сотрудников по длине полового члена". В обоих случаях абсолютно любой коллектив может быть признан неэффективным и уничтожен, независимо от его научных результатов или научного потенциала. Так делать нельзя!

2. Если обсуждать проблему более широко, не только в плане инструментов для оценки и ликвидации научных коллективов, то я считаю порочной практикой выделение неких "опричных", "особых" возрастов, которые якобы ценнее для науки, чем другие, вне зависимости от собственно научных результатов. Так делать нельзя, хоть для "до 35", хоть для "35-55", хоть для любых других.

Но, раз уж чиновники хоть что-то дают плюсом "до 35", так с паршивой овцы - хоть шерсти клок, дают ведь - не отбирают. Конечно это разбазаривание средств. Как и Сколково и нанотехнологии Чубайса и безумные закупки дорогостоящего оборудования, которое стоит годами нераспакованное на складе за неимением жалких грошей для его запуска в работу. Всё что делается чиновничьими методами волюнтаризма, "освоения бюджета", концентрации средств, приоритетных направлений, опричнины, построения коммунизма с мраморными сортирами в отдельно взятом курчатнике - всё это разбазаривание средств.

Неразбазаривание средств возможно только одним способом - распределять средства должны сами учёные без чиновников через прозрачные научные экспертизы в которых экспертами выступают действующие учёные.

За это нужно бороться, но чтобы сохранить для борьбы лучшие коллективы, нужно уже сейчас лишить чиновников тяжёлого вооружения и ни в коем случае не давать им дополнительного оружия, выбивать у них из рук, заменять на травматику, вводить общественный контроль за использованием, запрещать применение оружия массового уничтожения.

о возрастных, гендерных национальных и прочих критериях

Коллеги, мне кажется, что чем больше таких вот требований, вроде оптимального возрастного состава, тем легче идет подмена деятельности ее имитацией. Честно говоря, само требование звучит диковато. Приходит некто и начинает людей, выживших и сохранивших  в диких и искаженных условиях, судить за неидеальность фигуры и плохое качество волос и кожи. На самом деле вот эти самые несовершенные лаборатории с возрастным составом за 60, если говорить о серьезных специалистах, пока еще могли бы что-то кому-то передать, если бы целью тех, кто у власти, было бы развитие, а не удушение, и медленно, трудно, спустя лет 25-30, структура бы выправилась через этап деды+внуки к нормальной. Но, поскольку цель ставится прямо противоположная, то можно еще добавить коэффициент гей-толерантности и много чего полезного.

Это простое следствие.

В обсуждаемых "правилах" оценки лабораторий есть пункт для оценки, в котором говорится о наличии в этой лаборатории ученых до 35 лет. Предложение о том, что в критериях, если уж вообще туда какие-то возраста включать, должна присутствовать возрастная структура, и, практически прямо на нее завязанные должностные обязанности (они разные у разных типов научных сотрудников от гнс до мнс,- у всех разные и дополняющие друг друга), есть прямое следствие и развитие критерия "наличия в лаборатории ученых до 35 лет". Никого не смущает что он есть, привыкли за несколько лет? Никого также не смущает мысль, что в отсутвие поколения 35-55 любая лаборатория нежизнеспособна даже на краткосрочном отрезке времени в 10 лет?

Никакие 25-30 лет медленного развития не помогут, если после 35 лет нет никаких программ для поддержки штанов. Исполняется человеку 35 лет и он, извините, "сваливает", возрастной провал между 35 и 55 лет практически не "затягивается" при текущей поддержке до 35 лет.

нельзя все науки мерять одной меркой

Возможно предложенная структура лаборатории оптимальна для естественных наук. У математиков, например, всё не так. Каждый научный сотрудник самостоятельная научная единица. Наличие сотрудников в возрасте 35-50 лет вовсе не является обязательным для успешной работы. Если математиков уже в 30 лет не стал самостоятельным исследователем, то он им не станет никогда. Нормальный состав математической лабы: 5 внс, 2-3 снс и нс,  2-3 аспиранта. 

Конечно нельзя "мерить одной меркой"

Скажите, пожалуйста, что имеется ввиду "если математик уже в 30 лет не стал самостоятельным исследователем, то он им не станет никогда",   что означает "самостоятельный исследователь" в математике в частности? Самостоятельный математик пишет свой грант и работает по своей тематике? Что отражают позиции внс, снс, нс - стаж работы в науке?

самостоятельность

Самостоятельный, в данном случае имеется в виду, что человек  сам выбирает себе задачу и методы её решения. В естественных науках далеко не каждый исследователь может иметь собственную тему, но не потому что не хватает ума, а потому что не хватает оборудования, средств, рабочих рук. 

У математиков, насколько мне известно, внс и снс различаются только наличием докторской степени. И те и другие работают независимо.

Спасибо, понятно про математиков

В естественных науках (биология, биомедицина) действительно люди "завязаны" в первую очередь на оборудовании и не только. Если ума "хватает" - есть свои идеи, то нужно еще продумать как эти идеи реализовать, продумать план экспериментов с методами. А методов для достойной приличной работы должно быть много: работа с животными (а их нужно еще заказать), физиологические, биохимические, гистологические, мол-биологические методы, а значит нужно еще собрать команду из специалистов. Нужны гранты, в реальном доступе только РФФИ, при этом гранты маленькие, деньги поздно приходят, выкручивайся как можешь как говорится - приходится занимать в долг расходники, реактивы и пр. И если на каком-нибудь этапе что-нибудь "не срастется" - хана проекту. Послали статью в профильный журнал JBC, прислали рецензии, похвалили и предложили доделать. Как? Грант кончился.

По поводу внс и снс, и как докторская степень зависит от самостоятельности и результатов работы? По идее, докторская должна означать больший опыт работы.

По поводу структуры и должностных обязанностей

Сергей, в разных науках надо полагать действительно "по-разному", каждый видит (как правило) ситуацию в своей области и начинает горячо спорить. Поясните, пожалуйста, что вы имеете ввиду говоря "должна присутствовать возрастная структура, и, практически прямо на нее завязанные должностные обязанности (они разные у разных типов научных сотрудников от гнс до мнс,- у всех разные и дополняющие друг друга)", может быть возможно пояснить на каком-нибудь достаточно конкретном примере?

Вряд ли возможно "привыкнуть" к критерию "наличия в лаборатории ученых до 35 лет" и к тому, что после 35 нет никаких программ. Но спец-программы "по возрастам" - это тоже не очень понятно. Сотрудники до 35 ценятся потому, что "статистику" улучшают, а после - ухудшают, это когда "средний возраст" считают, особенно при наличии достаточно большого количества людей старшего возраста. Возраст после 35 лет, 35-55  - это (по идее) люди с опытом и при этом активно работающие. Да, они уходят и будут продолжать уходить (по разным причинам), причем уходят часто талантливые. Возраст до 35 - показатель ненадежный, кроме того кто-то уйдет и до 35, защитив кандидатскую (и тоже по разным причинам). Понятно что разрыв растет и будет продолжать расти.

опыт тоже, но в математике количество опыта не главное

Поскольку "чистая" математика далека от приложений и практической пользы, математические результаты бессмыслено суммировать как суммируют доходы. Несколько упрощая ситуацию можно сказать, что один результат уровня А  важнее 100 результатов уровня В.  Опыт важен в том смысле, что если у математика  уже есть результат уровня А (тем более два или три), то достаточно высоки шансы, что он получит ещё один. В то время как 5 или 20 результатов уровня B повышают шансы получить результат уровня А не сильно. Конечно если совсем нет результатов даже уровня В, то вероятность получить результат уровня А ничтожна.  Математики в идеале примерно так представляют ситуацию: кто получил результат класса А тот доктор, кто только В - тот кандидат.  Кто получал результаты уровня А - тот может научить этому других, поэтому может руководить аспирантами. А возраст и соответственно опыт работы не так важен. 

В частности, математиков сильно раздражают всякие наукометрические показатели поскольку они количественные, а традиционные экспертные оценки качественные. 

Из дискуссий здесь и не только здесь

Интересно, что математиков раздражают наукометрические показатели, и все их понимают. Мол вот у них не так как в ЕН, и мы их понимаем. Гуманитариев тоже раздражают наукометрические показатели, но их понимать наотрез отказываются. Мол вы должны быть как "все".

Наукометрические показатели раздражают всех

Проблема в том, что никто пока не предложил ничего лучшего. Прямая экспертиза - это здорово, но мало того, что это очень "дорого" (с точки зрения времени и человечески ресурсов), так еще и не могут договориться, кто эту экспертизу должен проводить.

Нужен учет специфики

Самое печальное - это когда гребут под одну гребенку и естественников, и математиков, и гуманитариев. Свежий пример на тему: в СПбГУ в этом году в конкурсе публикационной активности имеют ненулевой рейтинг только статьи, публикуемые в Scopus и Web of Science, монографии - в  издательствах, список которых

"опубликован на сайте Web Of Knowledge (bttp://wokinfo.com/mbl/publishersA) по

состоянию на 26.08.2013"(цитата из приказа)

+ небольшой список российских издательств, которые мы же, филологи, и предложили, написав обоснования (издательства Наука, Языки славянских культур, Индрик). Издательство самого СПбГУ в этот перечень не вошло (мы не написали, потому что времени не хватало, да и была надежда, что кто-нибудь догадается написать - ан нет, никто не написал обоснование, а проректор по науке СПбГУ для конкурса публикационной активности СПБГУ не посчитал нужным это издательство включить.

Но это преамбула, теперь итог по филологам. Подано 56 заявок (формировались системой ИАС автоматически, похоже, что публикации туда включались по условиям конкурса, принятым в прошлом году). Из этих 56 ненулевые рейтинги (но близкие к тому) имеет 21 заявка. Что неудивительно: в Web of Science российских филологических журналов нет вовсе, в Scopus - два: один для литературоведов (Вопросы литературы) и один для лингвистов (Вопросы языкознания). Монографии филологов, кстати, если и публикуются в западных издательствах, то по прошествии нескольких лет после публикации "дома", когда на автора уже "выходят" западные издательства.

Теперь к вопросу - что делать. Мне думается, что если аргумент "эксперты - дорого, да и не знаем, как организовать", то разумно пойти таким путем: оставить наукометрию для тех областей знаний, где она адекватно работает, а для других (возможно, математика, точно - филология) нужно применять только экспертную оценку. Возможно, с учетом данных по РИНЦу, где в филологии все выглядит не так безнадежно, как в упомянутых выше базах данных.

 
Да она (наукометрия) и в физике не работет

У теоретиков в десятки раз больше публикаций, чем у экспериментаторов, при этом количество авторов зачастую в сотни раз меньше. Но вопрос-то не в этом.

Вопрос в том, как устроить ту самую экспертную оценку, о которой все говорят. Лично я не знаю ни одно случая, где эта самая экспертная оценка была бы явно и эффективно использована. Конечно, гранты раздают эксперты, но там анализируется все-таки не деятельность ученого, а суть заявки. Да и количество заявок на гранты существенно меньше, чем количество ученых. 

Поэтому вопрос: конструктивные идеи (то есть с планом реализации) по тому, как сделать "хорошо", не прибегая к наукометрии есть?

Ответ - никак

До наукометрии надо додеградировать. У нас нат экспертного научного сообщества. Да и есть ли вообще научное сообщество - еще вопрос.

Защита диссертаций - чисто экспертная оценка. Вам напомнить, что показала массовая проверка по поводу некорректных заимствований 14000 диссертаций по истории в РГБ ?

Другое дело, как эту наукометрию применять в зависимости от областей наук. А так в РФ мы до нее уже  додеградировали.

""". Конечно, гранты раздают эксперты, но там анализируется все-таки не деятельность ученого, а суть заявки. """

То есть обещания... На самом деле при нормальной экспертизе и при 10 заявках на место прежде всего в короткий список отбирается 3-4 экспертами именно по наукометрии. А уж их рассматривают по существу. Если эксперты в своем уме, то верят обещаниям только тех, кто показал, что может сделать то, что обещает. А то такие певцы "планов и перспектив" есть. И этих певцов у нас больше, чем реальных людей.

 

 

и в зоологии WoS-наукометрия некорректна

В зоологии, хотя это класическая естественная наука, наукометрические показатели, особенно основанные на WoS, также дают совершенно некорректные показатели. В основном из-за того, что иноязычные коллеги большей частью не публикуются в журналах WoS, даже англичане и немцы. Хотя всеми ругаемый РИНЦ более-менее адекватно оценивает русскоязычный зоологический сектор.

опять про экспертизу и наукометрию

У меня такое впечатление, что отношение к наукометрическим показателям зависит от того в какой области работает исследователь, точнее от того сохранилось (сложилось) ли в этой узкой области научное сообщество. Даже в математике, которая кажется благополучной по внешним признакам, в разных разделах ситуация сильно отличается. Если в России нет сообщества, то невозможно организовать квалифицированную экспертизу местными силами. И жалобы на нелепые экспертные заключения можно теперь читать в интернете после каждого конкурса РФФИ.

Лошади Калигулы

Власть доказывает самой себе свою силу своеобразным превышением своих прав, увенчивая какое-нибудь ничтожество пальмами успеха, оскорбляя гения, единственную силу, не подвластную деспотам. Возведение в сенаторы лошади Калигулы, этот императорский фарс, никогда не сходил и не сойдёт со сцены (Бальзак, «Блеск и нищета куртизанок»).

Тот, исторический Калигула сделал сенатором только одну свою лошадь. Ныне лошади Калигулы составляют большинство в законодательной и исполнительной власти, а также на всевозможных ответственных постах. Правят они по принципу, провозглашённому одной такой в госдуме: «Пусть говорят, что угодно, а мы сделаем, как сказано» (это об отмене надбавок за степень). Другая недавно объявила, что профессора в подчинённом ей университете получают по 70 тыс. Третья, поставленная руководить наукой на правах единоначалия, объявила бюджет: Фане 92 млрд (1008 подведомственных организаций), РАН 4 млрд. (0 организаций – тогда деньги-то на что? на стипендии академиков? или ремонт их дач, или на что-то ещё?). http://www.saveras.ru/archives/tag/%D0%BA%D0%BE%D1%82%D1%8E%D0%BA%D0%BE%... .

Итоги обсуждения регламента оценки научных организаций

Коллеги,

Закончено общественное обсуждение регламента. Большое спасибо всем, принявшим участие в дискуссии. Новый и старый регламенты, рубрикатор и подробный разбор поступивших предложения, а также разработчиков на эти предложения можно найти по ссылке: http://www.rascommission.ru/index.php/documents/statements/63-otsenka

Взгляд со стороны

Уважаемый Андрей Кимович, не знаю из чего исходили члены комиссии, но смею обратить ваше внимание, что "почвоведение" никогда не входила, не входит и надеюсь не будет входить в "Науки о Земле".  Прежде чем самовольничать, можно было проконсультироваться с почвоведами: таковые присутствуют и в ОНР.  И еще кстати: почвоведение имеет более значительную историю и куда значимее научные успехи, чем "экология и рациональное природпользование". Тем более, что, "рациональное природопользование" - это вообще не наука, а скорее разновидность хозяйственной деятельности. Вывод: увы, дитя (рубрикатор) явно не доношено.

рубрикатор по математике

Почему такой краткий? Чем стандартный MSC2010 не годится? Например, под "математические основы информатики" вся CS подходит. Специалистов  столь широкого профиля не бывает. 

Коллеги, боюсь ваши замечания опоздали

обсуждение было объявлено почти месяц назад и сейчас закончилось, одкако можно, наверное, попробовать послать по адресу 2-ой группы Комиссии общественного контроля ваши соображения об изменении рубрикатора

Создатели не пожелали услышать

про общепринятый профессиональный  классификатор в математике и в Computer Science, хотя говорилось им об этом с самогот начала и неоднократно.

Это еще раз указывает на полное отсутствие нормального экспертного сообщества в Росии.  

Не только чиновники МОН не слышат экспертов, но и "общественники"  тоже, а "обсуждение"  на сайте является просто ширмой для протаскивания своих решений.

В этой ситуации трудно поверить, что и весь проект "Охранная грамота" не ширма для защиты  интересов довольно узкого круга  среднего звена руководства РАН?

Согласен

Я послал свою версию по CS на основе нового классификатора ACM, мне обещали обсудить, но увы...

Math и CS

Насколько понимаю, статус и Math., и CS пока - незавершенные. По мат-классификатору предлагают связаться  напрямую с разработчиками, по CS нет даже координаторов для обсуждения.

Мы уже давным давно связывались - слушать не желают

В ответ называют 2-3 фамилии создавших этот рубрикатор. Математики хорошие, спору нет.

Просто для сведения -  для обновления рубрикатора AMS раз в четыре года  сначала анализируют Mathematical Review и Zentrablatt Math - две крупнейших профессиональных базы данных по публикациям американского и европейского сообщества математиков. Затем проводится опрос  десятка тысяч математиков по всему миру , проект изменений обсуждается на специальных сессиях Конгресса   и только затем математики  принимают этот рубрикатор официально.

Аналогично поступают и в сообществе Computer Science - там только в силу специфики рубрикатор обновляют почаще.

Итак, на одной чаше весов работа тысяч математиков по всему миру, а на другой мнение пары московских экспертов, и о чудо!  весы "комиссаров" без всякой там капли сомнений выбирают именно своих.

Абсолютно аналогично поступают и чиновники МОН, когда слушают только своих советников и плюют на мнение остальных.  Так чем же тогда одни лучше других?  Ничем. 

Если Вы связывались напрямую

Если Вы связывались напрямую с "2-3 фамилиями", что было ответом?

Я также обсуждал это в рабочей группе. 2-3 человека не написали рубрикатор сами, а взяли за основу (не проверял) рубрикатор Конгресса математиков. Вообще зацикливаться на рубрикаторе не следует. Это инструмент для подбора экспертов. Слишком подробный затруднит подбор, т.к. скрывает некоторые данные о близости рубрик. В любом случае рубрикатор - не повод стулья ломать.

Между крупными учеными и чиновниками МОН разница колоссальна: в мотивации, понимании науки, независимости/зависимости от не связанных с наукой интересов власти. 

Увы, в научной среде не всегда на высоте культура доброжелательного обсуждения.

Друзья, прекрасен ваш союз!

Приятно видеть, как два умных человека говорят правильные вещи. Т.е. спор идет с кем-то третьим, невидимым.

Проблема в том, что этот невидимый - это мы сами, многие из нас. Сколь бы ни была велика разница между учеными и чиновниками, если не будет конструктивного диалога между ними - не будет изменений к лучшему. Пока со стороны ученых лишь жалобы и предупреждения. Нужны предложения, но, видимо, такие, которые способны привести к компромиссу. Пока таковых мало.

Например, математики говорят, что им не подходит WoS и точка. Но ведь есть у них свои списки престижных журналов (точно знаю, что в ПОМИ есть список А и список В). Почему никто не сравнил их с WoS - сколь велика разница? Почему бы не постараться включить в WoS  те журналы, которых там еще нет? Да, это требует сил и времени. Но жить потом будет легче. И это только один пример...

уточнение

По поводу рубрикатора. Хотелось бы прочитать какое-либо обоснование почему он лучше стандартного. Кроме того, рубрикатор нужно углубить хотя бы на один уровень. Просто непонятно в какой из разделов включаются некоторые дисциплины: функциональный анализ или теория вычислимости к примеру. 

По поводу WoS. Насколько я понимаю математикам в первую очередь не нравятся наукометрические показатели (хирш, импакт-фактор), а не конкретная база данных. Мне кажется в WoS уже есть почти все приличные математические журналы. Статистика по MathSciNet обычно больше нравится математикам, поскольку в WoS более многочисленные ссылки в прикладных работах почти полностью уничтожают влияние менее многочисленных ссылок в математических журналах . Например, у меня в WoS ссылок на одну пустяковую статью по биоинформатике больше, чем ссылок на математические работы вместе взятые. 

Как уже неоднократно указывали, список из нескольких сотен авторитетных математических журналов имеется в MathSciNet. Список математических журналов в WoS, по крайней мере в интересующей меня области - дискретной математике,  от него почти не отличается. 

Ну чтоже, давайте конкретно, с фамилиями

Фейгельман  и Цирлина при обсуждении рубрикаторов с расширенным советом ОНР  написали что рубрикатор по математике создан Кричевером и одобрен Ландо. В этом же письме Фейгельман спрашивает меня откуда вдруг взялся "неизвестный никому" классификатора AMS.

В следующем письме он утверждает, что и PACS и MSC давно устарели и что именно они создают новый инновационный  продукт, который превосходит все что создано на западе  и который скоро признают во всем мире. После этого мне с ними разговаривать расхотелось - эти  же письма наверное и у Вас в ящике еще лежа, так что проверить мои слова очень просто.  Там же есть письмо А.М. Сухова, который перевел на русский основную первую ступень международного классификатора по CS. 

Если Вы тоже не понимаете крайней важности рубрикаторов, то разговаривать нам действительно бесполезно, так как я  считаю, что 25% организаций РАН  как снизу так и сверху, точно так же как и топ 20% журналов, точно так же как средние показатели цитируемости, средние хирш-факторы и прочие средние индикаторы  определяют именно по РУБРИКАТОРАМ. Именно поэтому  использование стандартных международных рубрикаторов, вместо слепленных на скорую руку и выгодных вполне конкретным персонажам,  является одним из самых важных вопросов.

Конкретно -  если в  Computer Science  всё будет по прежнему  свалено в одну рубрику и в этой общей куче потребуется выделить 25% лучших, то ни один эксперт не сможет этого сделать по человечески просто потому, что CS слишком большая и неоднородная область науки.

Точно также в геометрии эксперт по дифференциальной геометрии, не может судить о  людях занимающихся алгебраической, симплектической, контактной  и прочими геомериями. Ну за исключением уходящего поколения ученых типа Арнольда, Гельфанда и т.д.  

1. Ясно, с И. Кричевером,

1. Ясно, с И. Кричевером, М. Цфасманом, С. Ландо, делавшими мат-рубрикатор, Вы не связались.  М.В. Фейгельман писал мне: "Математиков,  желающих обсуждать его изменение или написание нового классификатора, я прошу связаться с упомянутыми коллегами,  либо с  председателем московского математического общества Виктором  Васильевым". У меня из-за занятости не было возможности это сделать, хотя был ряд конкретных предложений, включая использование MSC. Но другого пути нет. Обсуждать это надо не с 1 физиком и 1 химиком, а с математиками. Нужна коллективная работа. Просто выкинуть то, что предложено математиками, и поставить MSC не получится.

2. Речь шла о рубрикаторе для экспертной оценки лабораторий. Топ 20% журналы и средние хирш-факторы от этого довольно далеко. Напротив, основной подход - оценивать, читая работы, а не по косвенным индикаторам. 

3. Конкретно, что MSC устарел, насколько помню, никто не утверждал. Если это не так, дайте подтверждение. Критиковался  PACS, для чего у физиков есть основания.

4. Никто не собирался сваливать CS в одну кучу. По этому разделу работа еще не сделана. Для нее нужен координатор. Обсуждался вариант привлечь А.П. Кулешова. Возможное решение использовать международный класс-р здесь тоже может быть принято лишь специалистами. Так, физики выбрали существенную модификацию.

5. Зачем выделять 25% "лучших", да еще по индексам?

Не стоит заниматься ерундой

Смешно, покажите мне хоть одного нормального математика, который имея свободный доступ к MathSciNet будет пользоваться рубрикатором Кричевера?  

Есть наука международная, а есть наука региональная - остальное все слова. Например, математика или Computer Science науки международные и делать для них российский рубрикатор привлекая хоть Кулешова, хоть еще кого, просто глупо.

Это удалось донести до некоторых чиновников  В итоге МОН через НЭИКОН подпишет всех на международные базы за 900 млн.  на пару лет. Кому тогда станут нужны эти доморощенные рубрикаторы, если у всех будет полный доступ к нормальным международным базам данных с их стандартными рубрикаторами и огромным множеством инструментов, основанных именно на этих рубрикаторах.. 

Заодно теперь каждый сможет посмотреть что такое научные стандарты, какой средний хирш-фактор в той или иной области знаний  и, например, проверить что некоторые институты физики все же занимаются гинекологией, что подтверждается реальными статьями, а не голословными утверждениями их руководства. 
 

С другой стороны, региональные (социо-гуманитарные) российские  журналы войдут в WoS с индексацией, поиском на русском языке и всеми остальными прибамбасами.  Вот тут бы и поработать над своими рубрикаторами для включения их в WoS, но некогда, надо неизвестно кого от неизвесно кого защищать.

Выбор рубрикатора

Выбор рубрикатора определяется целью. 

Неверно, что MSC - на все случаи жизни.

Есть детально разработанный List of academic disciplines, где рубрикатор по математике короче, чем MSC и сильно от него отличается. 

arXiv пользуется своим классификатором - математики к нему привыкли. 

Есть классификатор of MathEduc Database, также отличный от MSC. Наконец, есть классифиткатор  of International Congress of Mathematicians, который, заметим, не повторяет MSC. Он и был взят разработчиками за основу в данном случае.

Для CS есть CCS, разработанный ACM, а есть INSPEC. И т.д.

Делать какие-либо оргвыводы на основании сравнения хирша ученого со средним хиршем по области все равно нельзя. По крайней мере, в математике. Это консенсус математического сообщества.

 

И если уж толковать о Mathematics Subject Classification 2010,

И если уж толковать о Mathematics Subject Classification 2010, то важно понимать, что она занимает 46 страниц по 80 строк на странице в 2 столбца (см. приложение) и содержит примерно 6000-6500 категорий на 3 уровнях. Для подбора экспертов это, пожалуй, слишком дробно. А двух уровней достаточно в некоторых разделах и совершенно недостаточно в других. Так, многие элементы 2-го уровня - целые большие теории (теория графов, теория игр, математическая экономика, теория оптимизации, исследование операций и т.д.), которые значительно шире, чем область экспертизы нормального эксперта.  

Ну да, российское лучше, особенно экспертиза

Свежее подтверждение:
http://echo.msk.ru/blog/a_ivanchik/1237112-echo/

"Получила продолжение скандальная история с проф. И.И. Абылгазиевым, полковником запаса, бывшим главным федеральным инспектором в г. Москве, который недавно стал и.о. директора ИСАА МГУ, а заодно является членом экспертного совета ВАК и председателем международного экспертного совета РГНФ.
Его докторская диссертация привлекла внимание Диссернета, о результатах анализа которого уже сообщали СМИ: «Оказалось, что основой его докторской диссертации стали скомпилированные куски из нескольких чужих диссертаций и других источников»

Ну что же, на это позорище российские востоковеды шли с открытыми глазами. Никто из них не может сказать, что не знал, за кого голосует. Более того, голосование было тайным, и можно считать, что директора себе ученый совет ИСАА выбрал свободно, никто не может ссылаться на то, что он был навязан сверху. То есть профессора ИСАА сами, прекрасно понимая, что делают, решили, что отставной чиновник со скомпилированной диссертацией (зато настоящий полковник) достоин руководить одним из двух главных российских центров, где учат будущих востоковедов. Такое вот самоуправление ученых."

ИСАА - особое место. Подбор

ИСАА - особое место. Подбор экспертов в общественных и гуманитарных дисциплинах - специальная задача.

из более подробного легче сделать менее подробный

У MSC, сокращённого до двух уровней, как минимум имеется такое преимущество: всегда можно выяснить какому большому разделу принадлежит конкретный раздел. Возможно некоторые разделы второго порядка широки, но экспертов по ним всё равно не много. Если разбивать на подразделы, например, теорию графов, то все комбинаторщики окажутся сами себе экспертами.

Возможно, для целей этого

Возможно, для целей этого проекта MSC не идеально сбалансирован. Там примерно 65 разделов 1-го уровня, что много, а на втором нередко 3, 2, даже 1 рубрика. Для сравнения, в перечне академических дисциплин всего 7 разделов 1-го уровня и до 15 на втором. Хуже другое. Сравним перечисленные выше рубрики 2 уровня (теория графов, теория игр, математическая экономика, теория оптимизации, исследование операций и т.д.) с теорией чисел, у которой в MSC 20 рубрик второго уровня. Кого у нас больше, теоретико-числовиков или мат-экономистов (вон - целый ЦЭМИ) и специалистов по графам и применению их к разнородным сетям? Разве всякий хороший матэкономист из ЦЭМИ может быть экспертом для любого другого? Нет, конечно: там десятки микро- и макро- моделей, между которыми ничего общего. Для сравнения, в перечне академических дисциплин теория чисел делится не на 20, а на 3 рубрики: аналитическая, алгебраическая и геометрическая. Возможно, в наших условиях это "теплее", чем 20. А исследование операций делится там на 11 рубрик. Это не значит, что надо просто взять перечень академических дисциплин - с ним тоже много проблем. Это значит лишь, что недостаточно механически взять 2 уровня MSC. Нужна работа по настройке "глубины" и, возможно, по комбинированию с др. рубрикаторами.

Ну если цель сохранить status quo, то несомненно MSC безнадежен

Старая песня - "Умом Россию не понять, Аршином общим не измерить". Все учреждения особые, всем требуется особый подход, особые эксперты и особые рубрикаторы.  

Пример особых экспертов ИСАА я уже приводил, теперь пример особого академика Тишкова
  "Помимо предновогодних терактов и общественной прострации (частично со злорадством вместо демонстрации солидарности), продолжаются безответственные слова и действия по разрушению национального брэнда - Российской академии наук и статуса академика в научном сообществе. Вчера "диссерграф" выдал злобный понос в адрес Отделения историко-филологических наук по причине обнаруженных изъянов в научной репутации одного из академиков. Когда я начинал работу в качестве заместителя председателя комиссии по проверке диссовета Данилова, то не думал, что полезное и сложное дело окажется в руках людей, готовых безаппеляционно судить все наше сообщество, у которого оказывается нет ни настоящего, ни будущего. В ОИФН РАН, которым я руковожу с весны 2013 года, состоит 23 академика и 56 членов-корреспондентов, и могу уверенно сказать, что от академика Ананьича до академика Янина они на сегодня составляют цвет российской исторической и филологической науки. И сегодня, и завтра они будут оставаться примером по многим ипостасям, включая научную репутацию. Поэтому мой совет тем, кто решил продолжать начатое нами дело с диссертациями, не становитесь хунвэйбинами!"

Еще раз,  математика это НАУКА и не надо ничего больше выдумывать  - сначала у вас будут российские рубрикаторы, российские методы оценки ученых, исключительно российские эксперты и т.д. и т.п.  

Легко заметить, что ни о

Легко заметить, что ни о каких новых рубрикаторах и особых экспертах в моих комментариях не говорилось. Еще раз: речь шла о настройке глубины и, если надо, - комбинировании общепринятого - там, где это отвечает целям проекта, т.е. облегчает подбор экспертов.

конечно не сбалансирован

Несомненно российская математика уже не покрывает все разделы. Где густо, а где совсем пусто. Поэтому для создания каких-то экспертных комиссий рубрики придётся объединять. Конкретно насчёт теории графов возражаю: то о чём Вы пишите это приложения теории графов и относится к CS или матэкономике. Если физик решает диффуры, он не становится из-за этого диффуристом. Хотя вполне может разбираться в теории дифуравнений гораздо лучше математиков, которые специализируются в других областях. Как раз журналы, в которых печатаются статьи по теории графов, я просматриваю, авторефераты диссертаций по специальности 01.01.09 читаю и могу с уверенностью сказать, что математиков, которые развивают теорию графов в России, совсем немного. 

Согласен, но лишь отчасти.

Согласен, но лишь отчасти. Как физики внесли огромный вклад в ДУ, так прикладники продолжают развивать теорию графов. Так уж устроена сегодня наука: в международных журналах, скажем, по математической химии Вы найдете много чисто графовых статей, в которых есть интересные теоретические вещи... Особенно это относится к алгебраической/спектральной теории графов. У нас такие люди по каким только специальностям не защищаются - отнюдь не только по 01.01.09. "Посчитать" тех, кто, имея в виду приложения, развивают теорию графов, довольно трудно, но предположу, что их больше, чем теоретико-числовиков, имеющих 20 рубрик. Причем больше не только в России, но и в мире.

Это реально? Про MathSciNet?

Это реально? Про MathSciNet? В принципе институт математики СОРАН имеет такой доступ, но вся Сибирь, вокруг Академгородка:)), только завидует паре сотен избранных.  Я имею доступ, но это благодаря личным связям, а отнюдь не благодаря заботе партии и правительства. Если бы каждый вуз имел доступ в такие международные базы данных, типа MSN или СentralBlatt, не надо было бы и огород городить со всеми этими РИНЦ-ами и прочим местечковым промыслом. Сдается мне, что на самом деле деньги тут сравнимые, но выгода от получения доступа с одной стороны гораздо больше -- для реальных ученых, соответственно риски для халтурщиков, имитаторов и прочих методистов гораздо больше.

Конкурс объявлен, а там посмотрим что из этого выйдет

27 декабря МОН объявило открытый конкурс на:
1. Обеспечение международными и российскими лицензионными данными ведущих индексов о публикационной активности российских ученых (136 млн. руб.)
2. Обеспечение лицензионного доступа к международным индексам научного цитирования (558 млн. руб.)
3. Обеспечение лицензионного доступа к полнотекстовым международным базам данных (308 млн. руб.)

Шифр лота: 2014-14-596-0001  и т.д.

То есть между скажем

То есть между скажем MathSciNet и потребителем будет выбираться посредник, который собственно и будет продавать услугу? Иначе зачем конкурс? По математике ровно две базы, достойные внимания. Что тут выбирать?   Мне кажется и по другим наукам так же, нет?

Кстати, о рубрикаторах и пр. Можно взять тот же MathSciNet и собрать по каждому разделу (рубрике, области ...) наиболее цитируемых русскоязычных математиков. Вот вам эксперты, при этом рубрикаторы можно вообще не трогать, а просто следовать тем, что уже есть в этой базе. Можно и по ZentralBlatt, вопрос вкуса:)), но я бы предпочел MathSciNet. Они проделали просто гигантскую работу по оцифровке статей чуть ли не до журналов 19-го века. 

Полное название

базы - American Mathematical Society MathSciNet Mathematical Review. Именно они с zbMATH и создали рубрикатор MSC, как следствие  обе эти базы построены нацеликом этом рубрикаторе. Например,  нажмите на их сайте кнопку "Бесплатные средства"  и сразу попадете на поиск по MSC - хоть статей, хоть журналов, хоть экспертов.

Для поиска экспертов даже этого не надо, открываем список Fellows of the American Mathematical Society
http://www.ams.org/profession/ams-fellows/ams-fellows
выбираем читающих на русском и получаем список экспертов признанных во всем мире.

Что касается посредника, то им скорее всего будет НЭИКОН - подписка на все основные базы данных оптом дешевле, чем покупка подписки разных наборов  баз данных для множества разных организаций 

 

 

Для поиска экспертов даже этого не надо, открываем список Fellows of the American Mathematical Society
http://www.ams.org/profession/ams-fellows/ams-fellows
выбираем читающих на русском и получаем список экспертов признанных во всем мире.

Не знал такой опции, спасибо. Но тогда и вопрос (ко всем), а чем такой путь плох? Ну хотя бы, чтобы начать? Есть практически готовая база данных по экспертам, зачем спрашивается свои глиняные свистульки делать? Из патриотизма:))?

 

Там 1000 с небольшим человек,

Там 1000 с небольшим человек, из них по-русски читают хорошо, если 80, из них согласится участвовать хорошо, если половина. Этих 40 человек надо звать, но это капля в море на 300-500 позиций классификатора. Например, из РАН там 5 человек всего. 

Из РАН всего 5 и именно поэтому плохо?

Все зависит от того в чем участвовать - например письма сенаторам подписывают почти все, в работе NSF участвуют тоже практически все, проводят оценку Универов почти все и т.д. и т.п. Согласно опросу читают или читали русские статьи и учебники больше половины.  

А как Вы собираетсь искать экспертов по рубрикатору Кричевера? Ни одна профессиональная база данных его не поддерживает. Так что сядут 2-3 человека начнут  вручную по неизвестно каким критериям набирать кто кого  вспомнит:)  Классная легитимность будет у этих экспертов, за отбор которых не несет хотя бы моральной ответственности ни одно из профильных профессиональных сообществ.

10 лучше, чем 5, а 15 лучше,

10 лучше, чем 5, а 15 лучше, чем 10. Русские учебники читали гл.обр. в переводе - см. в прилож. книжную полку моего коллеги в Бельгии.

Я также критиковал тот рубрикатор. Но в любом случае 2-3 человека набирать "кто кого  вспомнит" не будут.  Выбранные по изящной библиометрико-опросной методике эксперты могут указать свою компетенцию по любому рубрикатору. Тут принципиальных проблем нет. 

По вашей логике 1000 из РАН лучше 1000 из списка AMS

За выбранных по "изящной библиометрико-опросной методике" экспертов  никто не несет никакой ответственности.  Любой из участников "изящной" процедуры может сказать, что он то лично свой выбор сделал хорошо, а в остальном так уж получилось. В результате все как всегда -  "Кто сшил костюм?... Ребята, вы хорошо устроились..."

В отличие от этого "изящества", за выбор AMS fellows несет официальную ответственность конкретная профессиональная организация математиков. Причем в условиях организации американской науки это далеко не просто моральная и репутационная ответственность, так как за 144 млн, которые NSF получит в 2014 году, между профессиональными сообществами ученых идет весьма неслабая борьба и любой репутационный прокол тут же выливается во вполне конкретные суммы.

Вам видно этого не понять, по вашему принципиальной разницыв выборе экспертов  нет, так как вся наука только в РАН, все эксперты только в РАН, все будем делать только сами и не надо нам никаких западных рубрикаторов и международной экспертизы. Все понятно, говорить больше не о чем...

К заголовку. Отвечаю: никакой

К заголовку. Отвечаю: никакой такой "логики" у меня нет, и я не вижу способа вывести это из моих высказываний. 

Проблема внешней ответственности за экспертов представляется мне несколько надуманной. И не только в наших условиях. Это не детский сад; эксперты, прежде всего, сами отвечают своей репутацией. Претензию, предъявляемую AMS за "неправильную" экспертную оценку, полученную от ее fellow, я плохо себе представляю. Резонный ответ АMS: да, он получил "fellow" за свои заслуги и волен иметь свое мнение. Если обнаружен факт коррупции, то история совершенно другая. "Библиометрико-опросная методика" Корпуса экспертов достаточно убедительна, чтобы считать выбранных с ее помощью экспертами.Что еще надо?

При этом я согласен с Вами, что профессиональные организации крайне важны. Между прочим, Московское математическое общество - одно из самых старых в мире. Есть, наконец, множество российских членов АМS, и идею обращения к AMS fellows я считаю правильной. 

Насчет же этой Вашей реплики:

"Вам видно этого не понять, по вашему принципиальной разницыв выборе экспертов  нет, так как вся наука только в РАН, все эксперты только в РАН, все будем делать только сами и не надо нам никаких западных рубрикаторов и международной экспертизы."

меня, признаться, просто оторопь берет! Здесь нет ничего общего с моими взглядами, постоянно и, как мне казалось, ясно излагаемыми. Можно было бы привести конкретные противоположные высказывания, если бы это имело смысл.

Добрый Александр Львович Фрадков недавно здесь написал: "Друзья, прекрасен ваш союз". Я и сам хотел бы так думать, но, похоже, он выдает желаемое за действительное. И проблема совершенно не в том, что я недооцениваю исходящие от Вас идеи. 

по воводу экспертов

Павел Юрьевич, по поводу экспертов и Корпуса экспертов в частности. Вы пишите: ""Библиометрико-опросная методика" Корпуса экспертов достаточно убедительна, чтобы считать выбранных с ее помощью экспертами." "Достаточно убедительна" для какой (-их) областей наук? Понятно, что каждый рассуждает исходя из своей области. Что касается экспериментальных (фундаментальных, не прикладных) областей, то относительно большие библиометрические показатели люди старшего поколения, часто занимающие административные должности, а также люди "сидящие на методе" - по сути квалифицированные, но технические (!) работники, по сути люди из кор фасилитис (заграницей их не включают в соавторы в принципе). Может ли быть технический работник экспертом, в чем он может быть экспертом, если метод (-ды) хоть и сложные, но стандартные.

Увы, (функциоинирующих) научных обществ в России раз два и обчелся. А ведь именно они (общества) должны нести ответственность за (квалификацию) экспертов и качество экспертизы 

О подборе экспертов
Елена Николаевна, в методике Корпуса экспертов используется такой ход: люди с достаточно высокими библиометрическими показателями опрашиваются и указывают тех, кто, по их мнению, являются экспертами (имея, возможно, невысокие библиометрические показатели). И в Корпус экспертов включаются названные в опросах не менее определенного числа раз. Этот ход сильно смягчает давление библиометрии. Лидеров библиометрии считают компетентными не столько в профессиональных вопросах, сколько в вопросе "Кто являются экспертами?". А далее ведь можно и механизм "снежного кома" включить, спрашивая названных экспертов, кого они считают экспертами. Безусловно, только специалистам в каждой области судить, выходит такой алгоритм в конце концов на самых компетентных специалистов или же они так и остаются за бортом. Например, в лингвистике пошли иным путем, не задействуя библиометрию (точнее, задействуя ее иначе). Об этом писала Анна Дыбо.
Еще одна ремарка.  Вы упомянули людей старшего поколения, у которых библиометрия лучше. В Корпусе экспертов используется двухвариантный критерий: в список включаются люди с высокими показателями за всю карьеру и кроме них - люди, преодолевшие вдесятеро более низкий порог публикациями последних 7, кажется, лет. Все эти пороги можно настраивать в каждой области.
Что касается научных обществ, мне кажется, самое лучшее - международные общества или их национальные секции. Например, American Mathenatical Society, - это всемирное общество. Если спросить американских математиков: "А нужно вам чисто американское общество?", мне кажется, они вряд ли найдут в этом смысл. Но в разных науках - по-разному. Например, недавно образована "Новая экономическая ассоциация" (российская), и это хорошо.

 

про научные общества

Кто ж спорит, что общества должны быть международными. Но ведь международное общество состоит из обществ разных стран, в биологии, биомедицине это так. Я пробовала смотреть что в наших областях функционирует, тем более в международном формате - очень и очень мало. На сайте международного (например, общества молбиологов и биохимиков) для того чтобы стать членом общества достаточно вступить в члены в своей стране (достаточно, в смысле это единственный путь). Да, на сайте международного общества есть мэйл секретаря российского общества (своего российского сайта нет), написала - ни ответа, ни привета. Еще с одним обществом примерно такая же ситуация, хотя может еще удастся "достучаться".

Да, это выглядит запредельно.

Да, это выглядит запредельно. В математике - не так. Но ведь и в ОНР есть видные представители этих СОобществ - можно, наверно, действовать и через них. У А.В.Цыганова была дельная идея, что ОНР мог бы быть "крышей" (в хорошем смысле) - ОК, зонтиком над разными профессиональными сообществами.

Повторю пример историков

коллеги пытаются создать организацию используя фейсбук
Историки России - проблемы самоорганизации
https://www.facebook.com/groups/719554008068642/

если есть желание, то не нужно ни РАН, ни saveras, ни другие комиссии. 

Приглашаются специалисты вне Natural Science

Дорогие коллеги,

разработчики этого проекта и "Охраной грамоты" (http://www.rascommission.ru/index.php/protection) приглашают к сотрудничеству заинтересованных представителей наук, не относящихся к Natural Sciences, обещают методическую и техническую поддержку.

Писать им можно по адресу: rascommission.group2@gmail.com

 

 
а мне непонятно кто я теперь?

я занимаюсь ветеринарной вирусологией и микробиологией

куда по классификатору можно меня и моих коллег отнести?

Кстати, почему молекулярные микробиология и вирусология это естественные науки, а просто микробиология и вирусология - нет? Почему медицинская вирусология есть, а паразитология - нет?  Какое отношение поиск антибиотиков имеет к естественным наукам, разве это не сугубо прикладное направление? Если нет - то где тогда раздел биохимии посвященный поиску противовирусных препаратов или противораковых?

Предлагаю укрупнить разделы классификатора.

Ну, уж если Вам непонятно...

... то, очевидно, что многим другим будет непонятно тем более.

Вообще, любые классификаторы - "инструмент" достаточно условный, но пригодный для "учета и контроля". Если разделы этого класификатора укрупнить, то в одну "референтную группу" попадут и молекулярная и "обычная" микробиология и вирусология. Затем, когда начнут оценивать по "Правилам оценки научных организаций", у представителей "обычной" микробиологии и вирусологии будут повышенные шансы попасть в группу "на 25% ниже средних показателей". А такие организации, согласно "Правилам", как правило, подлежат ликвидации. 

Впрочем, нет официальной информации, что "уполномоченные органы", которые будут заниматься "оценкой научных организаций", станут использовать именно этот классификатор, учитывать "Охранные грамоты" и т.п. 

Так что не волнуйтесь раньше времени...

Опубликованы итоги общественного обсуждения. Снова ТОЛЬКО WoS...

Опубликованы итоги общественного обсуждения регламента оценки научных организаций (проект «Охранная грамота»):

http://www.saveras.ru/archives/5922

Увы, снова предложена наукометрическая оценка работ ЛЮБЫХ учёных ИСКЛЮЧИТЕЛЬНО по Web of Science! Любые другие оценки исключаются. И что, теперь всех, кто публиковался на русском в советских и российских журналах и на чьи работы основное цитирование идёт в русскоязычных научных публикациях, нужно по результатам такой "экспертизы" увольнять??? Господа, что же Вы делаете, опомнитесь! Не во всех науках мировой уровень иследований завязан на WoS...

Послушайте, неужели непонятно

Послушайте, неужели непонятно, что спор идет не о том. Ну закончили обсуждение проекта оценки организаций, и что? Это же совершенно не важно, что сейчас там написано, в регламенте. Создатели проекта не готовы были обсуждать принципиальные проблемы, заложенные в этом регламенте. А так, обсуждение каких-то мелких формулировок в нем не меняет сути. Или вот рубрикатор: Его составляла некая анонимная группа экспертов? Рубрикатор абсолютно недоделанный. Ну простите, там в химии нет, например, "аналитической химии" (у не хилого по размеру Американского химического общества основной журнал так и называется "Аналитическая химия", а вот рубрикатора эта тема недостойна?). Там вообще много чего нет. Там аналитических методов нет вообще. По-моему даже лазерной спектроскопии нет. Или вот ядерный магнитный резонанс - видно тут наука закончилась выдачей Нобелевской премии за этот метод. Или масс-спектрометрия - есть Американское масс-спектрометрическое общество, Российское есть, международное общество есть. Несколько Нобелевских премий за последние 12 лет тоже есть. А рубрикатора нет (в РФФИ его тоже нет, кстати). Но спорить на эти темы сейчас абсолютно бессмысленно. Первое, с чего надо было начинать весь этот проект - с решения вопроса об экспертах! Кто и откуда. И сколько, и где столько взять. И пока эти вопросы не решены, все остальные абсолютно бессмысленны. Во что превратилась сейчас экспертиза в РФ - в полное забвение принципов профессиональной этики. Сейчас уже в РФФИ эксперты могут просто нагло врать в экспертизе, поскольку за базар не отвечают, валить проекты на заказ (и наоборот). На три принципиальных эксперта один засланный казачок - достаточное условие отсутствия экспертизы на местном уровне. Так кто будет делать экспертизу в рамках этого проекта "Охранная грамота"? Заграничные ребята? Вроде в регламенте подразделения подают свои резюме не на английском языке. О чем идет речь - о наших ребятах, которые уехали туда7 Боюсь что многим из них будет трудно понять реальности работы здесь в наше время, и уж точно ими не закрыть и пятой части рубрикатора. Телега поставлена впереди лошади. Будет понятно кто рецензирует подразделения, тогда, и только тогда, можно будет обсуждать регламент. И совершенно очевидно, что регламент должны обсуждать как раз эксперты и он может быть (и скорее всего должен быть) разным для разным наук и даже разных рубрикаторов в одних науках. Где-то наукометрические показатели  - то, что доктор прописал, а где-то - субъективное мнение авторитетных людей. А сейчас идет какой-то бессмысленный спор о том, что такое мировой уровень, или вот, новое определение от авторов, средний мировой уровень. Откуда здесь может быть какой-либо сравниваемый уровень, если здесь десятилетиями отсутствовала экспертиза, культура-то экспертизы уже давно почила в бозе, а научная деятельность превратилась в политиканство вокруг "больших" и не очень "больших" (но очень важных) научных персон? ОНР должно начать весь этот охранный проект с создания принципов по отбору экспертов. Есть первичные данные в виде списков Штерна, где проделана гигантская работа на протояжении многих лет, с них надо начать. С рассылки по этим спискам, например, чтобы понять, кто живой и кто согласен участвовать далее в процессе. Я бы с этого начал.

Про списки Штерна

Списки Штерна построены на основе единственного наукометрического показателя  (числа цитирований) вычисленного по базе данных WoS. Более того, этот показатель один и тот же для совершенно разных областей знаний, что абсолютно неверно.

Напомню, в настоящее время в WoS входит примерно 18600 журналов, из них только для 8400 вычисляются показатели основанные на цитировании - импакт факторы, числа цитирований,  хирш-факторы и т.д.

Для остальных показатели основанные на цитировании не вычисляются, так как это признано экспертами по библиометрии бессмысленным занятием!!! Т.е. для более чем половины областей современной науки нет ни числа цитирований, ни, соответственно, списков Штерна - там используются совершенно иные наукометрические показатели и совершенно другие способы подбора экспертов. 

Основная проблема в том, что в России абсолютно никто не заинтересован в нормальной экспертизе по общепринятым мировым стандартам - ни чиновники из МОН, ни начальники всех мастей из РАН, ни даже ученые. Поэтому и выдумывают свои собственные рубрикаторы, свои собственные списки экспертов и т.д.

Например, казалось бы чего проще, American Mathematical Society каждый год отбирает экспертов по всему миру  (ams fellow)  - берем и приглашаем общепризнанных профессиональным сообществом экспертов из этого списка. Нет, комиссии по спасению это страшно, вдруг скажут правду о неприкасаемых. Куда проще слепить рубрикатор под себя, так чтобы нужные люди вошли в топ 25%.  


 

А почему нельзя использовать другие источники, помимо WoS?

Ведь существуют ещё и Scopus, и РИНЦ; наверное, есть и другие. Использование не единственного (WoS), а нескольких источников цитирования может показать более объективно ситуацию с цитированием. Я уже писал, что все мои иностранные коллеги почти не публикуются в WoS! Даже наиболее уважаемые в мире, как англичанин J.Holloway. В каких-то направлениях науки, наверное, WoS объективен, но не во всех! Есть научные направления, вполне объективно оцениваемые даже по РИНЦ. Мне кажется, использования данных по статьям и цитированию исключительно из базы WoS поможет уничтожить немалую долю российских научных коллективов и направлений...

Конечно, и рубрикатор предложен крайне странный. Зоология, например, разделена только на зоологию беспозвоночных, зоологию позвоночных и зоологию (другие разделы - интересно, какие?). Теперь что-же, сравнивать специалистов по планктону и энтомологов по одним показателям в одной сравниваемой группе? Это же может привести только к одному - к уничтожению целых научных специальностей! Среди экспертов я увидел единственного специалиста по зоологии беспозвоночных - гельминтолога из бывшего ИЭМЭЖа (ныне ИПЭЭ). Как с таким малым числом экспертов можно было построить объективную картину?

Охранники претендуют на уникальность

В свое время данные для списка Штерна предоставлялись Thomson эксклюзивно и никто не мог их перепроверить кроме самих создателей списков. Теперь есть Google Scholar, РИНЦ и Scopus - ситуация коренным образом изменилась, но кое-кто хочет сохранить свои позиции и в новых условиях.

Более того,  фирма  Thomson сама изменила свою  стратегию, так как в России стало много официальных подписчиков и среди них такой крупный как  Карта Науки РФ.  

В результате этого почти 1000 журналов из РИНЦ планируется включить в WoS в следующем году в дополнение к уже входящим туда  - подавляющее число из них будет по социо-гуманиатрным наукам. Я считаю, если это случится, то деньги на Карту Науки можно уже считать потраченными не зря. 

 

А без "карты науки" нельзя

А без "карты науки" нельзя было послать в WoS эту 1000 журналов ? Или обязательно надо было распилить 3 лимона баксов ?

А будут ли они включены - еще вопрос.

Можно подробнее о кое тех, кто списками Штерна что-то хочет сохранить, и о том как их подтасовывали при составлекнии, не давая перепроверять.

 

Просто наблюдение

Опыт Китая, Бразилии и Кореи, региональные журналы которых отдельным индексом уже включены или будут включены в WoS показывает, что прежде им пришлось примерно за ту же самую сумму что и России купить данные WoS для национальных систем индексов. Конечно, официально плата за данные и последующее включение журналов в базу никак не связаны - это просто злобное эмпирическое наблюдение конкурентов:)

В России немного сложнее, так как первая "национальная" система РИНЦ купила данные у  Scopus. Другие страны не делали этого, так как Scopus более "всеяден" и попасть в него относительно просто, надо просто выполнять правила и все.

Так что только России пришлось снова тратить деньги и делать вторую систему с покупой данных в WoS. В конце года посмотрим включать ли журналы в WoS.

Что касается второго вашего вопроса, то посмотрите свежую интересную диссертацию из Тренто, Италия:

http://xxx.lanl.gov/abs/1312.7520  

"Over the last decade, there has been growing interest in the assessment of the performance of researchers, research groups, universities and even countries. The assessment of productivity is an instrument to select and promote personnel, assign research grants and measure the results of research projects. One particular assessment approach is bibliometrics i.e., the quantitative analysis of scientific publications through citation and content analysis. However, there is little consensus today on how research evaluation should be performed, and it is commonly acknowledged that the quantitative metrics available today are largely unsatisfactory. A number of different scientific data sources available on the Web (e.g., DBLP, Google Scholar) that are used for such analysis purposes. Taking data from these diverse sources, performing the analysis and visualizing results in different ways is not a trivial and straight forward task. Moreover, people involved in such evaluation processes are not always experts and hence not capable to crawl data sources, merge them and compute the needed evaluation procedures."

"Беда, коль пироги начнет печи сапожник, А сапоги тачать пирожник"  - в обсуждаемом нами вопросе беда в том, что дилетанты (тот же Хирш) предлагают простые решения по которым другие дилетанты начинают оценивать всех подряд.  Гораздо более адекватные, но гораздо  более сложные методу оценки не используются - тот же Хирш, поняв что натворил, пишет вторую статью с более сложным и более адекватным индексом - но ее уже ни читают и не используют!

 В тех же гуманитарных науках есть много проверенных эмпирически наукометрических индикаторов не основанных на цитировании, но ни чиновники, ни сами ученые о них не знают. Зачем,  ведь так просто считать число цитирований и Хирш, а с другой стороны так просто вообще не признавать наукометрию!

Не знаю за социо-гуманитарные

Не знаю за социо-гуманитарные науки, но два месяца назад в WoS значилось 150 российских журналов ( на 17500 статей в год) и 152 китайских ( на 27500 статей в год). За РФ значилось около 30 тыс статей в год в WoS, а за Китьаем около 200 тыс. Причем подавляющее большинство российских журналов принимало стпатьи на русском ( английский перевод был позже) и рецензировалдось только русскоязычными рецензентами ( то есть не было даже формально международными), а вот китайские все хотя бы формально были. Вот такая арифметика.

В ЕН в РФ почти все хоть сколько-нибудь пристойные журналы есть в WoS. Ну может штук 50 еще осталось вне WoS. Больше 300 пристойных журналов в социо-гуманитарных в РФ не наскребсти. Это движение "пропихнем в WoS еще 1000 журналов" - это другими словами "сделаем базу WoS помойкой с нашими мурзилками" ?

 

Намерено или нет, но Вы приводите неправильные цифры

Ваши цифры относятся только к малой части предоставляемых WoS продуктов, полный список которых пока еще можно найти здесь
http://wokinfo.com/products_tools/products/

Пока еще, так как  Web of Knowledge закрывается
http://wokinfo.com/nextgenwebofscience
и в следующем году будет открыт доступ к новой общей базе данных, основанной на несколько иных, более современных библиометрических  принципах.

Я же говорю про китайский индекс
http://thomsonreuters.com/chinese-science-citation-database/?subsector=s...
Thomson Reuters has partnered with the Chinese Academy of Sciences to host the Chinese Science Citation Database on the Web of Knowledge platform. Fully integrated and searchable within Web of Knowledge, this database covers over 1,200 top scholarly publications from China, with nearly 2 million records in total.

Про Бразилию тут
http://thomsonreuters.com/scielo-citation-index/
Access nearly 650 titles, over 4 million cited references, and open access with links to full text through a local language interface with an easy search experience.

Российские журналы также будут собраны в отдельную базу данных, которая будет интегрирована в общую базу данных точно так же как и базы Китая и Бразилии. Естественно, что индексы, основанные на цитировании, будут вычислятся только для малой части этих журналов.

Повторюсь - в Journal Citation Report не входят даже некоторые математические и физические журналы для которых вычисление импакт-факторов признано абсурдным.  Как при этом создатели Карты Науки будут выделять топ 20%  журналов мне лично  не абсолютно непонятно.

 

Понял. Речь идет о тех

Понял. Речь идет о тех помойках, что сейчас присоеденены к WoS, и на которые нормальные люди не смотрят.

Пора матеиматикам работать, как всем нормальным ученым и писать в нормальные журналы, индексируемые основной базой WoS.  Выпендриваются со своими архивами и эзотерическими публикациями.

А это Вас надо спросить, как адепта КРН, откуда этот списов топ 20% журналов там. Он там сейчас есть, и даже у некоторых указано сколько у них там статей.

 

Ответить то легко, исправить то сложнее

На учете 20% топ журналов настоял Хохлов, который был поддержан большинством экспертов из МГУ и  РАН. Так видите-ли накручивать показатели сложнеее.

Во всем мире проблема выявления накруток решается с помощью стандартного многокомпонентного анализа большой совокупности разных наукометрических индикаторов, а топ 20%  реально никогда и нигде кроме России не используют из-за несовершенства рубрикаторов, из-за проблемы соавторов, из-за несовершенства системы сбора метаданных, из-за наличия обзоров, материалов конференций и т.д. и т.п.

Теперь на те же грабли несовершенства рубрикаторов и выбора экспертов по 1-2 индикаторам основанным на цитируемости наступают и комиссары.

Так что все в КН сделано криво именно по решению экспертов - правда эксперты то они  в биологии, физике или химиии, а не в науке о науке - но несомненно  все они прекрасно разбираются абсолютно во всем, ну прям как эффективные менеджеры!

а где там обычная микробиология?

она же отсутствует как отдельный раздел. Молекулярной биологии в РФ почти нет есть именно всякие вирусологии и фармакологии где используют молекулярно-биологические методы. Генетики как науки нет в принципе - это учебная дисциплина, метод диагностики наследственных заболеваний не более (молекулярная биология убила генетику).

Что делает в рубрикаторе естественных наук такой раздел как прикладная физика?  Мне кажеться что рубрикатор должен строится на принципах логики и рациональности он не должен содержать нелогичных конструкций. Если говорим о естественных - фундаментальных науках значит убираем все прикладные направления? Или вставляем все прикладные направления включая агрохимию и т.д. Кстати последнее было бы правильным т.к. дало ы возможность отчитываться и по фундаментальной составляющей и по прикладной отдельно. Крайне важно чтобы в "прикладных" НИИ были фундаментальные исследования (неважно какого качества).

Про агрохимию

Дорогой В.Н., агрохимия зарождалась как фундаментальная наука, недаром журнал "Агрохимия" с 1964 г постоянно издается издательством "Наука". Да, приток в агрохимию агрономов и земледелов из с-х вузов привел к тому, что она стала решать по сути прикладные задачи. Но это не вина ее как науки, а скорее беда и следствие волюнтаризма отдельных лиц, стремящихся отчитаться в ЦК КПСС. Точно такая же судьба может ожидать и "микрбиологию": сегодня ее лишат самостоятельной позиции в рубрикаторе, а завтра - объявят прикладной наукой. А как должна выглядеть современная агрохимия, можете прочитать в файле. С уважением, В.М.

а кто против?

ничего плохого что в агрохимии есть и прикладные исследования, лично я не сомневаюсь в том что агрохимики и фундаментальщиной занимаются, без фундаментальных исследований не бало бы и агрохимии. Может быть вы не поверите, но ветеринарная вирусология тоже может включать в себя фундаментальные исследования - нашел новый вирус или изучил патогенез вирусной патологии (молекулярные механизмы или скажем выявил ассоциацию между каким-нибудь SNP и устойчивостью к конкретной вирусной инфекции) чем не фундаментальщина? 

Российские чистые ученые тем и отличаются от ученфых всего мира что признают только чистые фундаментальные науки которыми занимаются в РАН, все остальное, что запачкало светлое имя фундаментальных исследований прикладными работами, нужно, вероятно, уничтожить. Об этом свидетельствует и рубрикатор и методика оценки которая делит исследования не просто на хорошие и плохие а на а) хорошие фундаментальные б) посредственные фундаментальныне в) плохие т.е. прикладные г) ...

 

Полностью с вами согласен

В этом я с вами единомышленник!!! И вообще, деление науки на фундаментальную и прикладную, сугубо субъективное и делается не от большого ума, а по чисто коньюнктурным соображением, ИМХО.

Страницы