Не сыпь мне соль на РАНы...

[leblon]

Оригинал взят у wealth в ...

Очень смешные новости. Если даже это частично правда, то я себе представляю уровень этих публикаций. За примерами далеко ходить не надо, да. Вот, кстати, пдф файл этой чудо таблицы. Насколько я понимаю товарищи просто считают количество статей неважно в каких журналах без учета импакт-фактора этих самых журналов.

Мой комментарий:

Кстати, если знать, куда смотреть в этой таблице, то картина получается просто поразительная. Там у них несколько критериев, почти все они бессмысленные, но есть один осмысленный, а именно, % Exc, третий столбец справа. Это какой процент производимых работ является работами высокого качества (among top 10% judged by the number of citations in the respective field). Т.е. если, допустим, этот показатель 5%, то 95% производимого - это шлак. Ну или по крайней мере человечество вполне бы могло бы без 95% работ обойтись.

Так вот, у РАН этот показатель равен 4.42%. Для сравнения, у хороших университетов он за 20%, а у очень хороших 25% и больше.
У меня не хватило терпения просмотреть весь этот громадный файл, но ясно, что по этому показателю РАН не входит даже в первую тысячу. Хуже нее там только следующие заведения (из первой четверти таблицы): Украинская Академия Наук (%4.1), Беларусская Академия Наук (%3.52) и Китайский Институт Нефти (%3.31). Такие столпы науки как Федеральный Университет штата Минас Жераис (Бразилия) (%7.64) и Islamic Azad University (Iran) (7.1%) далеко впереди!

Comments

[mancunian.livejournal.com]

У CNRS этот показатель тоже позорно низкий, кстати. Что еще раз доказывает тот простой тезис, что если ученых полностью освободить от преподавания, то для большинства это не приведет к резкому увеличению качества их статей. (Количества - да.)

[leblon.livejournal.com]

Да, низковат, но не ужас. А про освобождение от преподавания согласен. Наличие студентов (если они хорошего качества) даже стимулирует к научной работе. К сожалению балбесов обычно больше.

[mancunian.livejournal.com]

Угу. А у нас и подавно.

[os80.livejournal.com]

>А про освобождение от преподавания согласен.
Кстати, в РАНовских институтах не так много не-преподающих, как кажется. У нас в ЦНИИ Эпидемиологии (когда я там работал) все лидеры групп читали лекции, хотя и не студентам, а медикам на переподготовке.

[anton-lipovka.livejournal.com]

"но есть один осмысленный, а именно, % Exc, третий столбец справа"
__________
Не могу с Вами согласиться. Если кратко, то "А судьи кто?"
Абсолютно бесполезный параметр. К тому же очень субъективный.
Каждый, кто публиковался в зарубежных журналах, неминуемо сталкивался с глупостью рецензентов в бОльшей или мЕньшей степени. Начиная от идиотских предложений сделать в добавок к присланному для публикации еще вот то, да вот это и кончая просто полной невменяемостью и незнанием темы (редко, конечно, но бывает). Так что доверять такого рода рейтингам, составленным непонятно кем и непонятно на основании чего, я бы не стал.

[mancunian.livejournal.com]

Ага, а каждый, кто публиковался в российских журналах, знает, что там для известных людей вообще нет рецензирования. Сегодня сдал, завтра напечатал. С кучей туфты зачастую.

[anton-lipovka.livejournal.com]

Плавали, знаем.
Что касается кучи туфты, то ее везде навалом. Просто в сообществе принято на нее закрывать глаза.
Была у меня такая развлекаловка лет 10 - 15 тому назад: Брал любой журнал по специальности, открывал на любой случайной странице и искал ошибки. В среднем от 40 до 60 процентов статей (зависит от журнала) содержат ошибки в самом начале, на первой же странице.
Если всерьез взяться и посмотреть на публикуемое, то окажется что туфты там 95 процентов. Вот это беда.

[mancunian.livejournal.com]

Пардон, мне несколько трудно поддерживать дискуссию на подобном уровне.

[leblon.livejournal.com]

У них там на сайте написано, по каким критериям проводились оценки. И по большому счету, этот конкретный рейтинг совершенно дурацкий. Я просто пытался из него хоть какую-то полезную информацию выудить. Что касается публикаций в журналах, то всякое бывает, конечно, но хорошая статья почти всегда публикуется, хотя не и не обязательно в самом престижном журнале. А индех цитируемости статьи (где бы она ни была опубликована) - это неплохой показатель ее качества. Хотя лучше было бы использовать взвешенный индекс цитируемости, наподобие page ranking в Гугле, так чтобы цитирование статьи другой широко цитируемой статьей стоило бы больше, чем цитирование никому не нужной статьей.

[anton-lipovka.livejournal.com]

"Хотя лучше было бы использовать взвешенный индекс цитируемости, наподобие page ranking в Гугле, так чтобы цитирование статьи другой широко цитируемой статьей стоило бы больше, чем цитирование никому не нужной статьей."
_______
Отличная идея!

[xaxam.livejournal.com]

Любая фаллометристика немедленно будет накручена ("выведена в топ", пользуясь блоготерминологией) при помощи нехитрых трюков. Вопрос только времени, которое потребуется жуликам, чтобы перенастроить "боты". Украсть всегда проще, чем сделать самому.

Спасает только одно, - расслоение университетов на хорошие и плохие. В хороших университетах будут смотреть на "гамбургский рейтинг" кандидатов при приёме/продвижении, а в плохих - на фаллометрику. Скажем, препринт на арХиве, содержащий прорывные результаты, подтверждённые мнением специалистов, никаких баллов никому не приносит, но может являться ключевым аргументом при обсуждении кандидата в "серьёзном" месте.

[leblon.livejournal.com]

При найме на работу никто эти индексы не использует. По крайней мере, в хороших университетах. Значит, отдельным жуликам накручивать их большого смысла нет. Да и индексов много разных, какой из них жулику следует накручивать? Так что я не думаю, что это серьезный повод для беспокойства: стимула нет (в отличие от "раскрутки" сайтов). А отсюда следует, что для статистических целей (оценка области или университета в целом) эти индексы могут быть полезны. Особенно для людей "со стороны" .

Конечно, если сами университеты начнут "накручивать" индексы, то рассуждение теряет силу. Но я плохо представляю, как это можно организовать. Проще составить свой собственный индекс, чтобы быть там в топе. Как МГУ и сделал пару лет назад, насколько я помню.

[xaxam.livejournal.com]

И в хороших институтах при найме не могут не оглядываться на фаллометрию, даже если это и выглядит, как детский сад, - вслух все говорят, что-де это нерелевантно, а, зайдя в кабинку в туалете, смотрят на свои достоинства, сравнивают и презрительно фыркают, или, наоборот, уважительно цокают языком. Это уже стало частью scientific profile, хотим мы того или нет. Я не могу представить себе обсуждения, при котором астрономический хирш кандидата, если таковой имеется, не был бы вообще упомянут (если хирш маленький, это будет поводом всем вспомнить, что он нерелевантен).

Что же до усреднения, то администрации университета не нужно быть семи пядей во лбу, чтобы понять, - совокупный рейтинг складывается из индивидуальных, поэтому, в ситуации, когда "ставок нет, но в порядке исключения, имея в виду грядущий retirement, можно взять кандидата" исключение с бОльшей охотой будет делаться для длиннохиршевых кандидатов (хорошо ещё, если в самом деле не будут сравнивать биологов с теорфизиками). Так что университеты тоже начнут накручивать рейтинги, вместо того, чтобы брать людей, занимающихся делом.

Собственно, чего гипотезы строить? Подавляющее большинство китайских и индийских университетов ровно такую политику и проводят, мы с высоты своей полупроцентной прослойки гарвардов/физтехов просто не видим эту скрытую тёмную массу.

[wealth.livejournal.com]

это лучшее из худшего. Понятно, что прямого сравнения добиться невозможно, но можно "оценить порядок величины" взвесив кол-во статей с их импакт-фактором.

[duchifat.livejournal.com]

Все это суета и чепуха. Как можно сравнивать несравнимые вещи - университеты с академиями наук, публикации в быстроразвивающихся областях с медленными, качественные с некачественными? Систему, где деньги - средство произвести хорошую публикацию, и систему, где публикация - способ сгенерировать грантовые деньги?

Это лишь ответ на не менее нелепое утверждение, что Россия на 120-м месте.

[wealth.livejournal.com]

ну как-то надо ж сравнивать.

Есть университет Х и некая субстанция, которую называют РАН с тучей НИИ (где вообще говоря якобы занимаются наукой). Как бы нам сравнить кто лучше? По количеству статей? Ну можно конечно, только вот статьи разные бывают. Стало быть надо сравнивать по их качеству, ай и востребованности. Если еще учесть, что в той же Франции учительская нагрузка серьезная, то цена РАН - две копейки (или того меньше).

[duchifat.livejournal.com]

Во-первых, довольно бессмысленно рассматривать все институты РАН скопом. Там есть институт антропологии и институт востоковедения, и математический и бог знает что еще.

Во-вторых, какое, собственно, значение имеет количество плохих работ? Допустим, вы правы и у РАН 92 тысячи работ, из которых только 4.4% хороших (в топ-10%), т.е. у РАН 4 тысячи хороших статей и 88 тыс плохих. Ну и что нам с этих 88 тысяч плохих? Мало ли почему люди их пишут. Для тренировки. Для обучения. Плевать на 88 тыс. Важно, что есть 4 тыс хороших.

Есть и в-третьих, и в-четвертых.

Кстати, я что-то не понял -- первый столбец это общее число публикаций? Или общее число ссылок на публикации? Гарвард опубликовал 75 тысыч статей за год?

[leblon.livejournal.com]

Конечно, лучше сравнивать подобное с подобным, а не РАН с Гарвардом. В частности поэтому рейтинг дурацкий: потому что все свалено в кучу. Но РАН вполне можно сравнить с CNRS или NIH. И РАН очень сильно проигрывает. А МГУ лучше сравнить с каким-нибудь большим университетом, вроде University of California in Berkelеy, University of Michigan или University of Toronto. (С российскими университетами, кстати, не лучше, чем с РАН, сравните: МГУ 5.13%, UC Berkeley 26%, U Michigan 24%, U Toronto 20.8%.)

Согласен также, что сравнение внутри отдельных областей было бы более информативно, чем эта "средняя температура по больнице". Тем не менее, какое-то представление о состоянии науки в России дает.

"Плевать на 88 тыс. Важно, что есть 4 тыс хороших."

То, что есть 4 тысячи хороших, это здорово, и именно поэтому к реформе организации науки надо подходить очень осторожно, чтобы 4000 не превратилось в 400. Но если дойдет дело до серьезного реформирования, то естественно спросить, нельзя ли перенаправить ограниченные ресурсы в те области и тем ученым, которые имеют отношение к этим четырем тысячам хороших работ.

Первый столбик - это число публикаций за 5 лет (2006-2010). Наверное, там учитываются все статьи, где хотя бы один из авторов работает в данном заведении.

[duchifat.livejournal.com]

Что до реформы, то я не верю в путинскую мафиозную реформу и вообще от них очень далек.

В РАН, насколько я понимаю, есть разные институты, в моей ленте люди из Института востоковедения и института славяноведения и балканистики. Зачем их сравнивать с NIH, где показатели цитирования, наверно, зашкаливают (в медицине они вообще очень большие, т.к. там статьи быстро устаревают, да еще люди умеют накручивать профессионально).

Причины, по которым у российских авторов этот полюбившийся Вам показатель низок, скорее всего, не имеют отношения к науке (просто русские журналы Скопус учитывает, а цитируют на западе редко). Я вижу также, что ведущие израильские университеты почему-то имеют этот показатель довольно низкий (ТАУ 14.68%, HUJI 15.07%, Технион 15.71%), это ниже, чем провинциальный ун-т где я работаю (15.88%).

Ну и не забывайте, что эти показатели цитирования вообще мало значат. Например, у вас за 2012 Гугл-Сколар находит 523 цитирования, а у меня 682. При этом вы полный профессор в известном месте и занимаетесь какой-то совсем фундаментальной сложной физикой, про Вас написано в Википедии и разных справочниках. А я инженерный ассистент в провинциальном вузе. Просто я активнее публиковал и писал обзоры в относительно модных темах. Совсем не обязательно это значит, что мне нужно "перенаправить ограниченные ресурсы".

[leblon.livejournal.com]

Мне этот показатель не очень нравится, но если сравнивать подобное с подобным, то определенный смысл в нем есть. Лучше всего, конечно, сравнивать внутри одной области науки.

"Я вижу также, что ведущие израильские университеты почему-то имеют этот показатель довольно низкий (ТАУ 14.68%, HUJI 15.07%, Технион 15.71%), это ниже, чем провинциальный ун-т где я работаю (15.88%)."

Различия между 15.1 или 15.8 заведомы слишком малы чтобы о чем то говорить. Различие же в разы уже дает пищу для размышлений.

"В РАН, насколько я понимаю, есть разные институты, в моей ленте люди из Института востоковедения и института славяноведения и балканистики. Зачем их сравнивать с NIH, где показатели цитирования, наверно, зашкаливают (в медицине они вообще очень большие, т.к. там статьи быстро устаревают, да еще люди умеют накручивать профессионально)."

Действительно, в РАН входят совершенно разные заведения, от востоковедения до физики высоких энергий и математики. Так что в лучшем случае мы получаем "среднюю температуру по больнице". Тот факт, что в среднем по РАН "температура" плохая может означать, что во всех науках все плохо, а может означать, что есть отдельные хорошие заведения, а в остальных все совсем ужасно. Тем не менее, индекс этот не сравнивает цитирование востоковедческих работ с биохимическими: "высокая цитируемость" там определена индивидуально. А именно, как попадание в top 10% в каждой отдельной области. Так что индекс этот, все-таки, не совсем глупый.

"Например, у вас за 2012 Гугл-Сколар находит 523 цитирования, а у меня 682."
(1) У нас с Вами области разные, сравнивать цитируемость можно только внутри одной области. Как и Хирш, допустим.
(2) Любой индекс очень груб и неприменим для сравнения отдельных ученых. Но если усреднить по большому коллективу, то индивидуальные особенности сглаживаются, и индексы становятся полезны. Закон больших чисел!

[vladimir-anski.livejournal.com]

Правильно, чтобы былo 4 тысячи хороших, нужно 88 тысяч "плохих". Нельзя получить сливки без молока.

[os80.livejournal.com]

Да можно, можно. И нужно. Воду в это молоко заставляет лить система. По-моему, если нечего сказать, то лучше и не публикуйся. Но ведь давят.
P.S.: это, кстати, "западной" науки тоже касается. Публиковал бы каждый 10 статей за жизнь вместо сотни - было бы гораздо меньше воды.

[xaxam.livejournal.com]

А вам хотелось бы, чтобы молоко было пожирнее, или чтобы побольше, пускай и пожиже?

[vladimir-anski.livejournal.com]

Мне бы хотелось быть правильно понятым. Научное сообщество неоднородно, но оно и должно таким быть, чтобы создавать предпосылки для существования и воспроизводства сливок. Если оставить только сливки, то на них падет непомерная преподавательская нагрузка, например. И потом, не всем же выдавать на гора только прорывные идеи, нужны и просто грамотные специалисты, а они идут вовсе без рейтингов.

[mancunian.livejournal.com]

Надо же, University of Washington какой крутой. Кроет все британские университеты по этому показателю. А так, наверное, MIT самый крутой, если исключить медицину и фарму.

[leblon.livejournal.com]

Один параметр, конечно, полной информации не дает. Да и различия на 2 или 3 пункта ничего не говорят. Но разница между университетами с % Exc. 15% и 27% существенна.

University of Washington in Seattle по физике очень крут. В первой двадцатке в США, наверное. Про другие области не знаю.

[mancunian.livejournal.com]

У меня там соавтор на математике. Очень сильный. Сам департмент тоже весьма неплохой.

[http://users.livejournal.com/cunctator_/]

Там ещё статистика сильная и, говорят, computer science.

[riftsh.livejournal.com]

На самом деле там три осмысленных меры: NI, %Q1 и %Exc, но они не совсем независмы и довольно сильно коррелируют друг с другом.

[leblon.livejournal.com]

NI очень сильно должен быть коррелирован с % Exc., да. %Q тоже, наверное, но он мне меньше нравится, потому что, во-первых, не все так уж стремятся опубликоваться в "престижных журналах" (в моей области это понятие практически отсутствует, публикуемся где попало), во-вторых, у этих "престижных журналов" зачастую странное представление о том, что достойно публикации в них, а что нет.

[vladimir-anski.livejournal.com]

Это точно. Некоторые журналы вместо рецензирования советовали мне поискать другой, "более подходящий журнал" для моей статьи. А те, кто брались за рецензирование, выдавали откровенные отписки и чушь, ни одной рецензии по делу. В результате мой воз и ныне там, ну и денег нет, конечно.

[os80.livejournal.com]

Я как-то не уловил смысл поста. Сравнивается РАН (уж какая есть) с лучшими западными университетами. Если цель сказать, что российская наука в глубокой дыре, то это не секрет. А если это в поддержку идей Ливанова про университетскую науку, то да, МГУ, МФТИ и МИФИ обгоняют РАН в целом, но уже Бауманка просто сливает, интересно было бы на наш САФУ глянуть

[leblon.livejournal.com]

http://leblon.livejournal.com/229377.html?thread=1005825#t1005825

[os80.livejournal.com]

Там нет ответа на мой вопрос. Там есть обсуждение того, что "российская наука в заднице, что нам с этим делать?". Правомочность этой темы очевидна и бесспорна, но вопрос-то был о другом при чём тут сравнение РАН и именно университетов?

[leblon.livejournal.com]

Смысл новости в том, что РАН пытается защититься предъявляя какие-то совершенно дурацкие рейтинги, где сравниваются апельсины с огурцами.

Я же просто отметил, что если не смотреть на рейтинг, а смотреть на отдельные показатели, то можно узнать кое-что интересное про состояние науки в заведениях РАН.

[mancunian.livejournal.com]

На внеочередном заседании президиума Сибирского отделения РАН первый заместитель его председателя академик Ренад Зиннурович Сагдеев сообщил, что по количеству публикаций в международных научных журналах Российская академия наук занимает третье место.

«У нас есть все основания гордиться нашими результатами», - резюмировал Р.З.Сагдеев. Председатель Красноярского научного центра СО РАН академик Василий Филиппович Шабанов заметил, что рейтинг журнала Nature, которым оперировала на заседании Государственной думы вице-премьер Ольга Юрьевна Голодец, относится только к публикациям в самом Nature, а рейтинг SIR «уже лежит на столе» у спикера Госдумы Сергея Евгеньевича Нарышкина.

«уже лежит на столе» у спикера Госдумы Сергея Евгеньевича Нарышкина.
«уже лежит на столе» у спикера Госдумы Сергея Евгеньевича Нарышкина.
«уже лежит на столе» у спикера Госдумы Сергея Евгеньевича Нарышкина.

третье место
все основания

[os80.livejournal.com]

Это смысл поста wealth. С ним всё понятно, возражений нет. Мне непонятен именно комментарий leblon.