Citations per paper

[posic]

http://trurle.livejournal.com/872372.html?thread=7848116

Comments

[udod.livejournal.com]

Как известно, считать можно все что угодно, а вот сравнение полученных чисел научного смысла не имеет. Только экономия мышления чиновников, так сказать.

[posic.livejournal.com]

Я считаю, что если сравнение полученных чисел не имеет смысла по отношению к ученым и наукам, то оно точно так же и по тем же причинам не имеет смысла по отношению к здоровью или богатству населения. А если имеет смысл во втором случае, то имеет и в первом.

[flying-bear.livejournal.com]

Я думаю, любое число такого рода имеет смысл. Просто его нужно использовать именно в том смысле, какое оно имеет. Скажем, характеризует ли высокая цитируемость качество научной работы? Нет (я думаю, качество, оно потому и качество, что вообще количественными показателями характеризоваться не может). А востребованность научной работы научным сообществом? Степень интегрируемости данного трудового коллектива (или научного работника) в мировую науку? Очевидно, характеризует. Можно представить себе ситуацию, когда важны именно эти стороны? Вполне. Скажем, если речь идет о представительстве страны в какой-нибудь международной научной организации, при прочих равных условиях, лучше выбрать того, кто более известен коллегам. Здесь посмотреть на цитируемость было бы невредно. Или, если человек написал заявку на книгу по актуальной теме и выясняется, что его собственные работы по этой теме никому не известны и никем не востребованы - это не очень хороший аргумент, что книгу должен писать именно этот человек. А вот, кого принимать на работу (что много важнее) - тут лучше на харю посмотреть внимательно.

[posic.livejournal.com]

Моя философия здесь такая: есть некое явление, имеющее место в жизни людей. Благосостояние какого-то человека, например. Или его вклад в науку, осуществившийся или потенциальный. Или его востребованность как ученого. Или народное хозяйство СССР в целом, для контраста. Масштаб явления не важен, важно его качество как явления из жизни. Так вот, суть в том, что каждое такое явление есть вещь многосторонняя, и что еще важнее, уникальная. Его нельзя измерить числом. И набором чисел тоже нельзя.

С другой стороны, есть процедуры подсчета численных показателей, которые сами по себе есть тоже явления из жизни людей. За ними всегда стоит сложная методология, основанная на множестве элементов произвольного выбора. Которая живет какой-то самостоятельной жизнью, меняется во времени и пространстве. И вот на пересечении этих двух явлений вы получаете набор цифр, под которым стоит чья-то подпись. Что вы можете извлечь из этого набора цифр с подписью -- это ваше дело; главное -- понимать, что в этих цифрах нет ничего "объективного". Ничего такого, что можно было бы даже считать собственной характеристикой явления, которому они приписываются (поскольку помимо измеряемого явления, там еще методология сидит). И уж грубейшей ошибкой было бы отождествлять явление из жизни людей с набором цифр.

Теперь применительно к востребованности ученого. Чем измеряется эта востребованность? Ссылками на его журнальные статьи? Плюс препринты? Плюс рукописи? Включая утраченные? Плюс private communication? Плюс благодарности за полезные обсуждения? Вы можете дать любые ответы на эти вопросы и руководствоваться ими в своей методологии подсчета показателей; важно только понимать, что ни одна из этих цифр или их совокупность не идентичны многостороннему и уникальному явлению востребованности ученого.

Например, если человек написал заявку на книгу по актуальной теме -- можно посмотреть, кто ссылается на его статьи по этой теме, а можно добавить к этому -- кто ссылается на эту самую будущую книгу как на манускрипт, который давно циркулирует, распространяясь по ксероксу, е-мейлу и интернету. И к этому можно добавить -- все, что угодно. Или не добавлять. И в любом из возможных решений по этому вопросу не будет ничего "объективного", а будет некий акт выбора. Из которых состоит вся наша жизнь.

[flying-bear.livejournal.com]

Да, конечно. Но решения принимать приходится. Поддерживать заявку на книгу или не поддерживать. Приглашать человека на интервью или не приглашать. выделять деньги на этот проект или на тот. Представьте диспетчера. Замигала на пульте красная лампочка. Это может означать миллион вещей. Что у него галлюцинация. Что произошло какое-то редкое явление природы - монополь Дирака пролетел, и это каким-то образом повлияло на работу электрических сетей. Но он не может детально анализировать все эти захватывающие возможности, он должен действовать. На основании одного-единственного параметра - цвет лампочки. Если угодно, число (красное - единица, зеленое - ноль).

Это - как функционирует общество. А про необходимость воспринимать каждое явление и каждого человека в его уникальности, про отпад от плеромы в результате грехопадения и т.п. - можно поговорить. Все можно обсуждать на разных уровнях. И важно понимать не только, что ничего не объективно, важно понимать, что любое высказывание (например, о том, что ничего не объективно) справедливо на одном уровне обсуждения и несправедливо на других.

[posic.livejournal.com]

Я не к тому, что "ничего не объективно", а к тому, что применительно к явлениям из жизни людей численные параметры не обладают большей объективностью, чем иные характеристики -- вербальные, например. Численные параметры могут использоваться для принятие решений, но обосновывать их использование тем, что они якобы объективны и свободны от произвола, а какие-нибудь экспертные оценки, например, -- субъективны и несвободны, было бы не более чем проявлением трусости, желания уйти от ответственности за принимаемые решения.

В случае диспетчера мы имеем дело с человеком, которого посадили перед табло с набором лампочек, и другой информации, кроме состояния лампочек, у него нет -- тем не менее, за принимаемые решения отвечает диспетчер, а не лампочки. Хотя на самом деле это упрощение, и у диспетчера может быть и дополнительная информация иного рода, и он может ее использовать при принятии решений. И в любом случае -- начинается вся эта ситуация с диспетчером с того, что кто-то принял решение создать пульт, вывести на него такие-то индикаторы в виде лампочек, и посадить диспетчера. И если у диспетчера в результате нет разумных возможностей принимать адекватные решения на основе доступной ему информации -- это не объективная проблема и явление природы такое, а предмет ответственности того, кто придумал этот пульт.

В реальном мире диспетчеров обычно сажают управлять чисто инженерными процессами. В естественных науках и основанном на них инженерном деле численные параметры имеют вполне объективный смысл. Температура или сила тока -- это на самом деле числа такие. А востребованность ученого -- это на самом деле никакое не число. В этом принципиальная разница между физической и социальной реальностями, которую я с самого начала стремился подчеркнуть, говоря о "явлениях из жизни людей".

[flying-bear.livejournal.com]

> применительно к явлениям из жизни людей численные параметры не обладают большей объективностью, чем иные характеристики - вербальные, например

С этим я совершенно согласен. Но есть ведь еще научные администраторы - те же диспетчеры. Ну, я иногда выступаю именно в этом качестве. На невысоком уровне. Когда присылают на экспертизу тридцать пропозалов по всей физике, и нужно помочь провести предварительный отбор - какие рассматривать всерьез. Один по биофизике, другой по физике атмосферы, и то и другое достаточно далеко от моей узкой специальности, но нужно высказать мнение, какой лучше. Можно отказаться от участия в этой затее как заведомо бессмысленной, но кто-то все равно это будет делать. Не факт, что с более широким научным кругозором. Все равно на формальные показатели в такой ситуации будешь обращать внимание.

Есть повыше администраторы. Полуусловная ситуация. Декан - ихтиолог, ректор - юрист, президент - инженер. И резкое бюджетное сокращение. Кого-то нужно обижать, из занимающихся физикой конденсированного состояния, а кого-то никак нельзя. Потому что пряников сладких опять не хватает на всех. В такой ситуации они неизбежно будут руководствоваться формальными показателями. Они же не могут разобраться в существе дела. Руководству важен рейтинг университета, там есть определенные параметры - та же цитируемость, публикации в top-rating journals, что-то еще в том же духе. С них самих спрашивает их начальство (в Европе практически все университеты государственные) по этим параметрам. Даже если они понимают, что это полный идиотизм, как по-другому?

Можно сломать всю систему вообще, недостатки ее очевидны. И что взамен?

Что взамен в российской науке, я знаю. Кумовство. Петя пьет с Васей, Коля трахает племянницу Бори, Юра недавно починил крышу на даче Вовы. Это лучше?

[posic.livejournal.com]

Кумовство, конечно, не лучше. Россия вообще плохой пример для подражания, к сожалению. Я бы, скорее, на США посмотрел, где частные университеты и исследовательские институты сохранились еще в какой-то (минимальной) степени.

Я не готов давать советы научным администраторам. Теоретически можно использовать те же формальные показатели более косвенным образом: скажем, выбрать по количественным показателям ведущие университеты и ведущих авторов, по сочетанию этих двух факторов (рейтинга места работы и личного индекса цитируемости) выбрать нескольких экспертов по физике конденсированного состояния, и у них уже запросить отзывов, на предмет кого из занимающихся физикой конденсированного состояния нужно обижать, а кого никак нельзя. Можно использовать такую косвенно восходящую к количественным показателям информацию наряду с непосредственно количественными показателями.

Убеждение мое таково, что все это работать в конечном итоге не будет. Любое профессиональное или иное сообщество, не получающее внешних разумных импульсов, деградирует. Если бы человечество в целом жило дележкой между собой поступающего извне фиксированного ресурса, оно бы очень быстро выродилось. Для управления научным процессом нужны не диспетчеры с лампочками, а клиенты (реально -- студенты или заказчики) и/или меценаты -- в том и другом случае, внешние люди с собственным видением ситуации, вкладывающие личные средства в соответствии с этим видением, и лично пожинающие плоды своих вложений, в той или иной форме.

Ученые обычно считают студентов, родителей студентов, предпринимателей и т.д. глупее себя, и делают вывод, что не нуждаются в их советах. Ошибка здесь не в посылке (истинность которой -- вопрос определений), а в логическом переходе. Пшеница и корова безусловно глупее крестьянина, но зависимость от пшеницы и коров создает для деревни тот самый внешний разумный импульс, который позволяет ей развиваться.

Ломать ничего не нужно. Нужно реформировать как-то постепенно. Сейчас ситуация в целом развивается в направлении, противоположном правильному. Прогноз, соответственно, такой, что Россия является для Европы передовой страной. Показывает ей ее вероятное будущее. Всеобщее кумовство -- естественное (пусть и в негативном смысле) и стабильное состояние, управление людьми в режиме диспетчера перед пультом с лампочками -- противоестественное и нестабильное. По мере того, как второе будет демонстрировать себя как unworkable, оно будет вырождаться в первое.

[vasja-iz-aa.livejournal.com]

Скажите пожалуйста, я правильно понимаю, что Вы в неявном виде предполагаете, что если мы хотим некоторое свойство -- например востребованость научной работы коллегами -- анализировать количественными, статистическими методами, то мы должны совершить два шага: на первом шаге разработать некоторый количественный показатель "востребованость" и определить его для каждой публикации; на втором как то там распределить статьи по по группам востребованости, пользуясь полученом на первом шаге показателем?
Я почему спрашиваю то, из этого Вашего и некоторых предыдущих вкомментария вроде бы следует, что Вы первый шаг считаете обязательным, а он ведь вовсе нет. Но может быть я как то совсем неправильно понимаю.

[vasja-iz-aa.livejournal.com]

>где частные университеты и исследовательские институты сохранились еще в какой-то (минимальной) степени.

Кто в минимальной степени сохранился, Стенфорд и Кембридж? Ой, вряд ли....

[vasja-iz-aa.livejournal.com]

Вместо кембридж читать гарвард. Иизвините, о чем я думал когда писал -- совершено непонятно

[posic.livejournal.com]

Гарвард и Стенфорд в полной мере существуют как университеты, но далеко не в полной мере функционируют как именно частные университеты, поскольку получают очень значительное государственное финансирование как (насколько я понимаю) прямо, так и косвенно, через субсидирование спроса на их услуги (студенческие займы и т.п.).

[posic.livejournal.com]

Нет, я думаю, вы можете в неформальном порядке разделить работы на группы степени их востребованности, например, опросив экспертов. Просто результаты все равно не будут собственной характеристикой рассматриваемых работ, а будут некой буквой или цифрой на пересечении рассматриваемой работы с одной стороны и методологии классификации (выбора экспертов, опроса, обработки результатов) с другой. Если аккуратно зафиксировать методологию и применять ее к разным работам, можно в принципе получить результаты, которые имеет смысл сравнивать между собой и задаваться вопросами, почему здесь получилось так, а там эдак. Количественные методы сами по себе ответов на эти вопросы никогда не дадут, конечно, поскольку причинность не устанавливается статистикой. Но материал для размышлений в этом можно найти, если кто к таким размышлениям склонен.