?

Log in

No account? Create an account
Вклад разных стран в науку на основе цитируемости - Albion and Beyond: Russian Anglophile's Observations
Links My official Web page / National Centre for Computer Animation / HyperFun Project / KasparovChess / CrestBook / ChessPro / Daily Dirt / 64 / BBC / Daily Telegraph / Times / National Statistics / IMDb / Искусство кино / Lenta.ru / Полит.ru / Спорт: день за днем / Спорт Сегодня Июль 2017
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
 
 
 
 
Вт, 24 июн, 2008 17:30
Вклад разных стран в науку на основе цитируемости

Написать этот пост меня сподвигнул недавний пост ivanov_petrov "Вклад стран в науку". Тем более, что тема науки вообще и суверенной российской науки, в частности и в моем жж возникает постоянно. В этом посте я приведу основанные на цитируемости интегральные данные о вкладе ученых разных стран для четырех важнейших наук - физики, молекулярной биологии и генетики, клинической медицины и экологии.

В последнее время, как известно, влиятельные люди из системы Российской Академии Наук, озабоченные тем, как выглядит российская наука на фоне мировой, стали высказываться об используемых индикаторах этого состояния. В частности, об индексах, основанных на цитируемости. В своем предыдущем посте на эту тему ("Снова о суверенном университетском рейтинге и суверенной науке") я цитировал президента РАН академика Ю. Осипова, приравнявшего публикацию в западных изданиях чуть ли к нелояльности к родной стране ("Недавно прочитал высказывание одного нашего биолога, который утверждает, что все сколько-нибудь значимые результаты нужно публиковать за рубежом. Я считаю, что надо очень сильно не любить и не уважать свое отечество, чтобы говорить такую, не побоюсь этого слова, глупость"). А будучи в апреле в Москве, я включил телевизор и попал на программу А.Архангельского на канале "Культура", где как раз обсуждали горячую тему - низкие места российских университетов в мировых рейтингах. Главным экспертом там был академик Г.Месяц. Рейтинги несправедливы к России, - сказал он. - В частности, потому, что основываются на всех этих индексах цитируемости. И далее (практически цитирую - я так удивился, что записал по горячим следам): "Есть у нас очень крупные ученые, которые печатаются в таких изданиях, как "Известия вузов". Которые не переводятся. Поэтому их работы и не цитируют." Кто бы объяснил вице-президенту РАН и директору ИОФАН, что ученые, кого не цитируют коллеги (да и не читают) не могут называться "крупными учеными" по определению. Да и просто учеными...

Вообще же, очень часто приводимые цифры, ранжирующие страны на основании индекса цитирования, очень трудно интерпретировать. Разные авторы приводят данные за разные годы, к тому же обычно они не дифференцированы по отдельным наукам. Между тем, (1) в разных науках ситуация с публикациями и цитированием очень разнится (в одной области и 10 цитирований одной статьи - хорошо, в другой и 20 - так себе), и (2) год на год может не приходиться. Да и читаются (и цитируются) научные работы не только в год публикации (или в два последующих) .

Вот недавно нашумел документ, распространенный Международным Союзом Математиков Citation Statistics (изложение основных положений на русском - на polit.ru: Международный союз математиков предостерегает от неправильного использования статистики цитирований). Интересное обсуждение состоялось в жж flying_bear (см. пост "Про цитируемость"). Вывод: при том, что, возможно, для математики индексами, основанными на цитируемости, надо пользоваться очень осторожно, для многих других наук ничего лучшего пока не придумано.

Итак, я приведу здесь данные, которые в последнее время публикует британский еженедельник "Times Higher Education". Данные о физике я уже приводил в жж ivanov_petrov (см. его пост-дайджест с многозначительным названием "Российская наука. Окончание"). Однако, они были фрагментарными. В этом посте я приведу более полные, и я бы сказал - системные - данные.

  • Приводимые ниже таблицы дают информацию о вкладе ученых разных стран для четыех важнейших областей современной науки: физики, молекулярной биологии и генетики, клинической медицины и экологии (вместе с окружающей средой)

  • Данные взяты из Thomson Scientific’s Essential Science Indicators database и охватывают период январь 1997 г. - декабрь 2007 г. Учитывались только статьи в научных журналах (11,000 наименований, в том числе и мультидисциплинарные)

  • Данные в таблицах показывают общее количество статей, опубликованных авторами из разных стран, и общее количество цитирований этих статей. Для статей, имеющих несколько соавторов из разных стран, каждая из стран получала полный (а не частичный) кредит цитирования.

  • Страны в конечном итоге ранжированы по "импакт-фактору" - усредненному количеству цитирований в расчете на одну статью за означенные 11 лет. Таким образом, этот показатель может рассматриваться как весьма интегральный и отражающий положение дел более-менее объективно.

  • Англия, Шотландия и Уэльс рассматривались как самостоятельные страны.



Как можно видеть, Россию можно обнаружить на 20-м месте в физике и на 24-м месте в молекулярной биологии и генетике. К сожалению, для клинической медицины и экологических наук данных по России не приведено (очевидно, занимаемое место в них весьма низко).

Ну а выводы каждый может делать сам.

Top 20 countries in physics
</td>
RankCountryPapersCitationsImpact
1Switzerland22,231304,18213.6
2Denmark7,925101,35012.79
3US218,0452,719,24412.47
4Netherlands17,407206,65211.87
5Austria9,137105,85411.59
6Germany104,5921,100,85510.53
7Israel14,040147,55610.51
8England55,085577,45710.48
9Sweden15,431149,7399.70
10Canada24,759238,0659.62
11France74,124683,3249.22
12Spain28,461261,1649.18
13Italy49,700449,6369.05
14Belgium12,265105,6948.62
15Australia15,189127,4568.39
16Japan117,017899,6917.69
17Poland24,529168,9586.89
18Brazil19,956121,7896.10
19South Korea32,31191,335.92
20Russia80,575458,6825.69
21India28,786162,0615.63
22China86,679371,2874.28


Top 20 countries in molecular biology and genetics
RankCountryPapers Citations Impact
1 Switzerland 6,65 224,704 33.75
2 US 122,119 4,089,990 33.49
3 England 23,920 774,882 32.39
4 Scotland 4,592 147,215 32.06
5 Austria 2,538 80,830 31.85
6 Ireland 805 25,494 31.67
7 Israel 3,770113,777 30.18
8 Germany 26,261 724,598 27.59
9 Netherlands 7,414 204,155 27.54
10 Denmark 2,894 79,171 27.36
11 Canada 14,016 369,947 26.39
12 France 18,975 494,274 26.05
13 Finland 2,694 69,805 25.91
14 Sweden 5,487 139,189 25.37
15 Belgium 3,697 86,525 23.40
16 Australia 6,868 159,421 23.21
17 Norway 1,523 32,875 21.59
18 Japan 26,009 560,111 21.54
19 Italy 11,615 231,703 19.95
20 Spain 7,247 136,830 18.88
22 China 6081 55,014 9.05
24 Russia 6,224 40,470 6.50


Top 20 countries in clinical medicine












RankCountryPapersCitationsImpact
1Finland 22,758 386,39716.98
2Netherlands64,335 1,042,551 16.21
3Denmark 23,322 376,386 16.14
4US 709,347 11,326,659 15.97
5Scotland 23,774 374,017 15.73
6Canada 84,865 1,333,963 15.72
7Switzerland 39,837 614,622 15.43
8Belgium 30,713 470,997 15.34
9Sweden 46,871 713,694 15.23
10Norway 15,413 230,389 14.95
11England 167,891 2,357,951 14.04
12Italy 96,432 1,235,27712.81
13Australia 57,342 733,180 12.79
14New Zealand 9,317 116,184 12.47
15Austria 25,840 305,999 11.84
16France 111,517 1,301,643 11.67
17Germany 173,039 1,939,097 11.21
18Israel 26,400 281,564 10.67
19Spain 51,135 532,146 10.41
20Japan 166,775 1,591,854 9.54


Top 10 countries in Environment/Ecology research










RankCountryPapersCitations Impact
1 Switzerland 4,376 57,750 3.20
2 Scotland 4,021 51,65112.85
3 Sweden 7,035 88,057 12.52
4 England 16,627 207,729 12.49
5 Denmark 3,903 48,753 12.49
6 Netherlands 6,756 82,938 12.28
7 United States 80,018 916,623 11.46
8 Wales 1,270 14,027 11.04
9 Norway 3,396 37,246 10.97
10 Finland 4,134 45,015 10.89

P.S. Прошу меня простить за странное форматирование - с этими пустыми промежутками перед двумя последними таблицами. Не могу понять, что не так - хоть тресни! Может, чуть попозже разберусь.

Tags: ,

35CommentReplyПоделиться

scriptum
scriptum
scriptum
Вт, 24 июн, 2008 18:40 (UTC)

индекс цитируемости характеризует насколъко хорощо подобное плодит подобное. не интересно.


ReplyThread
valchess
valchess
Англофил
Вт, 24 июн, 2008 18:50 (UTC)

А можно поинтересоваться: Вы имеете отношение к науке? И если да - то к какой?


ReplyThread Parent
scriptum
scriptum
scriptum
Вт, 24 июн, 2008 19:11 (UTC)

сводитъ скулы


ReplyThread Parent
valchess
valchess
Англофил
Вт, 24 июн, 2008 19:22 (UTC)

Тот коммент, который я получил на email, Вы специально скрыли или это получилось непонятно почему?

В любом случае, эти индексы - не вопрос "интереса". Это один из признанных инструментов измерения эффективности научной деятельности, как в сравнительном отношении (да, и между странами), так и в абсолютном. Недостатков у этого индикатора много (нам, практикам, они очевидны). Но, например, в Альбионе сейчас происходит перевод оценки всей научной деятельности (в рамках т.н. RAE) на использование именно индекса цитируемости. От чего будет зависеть финансирование. Так что это не предмет праздного (и снисходительного) "интереса". К тому же: предложите лучшие индикаторы. Ведь они нужны!


ReplyThread Parent
scriptum
scriptum
scriptum
Вт, 24 июн, 2008 19:38 (UTC)

дискуссия об индексах цитирования напоминает мне о дискуссии о том как правильно считать голоса избирателей. и в первом и во втором случаях игнорируется фундаментальный структурный недостаток научной и выборной систем... ага, как раз вот этот аспект индекса цитирования, пожалуй, не сводил бы скулы.


ReplyThread Parent
valchess
valchess
Англофил
Вт, 24 июн, 2008 19:54 (UTC)

Могу Вам только позавидовать. Вас не заботят мирские проблемы научных работников, да и всей отрасли. Вы наблюдаете за потугами оценивать эффективность научной деятельности с высоты, на которой, наверное, находитесь и надополавгать (опять же наверное) можете себе позволить такое высокомерно-снисходительное отношение.


ReplyThread Parent
rdanozhki
rdanozhki
rdanozhki
Вт, 24 июн, 2008 19:56 (UTC)

Citation index bezuslovno ne 100% nadezhnoe merilo. No luchshego nagljadnogo i universal'nogo cifrovogo vyrazhenija na segodnja esche net.
Sovsem drugoj moment, kotoryj, k sozhaleniju tjazhelo uchest' - krome ne anglo-jazychnyh izdanij, ili ne t.n. core journals v kazhdoj oblasti (Ulrich's directory), est' regional'nye national izdanija. Ih vnosjat v index na osnovanii abstracting - eto krivaja praktika. Poeotmu strany, uchenye kotoryh malo publikujutsja na anglijskom jazyke (ili v core), ne poluchajut chetkogo otrazheija v indexah. Drugoj vopros -pochemu ne publikujutsja v etih zhurnalah. No, po-moemu, vy uzhe etot vopros podnimli u sebja v zhurnale.


ReplyThread Parent
valchess
valchess
Англофил
Вт, 24 июн, 2008 20:00 (UTC)

Да, я согласен. Но необходимость публиковаться именно в англоязычных журналах - это (не для всех, но для ряда наук, и очень важных - почти для всех "sciences") - это просто факт жизни. Бороться с которым нельзя - это надо просто принимать.


ReplyThread Parent
rdanozhki
rdanozhki
rdanozhki
Ср, 25 июн, 2008 11:44 (UTC)

100%. V 21 veke glupo varit'sja v sobstvennom soku. Skorosti ne te.


ReplyThread Parent
oude_rus
oude_rus
Maxim Pshenichnikov
Вт, 24 июн, 2008 19:12 (UTC)

Вы можете предложить свои собственные критерии. Я внимательно слушаю.


ReplyThread Parent
oude_rus
oude_rus
Maxim Pshenichnikov
Вт, 24 июн, 2008 19:11 (UTC)

0. Интересно, спасибо.
1. Во второй таблице в последней графе - impact, а не citations.
2. Надеюсь, цитатируемость взята с отсечением самоцитируемости (которая в некоторых случаях может достигать 80%)


ReplyThread
valchess
valchess
Англофил
Вт, 24 июн, 2008 19:16 (UTC)

К сожалению, насчет отсечения цитируемости в данном конкретном случае информации нет. Хотя я не думаю она искажает все до такой степени как 80%.


ReplyThread Parent
valchess
valchess
Англофил
Вт, 24 июн, 2008 19:23 (UTC)

самоцитируемости, я имел в виду.


ReplyThread Parent
oude_rus
oude_rus
Maxim Pshenichnikov
Вт, 24 июн, 2008 21:31 (UTC)

да, обычно индекс самоцитируемости не превышает 10-15% для приличных ученых. Но я реально знаю случаи 80%.


ReplyThread Parent
bromozel
bromozel
Бромозель
Вт, 24 июн, 2008 21:39 (UTC)

А почему импакт-то взят за основу? Мне кажется, что общее количество статей - куда более объективный показатель. Да, м.б. в общем количестве мы посчитаем неинтересные никому статьи, но так-то еще хуже - одна много раз процитированная статья оказывается более значима, чем 10000 не так сильно цитируемых.
Собственно, эти данные насчет физиков как-то обсуждались, и насколько я знаю, Швейцарцы совсем не лидеры в физике.


ReplyThread
valchess
valchess
Англофил
Вт, 24 июн, 2008 22:03 (UTC)

Очевидно потому, что импакт все-таки отражает "качество". А "количество", будучи, конечно, тоже важной категорией, все же имеет большее отношение к валу.

Ну и надо иметь в виду, что импакт этот - мера статистическая. Работающая для больших выборок. Отдельных великих ученых, которые могут, вероятно, проявлять себя и на фоне окружающего развала, этот индикатор не выявит. Но общее положение дел - вполне.


ReplyThread Parent
e2pii1
e2pii1
e2pii1
Ср, 25 июн, 2008 12:04 (UTC)

Мне тоже не очень ясна адекватность "импакт-фактора.

Например если страна сократит ассигнования на науку и количество мест в универах - то импакт возрастёт! Ведь уволят скорее всего не самых сильных ученых, которых относительно меньше цитируют. "Вклад страны в науку" при этом сократится - ведь и эти не самые сильные ученые тоже что-то дельное делали.

Скорее уж как мера "вклада в науку" представляется адекватным число цитирований (или какая-либо комбинация число цитирований и статей).


ReplyThread Parent
valchess
valchess
Англофил
Ср, 25 июн, 2008 13:08 (UTC)

Не совсем понял логику Вашего рассуждения. "Если страна сократит ассигнования на науку и количество мест в универах" - то значит надо кого-то увольнять. Увольнять "не самых сильных", по-Вашему, приведет к сокращению вклада страны. Но какова альтернатива? Увольнять сильных? Так это тем более будет иметь негативные последствия. А никого не увольнять при сокращении ассигнований не получится. Так что даже в этой особенной ситуации (все-таки в наше время резонно ожидать не сокращения, а увеличения ассигнований на науку) импакт-фактор сработает вполне адекватно.

Естественно, что надо видеть его ограничения и использовать в комплексе с другими индикаторами.


ReplyThread Parent
e2pii1
e2pii1
e2pii1
Ср, 25 июн, 2008 13:34 (UTC)

Я то увольнять не предлагаю. Я о том, что этот показатель возрастает при сокращении ассигнований на науку (и наоборот убывает при увеличении ассигнований), вклад же страны (интуитивно понимаемый) ведёт себя наоборот, т.е. возрастает при увеличении ассигнований.
Т.е. импакт демонстрирует отрицательную корреляцию с тем, чего по идее хотелось бы достичь. Т.е. (возможно утрируя) бюрократ-формалист срежет ассигнования и скажет: вот я молодец, импакт поднял!


ReplyThread Parent
sowa
sowa
Sowa
Вт, 24 июн, 2008 22:58 (UTC)

Долго колебался, но не смог удержаться. Недавно обсуждал индексы цитируемости с Летающим Медведем: http://flying-bear.livejournal.com/571250.html?thread=9909106#t9909106. Поскольку вы ссылаетесь на эту дискуссию, вы ее, вероятно, читали.

Поскольку мне и моим коллегам-математикам совершенно очевидно, что индексы цитирования имеют очень слабую корреляцию с существенностью вклада того или иного математика (как я писал в той дискуссии, внимания заслуживают лишь сильные отклонения), вопрос для меня стоит иначе, чем для вас. Какие основания думать, что цитируемость отражает вклад ученого в других науках?

Первые соображения, приходящие в голову, равно применимы ко всем наукам. Группа людей, часто называемая "научной школой", может десятилетиями заниматься легкими и никчемными задачами, порождая огромное количество публикаций и их цитирований внутри "школы". И наоборот, человек может годами или десятилетиями работать над очень трудной проблемой, почти ничего не публикуя. Простой способ увеличить количество публикаций и цитирований - разбить работу на несколько. В конце концов, есть универсальный принцип - если людей начинают оценивать по некоторому параметру, они начинают заниматься оптимизацией этого параметра напрямую, минуя то, что этот параметр призван измерять.

Мне до сих пор непонятно, почему тот метод, который работает в математике - peer review, экспертная оценка - не может работать в других науках.

Честно говоря, я не вижу большого смысла в сравнении стран в противоположность индивидуумам. Сравнивать людей приходится хотя бы для того, чтобы решить, кому дать деньги, кого взять на работу, и т.п. Для стран этих целей нет. Возможно, эти данные тешат чьи-то патриотические чувства, невзирая на то, что наука интернациональна, и ученый все чаще является продуктом нескольких стран. Да и раньше так было: Эйлер - швейцарский, российский, или немецкий математик?. Школьное образование он может получить в одной стране, университетское - в другой, а работать в третьей. И даже работать в одной стране на деньги другой.

Ну уж если хочется сравнивать страны, то, опять же, экспертное мнение представляется гораздо более ценным, чем количество статей.


ReplyThread
valchess
valchess
Англофил
Вт, 24 июн, 2008 23:30 (UTC)

Я во многом согласен. И все же (этот вывод, насколько я понимаю, можно сделать по итогам Вашей дискуссии), математика - наука особая: более чувсвтвительная к индивидуальностям научных работников; она не столь, я бы сказал, индустриализована (есть такое слово?) как некоторые другие sciences (о humanities вообще разговор особый). А посему теми, кто распределяет ресурсы, ищется и находится тот способ оценки, который наиболее безличен, легче поддается "автоматизации" и статистической обработке. Недостатки очевидны; но недостатки есть и у peer reviewing, и тоже очевидные, особенно когда наука более во всех смыслах ресурсная и прикладная, чем математика.

Вот в Альбионе есть такая вещь, как RAE (Research Essesment Exercise). Занииающиеся наукой сотрудники университетов представляют до 4-х лучших статей за отчетный период (он бывал и 5, и 7 лет). Затем специальные эксперты оценивали значимость этих статей, подразделение получало оценку по 5-бальной системе, и в зависимости от оценки правительство выделяло подразделению деньги (каждый балл означает огромную разницу в деньгах).

Принято решение в следущем RAE использовать именно индексы цитирования - вместо экспертных оценок. О деталях еще идет публичная дискуссия. Так что для нас эти индексы - вещь совершенно не абстрактная. Они реально используются, и уже поэтому от них не скрыться. Слишком значимые для будущего вывод на основании их делаются. Так что в совершенствовании такого рода индикаторов (для чего необходимы и обсуждения) научные работники должны быть заинтересованы.

Касательно стран. Если некие эксперты говорят, что такая-то область развивается плохо, то от этого можно отмахнуться, даже если эксперты с именами (ну, дескать, не любят они эту страну, вот и принижают). От цифр, посчитанных по универсальной процедуре, отмахнуться сложнее. А значит, и выводы, в том числе практические, правительству делать сподручнее.


ReplyThread Parent
sowa
sowa
Sowa
Ср, 25 июн, 2008 00:09 (UTC)

Ну вот видите, в Британии и в других науках работали экспертные оценки. Конечно, бюрократам проще иметь дело с одним числом, нежели с содержательными отзывами.

"Они реально используются, и уже поэтому от них не скрыться. "

Мне кажется, с ними надо бороться, а не скрываться от них. Вряд ли к ним следует отноститься в соответствии с древним анекодотом про устав британской :-) армии: если вам не избежать насилия, постарайтесь расслабиться и получить удовольствие.

У индексов цитирования есть не "недостатки", у них есть встроенный потенциал полного разрушения науки и превращения ее в производство статей и цитирований (это уже встречается в прикладных областях - там формальные показатели уже давно играют существенную роль).

Даже если мы возьмем те прикладные науки, в которых мы не ожидаем от научного работника (сказать "ученого" язык не поворочивается) прорывов, а ожидаем аккуратного применения известых методов к практически важным вопросам - индексы цитирования все равно не будут отражать полезность деятельности этого работника. Они будут отражать наличие "школы", связей в журналах, дружеских отношений (я тебя процитирую, а ты - меня), и т.п.

Касательно того, что от цифр отмахнуться сложнее. Возможно. Но если цифры показывают совсем не то, что нас интересует? Может, от них лучше отмахнуться? Если вы поставите цель увеличить количество публикаций или цитирований, то вы ее легко и бысто достигните. Если же вы поставите целью добиться того, чтобы наука в данной стране была на высоком уровне (если она на низком) и имела международную репутацию, то это будет очень трудно и потребует десятилетий.

Несколько парадоксально, индексы цитирования отражают что-то осмысленное только до тех пор, пока ими не пользуются. Постольку, поскольку в математике индексы цитирования пока не используются ни при каком распределении средств (ни при получении грантов, ни при найме), они хоть что-то отражают - при дополнительном анализе (скажем, нужно смотреть на процент самоцитирований - он не должен быть очень большим, но не должен быть и нулевым). Если они станут формальной основой распределения средств, они не будут отражать ничего, поскольку большинство начнет работать именно над увеличением этих показателей. В лучшем случая без большого ущерба исследованиям (скажем, разбивая статьи на несколько), в худшем - вытесняя реальные исследования и людей, которые ими занимаются. Как в квантовой механике, наблюдение изменяет наблюдаемую систему.

Это такая штука, которой можно воспользоваться только один раз, да и то очень осторожно.


ReplyThread Parent
valchess
valchess
Англофил
Ср, 25 июн, 2008 00:26 (UTC)

Все же, peer reviewing и индексы цитирования - это не есть какие-то совершенно независимые вещи. Они друг с другом прямо связаны - одно есть практически производное от другого. В конце концов, публикации в журналах появляются не просто по желанию авторов (жаждущих увеличить их количество), а после этого самого peer reviewing. Нормальные методики отсекают издания, в которых вместо нормального reviewing принимают к публикации на основании других факторов.

Да, эти другие факторы работают и для уважаемых журналов - все эти "школы", "личные отношения" (как хорошие, так и плохие), связи и пр. Но все это реализуется именно через peer reviewing! Так что практически не так уж и отличаются эти разные процедуры оценки эффективности научной деятельности. Просто на этапе, когда надо (как в этом сасмом RAE) оценивать (в ограниченный период времени!) весьма большой массив информации, и делать это так, чтобы быть более (чем менее) защищенными от апелляций, то удобнеек опираться на те индикаторы, которые УЖЕ инкорпорировали в себя экспертные мнения - на этапе тех самых публикаций.

Собственно, именно экспертные мнения как основу для выделения средств мы и имеем в России. Где в итоге тем, кто не имеет тех самых связей, ывобще ничего не получить.


ReplyThread Parent
sowa
sowa
Sowa
Ср, 25 июн, 2008 03:17 (UTC)

"Нормальные методики отсекают издания, в которых вместо нормального reviewing принимают к публикации на основании других факторов."

Отсечь можно только издания, в которых публикуют на основе рецензий, от тех, в которых просто публикуют. Даже это не всегда является правильным действием - есть первоклассные работы, опубликованные в изданиях без формального рецензирования, и есть работы, опубликованные после чисто формального рецензирования. Более того, есть работы экстра-класса, которые не опубликованы, и даже не написаны, но оказали огромное влияние. Есть работы, сделанные А, но опубликованные Б - и все цитирования достаются Б. Конечно, Б заслуживает признания за его труд, но А - тоже!

Игнорируя эти исключения, мы имеем всего два класса журналов - учитываемые и неучитываемые. Внутри учитываемого класса индексы цитирования не отличают одни цитирования от других, как не отличают и уровень публикаций.

Peer reviewing статей учитывает уровень журнала. Мне не раз доводилось писать - это хорошая работа, но не дотягивает до уровня вашего журнала. Числа игнорируют эти различия.

"делать это так, чтобы быть более (чем менее) защищенными от апелляций,"

Мне несколько удивляет повторяющийся мотив облегчения жизни бюрократам. Мне кажется, что жизнь этим бюрократам нужно усложнить настолько (заставить их читать содержательные отзывы), что их работа будет требовать реальной компетентности, а не только умения сравнить два числа.

"Собственно, именно экспертные мнения как основу для выделения средств мы и имеем в России. Где в итоге тем, кто не имеет тех самых связей, ывобще ничего не получить."

Проблема, видимо, есть, но индексы цитирования - не метод ее решения. Источником проблемы является изолированность российского научного сообщества. Решать ее надо содержательым интегрированием в международное (превращением российских журналов в международные, привлечением иностранных ученых к экспертным оценкам), а не заимствованием модного числового параметра.

Должен признаться, что я совсем не понимаю, как можно ориентироваться на одно число при оценке ученого. Ну не выбираете же вы себе состав френдленты по рейтингу Яндекса. Я думаю, вы и кино смотреть не станете исключительно на том основании, что у него некий рейтинг (скажем, на imdb.com) максимальный.


ReplyThread Parent
valchess
valchess
Англофил
Ср, 25 июн, 2008 10:56 (UTC)

И опять я с Вами во многом согласен. Проблема в том, чтобы за поиском идеальных индикаторов не упускать из виду особенности реального функционирования науки. Цитирование - это один из индикаторов, необходимо сознавать его ограничения. В частности, при оценке отдельных ученых, особенно выдающихся, особенно работающих - как многие математики - в фундаментальных, "малонаселенных", если угодно, темах, требующих особо глубокого погружения от читателя (с одной стороны) и не слишкм много ресурсов извне (с другой). Но вот когда речь идет о ситуациях, где нужна оценка больших массивов (множество научных работников и опубликованных статей), то безлично-статистические меры (уже опирающиеся, повторю, на предыдущие экспертные оценки) работают эффективнее.

А рассуждать об эффективности работы бюрократов можно долго. Что от таких рассуждений меняется? Хотя при peer reviewing дело-то не только в бюрократах, но и в экспертах. Чтобы им делать работу качественно, им нужно время, желание, способность отвлечься от всех привходящих факторов (тех же "школ" и "отношений"). НЕ говоря о компетентности. Вот Вы пишете:

Ну вот видите, в Британии и в других науках работали экспертные оценки.

В том-то и дело, что многие ученые полагали, чо не слишком они "работали". Коллектив представил на суд некой "панели экспертов" опубликованные им за некий период статьи. Получает в ответ некую оценку. Почему она такая - неясно. Что ясно: эти эксперты не имели возможности разбираться в статьях так, как это делали рецензенты до публикации. Поэтому они ориентировались на престижность изданий, на свои представления об актуальности, и Бог весть на что еще. Нет уж, думают многие: по крайней мере я знаю сам, каков мой индекс цитирования. И возможности субъективных манипуляций (на основе которых выделяются ресурсы на следующие 5 лет!) в данном случае будут меньше.

я совсем не понимаю, как можно ориентироваться на одно число при оценке ученого.

А почему обязательно на одно число? Еще раз: применение любых индикаторов надо интерпретировать корректно. Коль скоро одного идеального нет. И не видно на горизонте.


ReplyThread Parent
sowa
sowa
Sowa
Ср, 25 июн, 2008 22:06 (UTC)

Вероятно, у меня несколько романтические представления о науке. Так что я не понимаю уверждений типа:

"Но вот когда речь идет о ситуациях, где нужна оценка больших массивов (множество научных работников и опубликованных статей), то безлично-статистические меры (уже опирающиеся, повторю, на предыдущие экспертные оценки) работают эффективнее."

"Настоящая" наука индивидуальна - индивидуальны и ученые, и их работы. Скажем, как киноактеры и фильмы.

Наряду с ней имеется "индустриальная" наука - деятельность, основанная на применении "научного метода", цель которой - не открытия, а применение здравой методики к более-менее заведомо разрешимым задачам. Такая деятельность безусловно полезна для общества - она реализует достижения собственно науки, но оценивать ее нужно совершенно иначе. По практическому выходу. Люди, занимающиеся такой деятельностью, должны работать в частных компаниях и отчитываться не количеством публикаций, а количеством денег, принесенных компании. Комбинированный вариант - частная компания, выполняющая заказ правительства.

В "индустриальной" науке подвизается огромное количество проходимцев, которые и не получают реальных результатов, и не приносят никакой пользы обществу. Вот они-то и предпочитают формальные числовые индикаторы - потому, что это легко достижимо. Я думаю, что это именно те "ученые", которые полагали, что экспертные оценки "не слишком работали". Если я ошибаюсь в этом, то, наверное, будет нетрудно найти выступление какого-нибудь первоклассного ученого - скажем, лауреата Нобелевской премии и при этом не администратора, который бы выступал за индексы цитирования (который, скажем, выбирает себе сотрудников на основании индекса цитирования). Я бы с интересом ознакомился с аргументацией такого ученого.

Непонимаю я и понятия "эффективности" в контексте науки. В контексте "индустриальной" науки такое понятие есть - это денежная эффективность. Но в контексте более фундаментальной науки такого понятия нет. Конечно, вы можете определить "эффективность" просто как количество цитирований, но это будет неинтересной тавтологией.


ReplyThread Parent
nataly_demina
nataly_demina
de_mi_na
Ср, 25 июн, 2008 13:05 (UTC)

Спасибо за инфо! После некоторых сомнений, что информация немного устарела, решила, что в таком скомпонованном вами качестве она имеет право на новость. Нашла ссылки и опубликовала http://www.polit.ru/science/2008/06/25/thes.html



ReplyThread
valchess
valchess
Англофил
Ср, 25 июн, 2008 13:22 (UTC)

С одной стороны, мне приятно, что мой пост оказался полезен. С другой - Вы хотя и дали ссылки на первичный источник, но сама новость (и текст, и таблицы) все-таки скомпонованы прямо из моего текста. Собственно, вы практически его скопировали. Мне кажется, что в таких случаях корректно давать ссылку и на источник, которым в данном случае послужил мой пост. И разве ссылки на чей-то блог есть что-то недопустимое?

Кстати: первая фраза у Вас: "Еженедельная британская газета “the Times Higher Education Supplement” (THES)" . На самом деле эта газета три месяца назад претерпела преобразования. Ныне она (он - "THE") выглядит как глянцевый журнал и слова "Supplement" больше нет. Собственно, это то едва ли не единственное, чем Ваш материал отличается от моего.


ReplyThread Parent
nataly_demina
nataly_demina
de_mi_na
Чт, 26 июн, 2008 08:00 (UTC)

Не обижайтесь, пожалуйста, я подумала написать благодарность Вам как автору идеи, но в новости это не принято, в отличие от статьи, вообщем ничего так и не придумала и это неправильно. Сейчас буду исправляться.


ReplyThread Parent
nataly_demina
nataly_demina
de_mi_na
Чт, 26 июн, 2008 08:01 (UTC)

А вы ведь тоже не поставили ссылки на статьи, откуда взяты таблицы
;-P


ReplyThread Parent
nataly_demina
nataly_demina
de_mi_na
Чт, 26 июн, 2008 08:18 (UTC)

Хоть это и не принято, у нас новости не подписываются и как бы лишены авторства, написала: "Выражаем признательность ЖЖ-пользователю valchess за идею, подбор материалов и компоновку данной информации" (внизу перед ссылками на таблицы из THE).
http://www.polit.ru/science/2008/06/25/thes.html


ReplyThread Parent
valchess
valchess
Англофил
Чт, 26 июн, 2008 09:29 (UTC)

Спасибо. Правда, по-моему было бы более естественно вместо "благодарности за идею, компоновку" и прочее просто упомянуть в духе: "по информации, размещенной в блоге (ссылка), британский еженедельник...". Ведь это просто обозначение того, откуда к Вам пришла информация. И блоги в наше время такие же источники, как, если угодно, новостные агенства (которые ведь тоже далеко не всегда дают информацию из первых рук, а могут ретранслировать - в своем изложении или даже без оного - добытую кем-то еще.

Не обижайтесь, пожалуйста
Надеюсь, и Вы на меня не обиделись (пользуясь случаем, скажу Вам, что считаю Вас лучшим научным журналистом страны, и жж у Вас очень информативный. И Ваш обстоятельный стиль изложения мне близок). У меня нет амбиций, чтобы под каждым моим чихом появлялось мое имя - я достаточно публиковался (и сейчас иногда это делаю) в самых разных изданиях с полномасштабными материалами. Но мне кажется, что это вопрос принципиальный - просто по культуре атрибуции информации.

А вы ведь тоже не поставили ссылки на статьи, откуда взяты таблицы;-P

Это так. Правда, это объясняется не тем, что я этого сделать не хотел (если Вы посмотрите мой журнал, то увидите: я ставлю ссылки, если использую чей-то материал или даже наводку всегда). Дело в том, что я это издание выписываю и имею в натуральном виде. Когда же я собрался писать свой пост, я элементарно не смог найти эти материалы у них на сайте. И пришел к выводу, что они не были опубликованы он-лайн (сейчас я попробовал чуть более сложный поиск, и, естественно, все получилось). Так что сосканировал числа из таблиц, а сами таблицы оформлял вручную.


ReplyThread Parent
nataly_demina
nataly_demina
de_mi_na
Ср, 2 июл, 2008 18:41 (UTC)

Извините, что долго не писала, при плохом дачном Инете не очень хочется ждать, когда загрузится медленная java-scriptы в ЖЖ. Спасибо за высокую оценку моей работы, но пожалуй есть журналисты и лучше. На мой взгляд, лучшие это Александр Сергеев ("Вокруг света", он ведет рассылку Клуба научных журналистов), Юрий Медведев ("Российская газета"), Елена Яковлева (та же РГ, но Елена сейчас к сожалению редко пишет), а если задуматься, то еще несколько имен назову и некоторая их часть в "Троицком варианте". Ученые порой пишут гораздо лучше журналистов.

Я бы тоже очень хотела постоянно читать THE, но до России газета будет идти несколько недель, а в онлайне не всегда все интересное заметишь, да и времени мало. В этой связи, хотела бы Вам предложить с осени взяться за написание своего рода обзора лучших материалов THE для "Троицкого варианта". Можно не в каждый номер, а скажем 1 раз в месяц... или чаще. Что скажете?


ReplyThread Parent
valchess
valchess
Англофил
Чт, 3 июл, 2008 23:49 (UTC)

Возможно, было бы более интересно не просто "обзор лучших материалов" делать, а плясать от интерересной и в российском контексте темы (например, по оценке работы научных сотрудников в Англии и виянию этого на последующее финансирование). Проблема может быть в том, что в "Троицком варианте" материалы короткие... Давайте вернемся к этому вопросу, когда эта самая осень наступит (я, кстати, практически весь август буду в Москве и возвращаюсь в Альбион в самом начале сентября). Когда будет более ясно и с конкретными деталями того, что Вам нужно, и с моей загрузкой.


ReplyThread Parent
valchess
valchess
Англофил
Чт, 17 июл, 2008 15:20 (UTC)

Продолжение темы:

http://valchess.livejournal.com/115569.html


ReplyThread Parent