?

Log in

No account? Create an account
Вклад разных стран в науку на основе цитируемости - Albion and Beyond: Russian Anglophile's Observations
Links My official Web page / National Centre for Computer Animation / HyperFun Project / KasparovChess / CrestBook / ChessPro / Daily Dirt / 64 / BBC / Daily Telegraph / Times / National Statistics / IMDb / Искусство кино / Lenta.ru / Полит.ru / Спорт: день за днем / Спорт Сегодня Ноябрь 2017
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
 
Вт, 24 июн, 2008 17:30
Вклад разных стран в науку на основе цитируемости

Написать этот пост меня сподвигнул недавний пост ivanov_petrov "Вклад стран в науку". Тем более, что тема науки вообще и суверенной российской науки, в частности и в моем жж возникает постоянно. В этом посте я приведу основанные на цитируемости интегральные данные о вкладе ученых разных стран для четырех важнейших наук - физики, молекулярной биологии и генетики, клинической медицины и экологии.

В последнее время, как известно, влиятельные люди из системы Российской Академии Наук, озабоченные тем, как выглядит российская наука на фоне мировой, стали высказываться об используемых индикаторах этого состояния. В частности, об индексах, основанных на цитируемости. В своем предыдущем посте на эту тему ("Снова о суверенном университетском рейтинге и суверенной науке") я цитировал президента РАН академика Ю. Осипова, приравнявшего публикацию в западных изданиях чуть ли к нелояльности к родной стране ("Недавно прочитал высказывание одного нашего биолога, который утверждает, что все сколько-нибудь значимые результаты нужно публиковать за рубежом. Я считаю, что надо очень сильно не любить и не уважать свое отечество, чтобы говорить такую, не побоюсь этого слова, глупость"). А будучи в апреле в Москве, я включил телевизор и попал на программу А.Архангельского на канале "Культура", где как раз обсуждали горячую тему - низкие места российских университетов в мировых рейтингах. Главным экспертом там был академик Г.Месяц. Рейтинги несправедливы к России, - сказал он. - В частности, потому, что основываются на всех этих индексах цитируемости. И далее (практически цитирую - я так удивился, что записал по горячим следам): "Есть у нас очень крупные ученые, которые печатаются в таких изданиях, как "Известия вузов". Которые не переводятся. Поэтому их работы и не цитируют." Кто бы объяснил вице-президенту РАН и директору ИОФАН, что ученые, кого не цитируют коллеги (да и не читают) не могут называться "крупными учеными" по определению. Да и просто учеными...

Вообще же, очень часто приводимые цифры, ранжирующие страны на основании индекса цитирования, очень трудно интерпретировать. Разные авторы приводят данные за разные годы, к тому же обычно они не дифференцированы по отдельным наукам. Между тем, (1) в разных науках ситуация с публикациями и цитированием очень разнится (в одной области и 10 цитирований одной статьи - хорошо, в другой и 20 - так себе), и (2) год на год может не приходиться. Да и читаются (и цитируются) научные работы не только в год публикации (или в два последующих) .

Вот недавно нашумел документ, распространенный Международным Союзом Математиков Citation Statistics (изложение основных положений на русском - на polit.ru: Международный союз математиков предостерегает от неправильного использования статистики цитирований). Интересное обсуждение состоялось в жж flying_bear (см. пост "Про цитируемость"). Вывод: при том, что, возможно, для математики индексами, основанными на цитируемости, надо пользоваться очень осторожно, для многих других наук ничего лучшего пока не придумано.

Итак, я приведу здесь данные, которые в последнее время публикует британский еженедельник "Times Higher Education". Данные о физике я уже приводил в жж ivanov_petrov (см. его пост-дайджест с многозначительным названием "Российская наука. Окончание"). Однако, они были фрагментарными. В этом посте я приведу более полные, и я бы сказал - системные - данные.

  • Приводимые ниже таблицы дают информацию о вкладе ученых разных стран для четыех важнейших областей современной науки: физики, молекулярной биологии и генетики, клинической медицины и экологии (вместе с окружающей средой)

  • Данные взяты из Thomson Scientific’s Essential Science Indicators database и охватывают период январь 1997 г. - декабрь 2007 г. Учитывались только статьи в научных журналах (11,000 наименований, в том числе и мультидисциплинарные)

  • Данные в таблицах показывают общее количество статей, опубликованных авторами из разных стран, и общее количество цитирований этих статей. Для статей, имеющих несколько соавторов из разных стран, каждая из стран получала полный (а не частичный) кредит цитирования.

  • Страны в конечном итоге ранжированы по "импакт-фактору" - усредненному количеству цитирований в расчете на одну статью за означенные 11 лет. Таким образом, этот показатель может рассматриваться как весьма интегральный и отражающий положение дел более-менее объективно.

  • Англия, Шотландия и Уэльс рассматривались как самостоятельные страны.



Как можно видеть, Россию можно обнаружить на 20-м месте в физике и на 24-м месте в молекулярной биологии и генетике. К сожалению, для клинической медицины и экологических наук данных по России не приведено (очевидно, занимаемое место в них весьма низко).

Ну а выводы каждый может делать сам.

Top 20 countries in physics
</td>
RankCountryPapersCitationsImpact
1Switzerland22,231304,18213.6
2Denmark7,925101,35012.79
3US218,0452,719,24412.47
4Netherlands17,407206,65211.87
5Austria9,137105,85411.59
6Germany104,5921,100,85510.53
7Israel14,040147,55610.51
8England55,085577,45710.48
9Sweden15,431149,7399.70
10Canada24,759238,0659.62
11France74,124683,3249.22
12Spain28,461261,1649.18
13Italy49,700449,6369.05
14Belgium12,265105,6948.62
15Australia15,189127,4568.39
16Japan117,017899,6917.69
17Poland24,529168,9586.89
18Brazil19,956121,7896.10
19South Korea32,31191,335.92
20Russia80,575458,6825.69
21India28,786162,0615.63
22China86,679371,2874.28


Top 20 countries in molecular biology and genetics
RankCountryPapers Citations Impact
1 Switzerland 6,65 224,704 33.75
2 US 122,119 4,089,990 33.49
3 England 23,920 774,882 32.39
4 Scotland 4,592 147,215 32.06
5 Austria 2,538 80,830 31.85
6 Ireland 805 25,494 31.67
7 Israel 3,770113,777 30.18
8 Germany 26,261 724,598 27.59
9 Netherlands 7,414 204,155 27.54
10 Denmark 2,894 79,171 27.36
11 Canada 14,016 369,947 26.39
12 France 18,975 494,274 26.05
13 Finland 2,694 69,805 25.91
14 Sweden 5,487 139,189 25.37
15 Belgium 3,697 86,525 23.40
16 Australia 6,868 159,421 23.21
17 Norway 1,523 32,875 21.59
18 Japan 26,009 560,111 21.54
19 Italy 11,615 231,703 19.95
20 Spain 7,247 136,830 18.88
22 China 6081 55,014 9.05
24 Russia 6,224 40,470 6.50


Top 20 countries in clinical medicine












RankCountryPapersCitationsImpact
1Finland 22,758 386,39716.98
2Netherlands64,335 1,042,551 16.21
3Denmark 23,322 376,386 16.14
4US 709,347 11,326,659 15.97
5Scotland 23,774 374,017 15.73
6Canada 84,865 1,333,963 15.72
7Switzerland 39,837 614,622 15.43
8Belgium 30,713 470,997 15.34
9Sweden 46,871 713,694 15.23
10Norway 15,413 230,389 14.95
11England 167,891 2,357,951 14.04
12Italy 96,432 1,235,27712.81
13Australia 57,342 733,180 12.79
14New Zealand 9,317 116,184 12.47
15Austria 25,840 305,999 11.84
16France 111,517 1,301,643 11.67
17Germany 173,039 1,939,097 11.21
18Israel 26,400 281,564 10.67
19Spain 51,135 532,146 10.41
20Japan 166,775 1,591,854 9.54


Top 10 countries in Environment/Ecology research










RankCountryPapersCitations Impact
1 Switzerland 4,376 57,750 3.20
2 Scotland 4,021 51,65112.85
3 Sweden 7,035 88,057 12.52
4 England 16,627 207,729 12.49
5 Denmark 3,903 48,753 12.49
6 Netherlands 6,756 82,938 12.28
7 United States 80,018 916,623 11.46
8 Wales 1,270 14,027 11.04
9 Norway 3,396 37,246 10.97
10 Finland 4,134 45,015 10.89

P.S. Прошу меня простить за странное форматирование - с этими пустыми промежутками перед двумя последними таблицами. Не могу понять, что не так - хоть тресни! Может, чуть попозже разберусь.

Tags: ,

35CommentReplyПоделиться

scriptum
scriptum
scriptum
Вт, 24 июн, 2008 18:40 (UTC)

индекс цитируемости характеризует насколъко хорощо подобное плодит подобное. не интересно.


ReplyThread
valchess
valchess
Англофил
Вт, 24 июн, 2008 18:50 (UTC)

А можно поинтересоваться: Вы имеете отношение к науке? И если да - то к какой?


ReplyThread Parent Развернуть







oude_rus
oude_rus
Maxim Pshenichnikov
Вт, 24 июн, 2008 19:12 (UTC)

Вы можете предложить свои собственные критерии. Я внимательно слушаю.


ReplyThread Parent
oude_rus
oude_rus
Maxim Pshenichnikov
Вт, 24 июн, 2008 19:11 (UTC)

0. Интересно, спасибо.
1. Во второй таблице в последней графе - impact, а не citations.
2. Надеюсь, цитатируемость взята с отсечением самоцитируемости (которая в некоторых случаях может достигать 80%)


ReplyThread
valchess
valchess
Англофил
Вт, 24 июн, 2008 19:16 (UTC)

К сожалению, насчет отсечения цитируемости в данном конкретном случае информации нет. Хотя я не думаю она искажает все до такой степени как 80%.


ReplyThread Parent
valchess
valchess
Англофил
Вт, 24 июн, 2008 19:23 (UTC)

самоцитируемости, я имел в виду.


ReplyThread Parent Развернуть

bromozel
bromozel
Бромозель
Вт, 24 июн, 2008 21:39 (UTC)

А почему импакт-то взят за основу? Мне кажется, что общее количество статей - куда более объективный показатель. Да, м.б. в общем количестве мы посчитаем неинтересные никому статьи, но так-то еще хуже - одна много раз процитированная статья оказывается более значима, чем 10000 не так сильно цитируемых.
Собственно, эти данные насчет физиков как-то обсуждались, и насколько я знаю, Швейцарцы совсем не лидеры в физике.


ReplyThread
valchess
valchess
Англофил
Вт, 24 июн, 2008 22:03 (UTC)

Очевидно потому, что импакт все-таки отражает "качество". А "количество", будучи, конечно, тоже важной категорией, все же имеет большее отношение к валу.

Ну и надо иметь в виду, что импакт этот - мера статистическая. Работающая для больших выборок. Отдельных великих ученых, которые могут, вероятно, проявлять себя и на фоне окружающего развала, этот индикатор не выявит. Но общее положение дел - вполне.


ReplyThread Parent Развернуть



sowa
sowa
Sowa
Вт, 24 июн, 2008 22:58 (UTC)

Долго колебался, но не смог удержаться. Недавно обсуждал индексы цитируемости с Летающим Медведем: http://flying-bear.livejournal.com/571250.html?thread=9909106#t9909106. Поскольку вы ссылаетесь на эту дискуссию, вы ее, вероятно, читали.

Поскольку мне и моим коллегам-математикам совершенно очевидно, что индексы цитирования имеют очень слабую корреляцию с существенностью вклада того или иного математика (как я писал в той дискуссии, внимания заслуживают лишь сильные отклонения), вопрос для меня стоит иначе, чем для вас. Какие основания думать, что цитируемость отражает вклад ученого в других науках?

Первые соображения, приходящие в голову, равно применимы ко всем наукам. Группа людей, часто называемая "научной школой", может десятилетиями заниматься легкими и никчемными задачами, порождая огромное количество публикаций и их цитирований внутри "школы". И наоборот, человек может годами или десятилетиями работать над очень трудной проблемой, почти ничего не публикуя. Простой способ увеличить количество публикаций и цитирований - разбить работу на несколько. В конце концов, есть универсальный принцип - если людей начинают оценивать по некоторому параметру, они начинают заниматься оптимизацией этого параметра напрямую, минуя то, что этот параметр призван измерять.

Мне до сих пор непонятно, почему тот метод, который работает в математике - peer review, экспертная оценка - не может работать в других науках.

Честно говоря, я не вижу большого смысла в сравнении стран в противоположность индивидуумам. Сравнивать людей приходится хотя бы для того, чтобы решить, кому дать деньги, кого взять на работу, и т.п. Для стран этих целей нет. Возможно, эти данные тешат чьи-то патриотические чувства, невзирая на то, что наука интернациональна, и ученый все чаще является продуктом нескольких стран. Да и раньше так было: Эйлер - швейцарский, российский, или немецкий математик?. Школьное образование он может получить в одной стране, университетское - в другой, а работать в третьей. И даже работать в одной стране на деньги другой.

Ну уж если хочется сравнивать страны, то, опять же, экспертное мнение представляется гораздо более ценным, чем количество статей.


ReplyThread
valchess
valchess
Англофил
Вт, 24 июн, 2008 23:30 (UTC)

Я во многом согласен. И все же (этот вывод, насколько я понимаю, можно сделать по итогам Вашей дискуссии), математика - наука особая: более чувсвтвительная к индивидуальностям научных работников; она не столь, я бы сказал, индустриализована (есть такое слово?) как некоторые другие sciences (о humanities вообще разговор особый). А посему теми, кто распределяет ресурсы, ищется и находится тот способ оценки, который наиболее безличен, легче поддается "автоматизации" и статистической обработке. Недостатки очевидны; но недостатки есть и у peer reviewing, и тоже очевидные, особенно когда наука более во всех смыслах ресурсная и прикладная, чем математика.

Вот в Альбионе есть такая вещь, как RAE (Research Essesment Exercise). Занииающиеся наукой сотрудники университетов представляют до 4-х лучших статей за отчетный период (он бывал и 5, и 7 лет). Затем специальные эксперты оценивали значимость этих статей, подразделение получало оценку по 5-бальной системе, и в зависимости от оценки правительство выделяло подразделению деньги (каждый балл означает огромную разницу в деньгах).

Принято решение в следущем RAE использовать именно индексы цитирования - вместо экспертных оценок. О деталях еще идет публичная дискуссия. Так что для нас эти индексы - вещь совершенно не абстрактная. Они реально используются, и уже поэтому от них не скрыться. Слишком значимые для будущего вывод на основании их делаются. Так что в совершенствовании такого рода индикаторов (для чего необходимы и обсуждения) научные работники должны быть заинтересованы.

Касательно стран. Если некие эксперты говорят, что такая-то область развивается плохо, то от этого можно отмахнуться, даже если эксперты с именами (ну, дескать, не любят они эту страну, вот и принижают). От цифр, посчитанных по универсальной процедуре, отмахнуться сложнее. А значит, и выводы, в том числе практические, правительству делать сподручнее.


ReplyThread Parent Развернуть





nataly_demina
nataly_demina
de_mi_na
Ср, 25 июн, 2008 13:05 (UTC)

Спасибо за инфо! После некоторых сомнений, что информация немного устарела, решила, что в таком скомпонованном вами качестве она имеет право на новость. Нашла ссылки и опубликовала http://www.polit.ru/science/2008/06/25/thes.html



ReplyThread
valchess
valchess
Англофил
Ср, 25 июн, 2008 13:22 (UTC)

С одной стороны, мне приятно, что мой пост оказался полезен. С другой - Вы хотя и дали ссылки на первичный источник, но сама новость (и текст, и таблицы) все-таки скомпонованы прямо из моего текста. Собственно, вы практически его скопировали. Мне кажется, что в таких случаях корректно давать ссылку и на источник, которым в данном случае послужил мой пост. И разве ссылки на чей-то блог есть что-то недопустимое?

Кстати: первая фраза у Вас: "Еженедельная британская газета “the Times Higher Education Supplement” (THES)" . На самом деле эта газета три месяца назад претерпела преобразования. Ныне она (он - "THE") выглядит как глянцевый журнал и слова "Supplement" больше нет. Собственно, это то едва ли не единственное, чем Ваш материал отличается от моего.


ReplyThread Parent
nataly_demina
nataly_demina
de_mi_na
Чт, 26 июн, 2008 08:00 (UTC)

Не обижайтесь, пожалуйста, я подумала написать благодарность Вам как автору идеи, но в новости это не принято, в отличие от статьи, вообщем ничего так и не придумала и это неправильно. Сейчас буду исправляться.


ReplyThread Parent
nataly_demina
nataly_demina
de_mi_na
Чт, 26 июн, 2008 08:01 (UTC)

А вы ведь тоже не поставили ссылки на статьи, откуда взяты таблицы
;-P


ReplyThread Parent
nataly_demina
nataly_demina
de_mi_na
Чт, 26 июн, 2008 08:18 (UTC)

Хоть это и не принято, у нас новости не подписываются и как бы лишены авторства, написала: "Выражаем признательность ЖЖ-пользователю valchess за идею, подбор материалов и компоновку данной информации" (внизу перед ссылками на таблицы из THE).
http://www.polit.ru/science/2008/06/25/thes.html


ReplyThread Parent Развернуть