?

Log in

No account? Create an account
Ночной разговор о мировых университетских рейтингах с инсайдером - Albion and Beyond: Russian Anglophile's Observations
Links My official Web page / National Centre for Computer Animation / HyperFun Project / KasparovChess / CrestBook / ChessPro / Daily Dirt / 64 / BBC / Daily Telegraph / Times / National Statistics / IMDb / Искусство кино / Lenta.ru / Полит.ru / Спорт: день за днем / Спорт Сегодня Июль 2017
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
 
 
 
 
Чт, 12 сент, 2013 19:23
Ночной разговор о мировых университетских рейтингах с инсайдером

По уже установившейся традиции скопирую сюда (хотя бы для сохранности) разговор из фейсбука (где контент редко живет более одного дня, да и вообще может исчезнуть бесследно).

На днях опубликован The 2013/14 QS World University Rankings. Это единственный из трех "главных" мировых университетских рейтингов, о котором я подробно не высказывался. Двум другим рейтингам, как, быть может, помнят мои френды, я посвятил немало материалов - и здесь, в жж, и в российских СМИ (в частности - весьма протяженные тексты: "Мировой рейтинг и российские эксперты" на polit.ru и "Академический рейтинг университетов мира — 2012: результаты и уроки" в ТрВ-Наука). Честно говоря, я в значительной степени потерял к рейтинговой теме интерес: свой принципиальный взгляд на них (а особенно - на место в них российских вузов) я высказал, и этот взгляд пока что не поменялся.

Можно, конечно, находить повод для глубокомысленных спекуляций в каждой новой вновь опубликованной версии каждого рейтинга: к примеру, в статье в Форбсе с красноречивым названием "МГУ ухудшил позиции в рейтинге лучших университетов мира QS" с тревогой говорится: "В 2012 году он занимал 116 место, в 2013 году расположился на 120." Но там же находят повод и для оптимизма: "Санкт-Петербургский государственный университет (СПбГУ), напротив, поднялся в рейтинге — с 253 до 240 места. Свои позиции также улучшил Московский государственный технический университет (МГТУ) имени Баумана — он переместился с 352 на 334 место." Но я-то знаю о рейтингах достаточно, чтобы утверждать: подобные флуктуации носят вполне статистический характер - методология и технология таковы, что если речь идет не о первых нескольких десятках мест рейтинга, разница в несколько (и даже в несколько десятков - если речь о четвертой сотне) мест зависит в значительной степени от того, как относительно некоторого параметра "карта легла"...

Я-то интерес потерял, а вот в России этот интерес переживает расцвет - чему причиной, конечно же, провозглашенная первыми лицами программа улучшения позиций российских университетов в мировых рейтингах (с задачей вывода, в частности, пяти вузов в первую сотню к 2020 - или даже 2018? - году). И эта программа поддержана вполне ощутимыми преференциями для тех университетов, которые к этой программе присоединились (родной МИФИ - среди них). Соответственно, и связи с производителями рейтингов устанавливаются и формализуются. В частности (цитирую), "Группа РИА Новости и британская компания QS Quacquarelli Symonds заключили долговременное соглашение о сотрудничестве". И результат такого сотрудничества налицо: посмотрите, сколько материалов (буквально не один десяток!) РИА посвятила представлению нового рейтинга производства QS - включая "полностью русифицированную интерактивную версию рейтинга QS "200 лучших вузов мира — 2013".

Так вот. Увидел я в своей фейсбуковской ленте короткий статус Ивана Стерлигова (известного научного журналиста и с некоторых пор директора Центра ситуационного анализа НИИ РИНКЦЭ Минобрнауки РФ: всем, интересующимся наукой и образованием в России рекомендую его блог Научная политика в цифрах):

по МГТУ хотелось бы получить комментарии составителей рейтинга QS, так как по библиометрии там все очень печально

Зоя Зайцева (Regional Director at QS и официальный представитель фирмы в России) откликнулась:

Zoya Zaitseva: Ага, они еще половину своих исследований и вообще публиковать не могут... Но их команда хорошо поработала с экспертами - их не очень много, но все "живые", отвечали на вопросы хорошо (как работодатели, так и академ мир). Плюс немного улучшился показатель по иностранным студентам...

После чего проходивший мимо я встрял в разговор и далее состоялся нижеследующий обмен мнениями, который приоткрывает кое-какую внутреннюю кухню составителей рейтингов. Ничего судьбоносного и даже неожиданного, но всегда интересно узнать из первых рук некоторые инсайдерские подробности. Которые помогли мне еще более утвердиться в своем мнении (которое я в нашем диалоге лишний раз высказал).

VA: "их команда хорошо поработала с экспертами" - т.е. результат оценки зависит от того, насколько оцениваемые "хорошо поработали" с оценщиками. Как интересно...

Zoya Zaitseva: Простите, действительно некорректно звучит. Поясню: раньше вузы в ответ на приглашение порекомендовать экспертов, которые знакомы с их регионом и либо имеют публикации, индексированные в Скопусе, либо занимают руководящие должности в университетах, просто сливали нам полумертвые базы, куда впихивали всех подряд. Многие из рекомендованных и отобранных профессоров, например, вообще не понимали, почему мы их приглашаем к участию в исследовании. По правилам же Data Protection Act вуз сначала должен выйти на связь с человеком, поинтересоваться, не против ли он / она поделиться своим мнением и не против ли, что контакты будут переданы QS, и только после этого присылать нам свои рекомендации.
Вот это я и называю "поработать с экспертами", никакого криминала

VA: Т.е. за 10 лет QS так и не сформировала "свою" базу экспертов (это так сложно - имея доступ к тому же Скопусу?). Которых можно было бы считать unbiased (необходимое условие для этого - уверенность экспертов, что их identity не станет известна тем, кого они оценивают - как и при всяком нормальном рецензировании). И просит, значит, университеты имена таких экспертов не просто назвать, но еще и предварительно вступить с ними в контакт. Естественно предположить, что болеющий за свое место в рейтинге университет позаботится, чтобы эксперты (от которых зависит 50% рейтинга!) "попались" дружески настроенные. И даже, возможно, для этого "хорошо с ними поработает". Тем более, что с некоторых пор рейтингам в России стали придавать преувеличенное значение... Трактовка "правил" Data Protection Act тоже весьма любопытна и заслуживает отдельного обсуждения.

Zoya Zaitseva: Valery, of course we have the database, but if we were to keep using just it - based on Scopus, Mardev and other sources - there will be even less Russian universities in total lists. I've never made a secret out of it - it was my initiative to allow universities to recommend experts who are familiar with Russia as at that time that was the only way to get at least some opinions about the region. Unfortunately, Russian experts still represent less than 2% out of the whole poll. As for the identity, the universities don't know which of the experts they've recommended were contacted as there is still a selection process based not only on the title and research matching, but also based on the number of people from this subject field or geo area presented. Sometimes it leads to disappointments from the university's side when they realize that out of, say, 100 of names we only picked up 10 and they don't know which 10 they are, but that's the rule we follow.
I can totally understand your skepticism and you are absolutely right, some universities do try to influence the opinions (not just Russians, but European or Asian as well). However at this stage I struggle to think of other ways of obtaining unbiased competent opinions about Russian HE. Bearing in mind the response rate from Russia is still minimal, I'd appreciate any ideas you might wish to share.

VA: Zoya, why suddenly in English - you think that some your QS-bosses who don't speak Russian can be interested in this accidental exchange? Or you just don't have Russian keyboard now? OK... I am not that presumptuous to think that I can suggest something you didn't consider. Probably, it's the inherent problem of QS ranking methodology with its heavy emphasis on expert opinions (and I am not the first who points at that). However, there are quite a few Russians working all around the world who definitely know the specifics of Russian HE and its top universities and can assess them in the global context. Also, it's possible to compile a long list of foreign colleagues who happened to be co-authors with authors from Russia or even from specific universities. I believe such an info can be extracted semi-automatically even from Scopus or WoS... I can't help but say that the more I know about different rankings the more sceptical I've become.

Zoya Zaitseva: Дома и снова на русском. Спасибо, про "боссов" посмеялась что касается россиян, знакомых с темой ВО и способных поделиться мнением, полностью согласна. Вопрос только в том, что для создания подобного списка нужен ресурс, человеко-часы, плюс если делать это упражнение для одной страны, мы будем обязаны применить подобный подход для всех других регионов, где доля отвечающих экспертов невелика, иначе получится предвзятый подход. Такими ресурсами я, увы, не располагаю.
То, насколько популярны и важны стали рейтинги на институциональном уровне, лично меня немного пугает - создавались-то они с совсем иными задачами (ну, Шанхайский и наш, по крайней мере). Главное, чтобы пресловутые перегибы на местах не начали влиять на реальные цифры, которые вузы показывают. Посмотрим, что в будущем году будет.
На этом предлагаю прекратить спамить ленту Ивана Если интересно продолжать дискуссию, можно это делать на Вашей или моей ленте, или в прямой переписке.

VA: Да, насчет "боссов" это не то что даже смешно, но абсурдно... Иван, думаю, не в обиде, но дискуссии-то особой нет и вряд ли она возможна. Потому как мой скептицизм касательно рейтингов в последнее время зашкалил. Я, знаете ли, за последнюю пару лет опубликовал несколько больших материалов, посвященных рейтингам. И после нашего разговора лишний раз утвердился в том выводе, который раньше публично озвучивал: мировые рейтинги - не для российских вузов. То же, кстати, относится и к университетам многих других стран (как Вы, собственно, только что подтвердили): нет надлежащего количества экспертов, кто мог бы их беспристрастно оценить (а российские эксперты по самим рейтингам - это отдельная и печальная история), и нет достоверной и могущей быть независимо верифицированной информации. Цифры, которые Вы получаете от тех же российских вузов, Вы проверить не можете - это совершенно очевидно, и в этом принципиальное отличие от англий и америк. Ресурсов, чтобы делать рейтинги так, как должно, у Вашей замечательной фирмы, как выясняется (по Вашим же словам), нет - даже для надлежащего подбора экспертов. О принципиальных проблемах с критериями и методологией всех главных рейтингов и не говорю... Вот и получается, что мировые рейтинги имеют смысл только для развитых западных стран (которые существуют в открытом и более-менее однородном пространстве), более того - в основном, англоязычных (ну и может, в какой-то степени, для тех, где принято политическое решение на самом верху не врать за ради престижа и пускания пыли в глаза непонятно кому. Таков ли Китай? Может быть). Извините за этот outburst темной ночью.

Ivan Sterligov: Zoya Zaitseva, я правильно понимаю, что рекомендованные вузом эксперты не могут оценивать данный вуз, а только соседние?

Zoya Zaitseva: Они не могут оценивать вуз, где работают, а могут только те, что а) сильны в тех областях знаний, которые отвечающий идентифицировал как свои области знаний и б) находятся в тех регионах, с которыми знаком респондент. Но если вуз А рекомендует ректора вуза Б к участию в опросе, то ректор вуза Б при желании может оценить вуз А, если тот удовлетворяет перечисленным выше требованиям. Сам вуз не может высылать приглашения экспертам со ссылками на опросы, а при рассылке приглашений мы не указываем, кем именно был рекомендован новый эксперт. В случае, если вскрываются попытки манипуляции и воздействия на мнения экспертов (вроде ирландского скандала этого года), все ответы этого года о жульничающем вузе обнуляются в системе. Это будет оказывать влияние на результаты Academic или Employer survey еще два года, так как оценку кумулятивная за три года.

Ivan Sterligov: не очень понятно, как проверить, что эксперт силен в какой-то области, если это область прикладная и "вообще публиковать не могут"

Zoya Zaitseva: Там немного не так: сначала смотрится на должность, имя ищется в Скопусе, а только потом идет (или не идет) приглашение. В чем человек селен, он идентифицирует сам, уже во время опроса.

VA: "При рассылке приглашений мы не указываем, кем именно был рекомендован новый эксперт". - выше Вы, Зоя, указывали: "По правилам же Data Protection Act вуз сначала должен выйти на связь с человеком, поинтересоваться, не против ли он/она поделиться своим мнением и не против ли, что контакты будут переданы QS." Что означает, что "человек" прекрасно знает, кем он был рекомендован.

Zoya Zaitseva: Да, Вы правы, но далеко не все помнят об этом и не всегда сопоставляют приглашение от QS с запросом от того или иного вуза. К тому же, к одному эксперту могут обратиться несколько университетов плюс если человек уже участвовал в опросах ранее и не высказал желания прекратить эту практику, ему также придет преглашение, и не важно, рекомендовал его кто-то или нет.

Flag Counter

Tags: , , ,
Музыка: Е. Камбурова - "Последняя любовь"

CommentReplyПоделиться