Как работают университетские рейтинги? Российский и мировой опыт

Анастасия Кинчарова,Михаил Соколов,

НОЦ “PAST”27 марта 2013

Проект «Политическая экономия высшего образования» «Физиология рейтингов» Экономика рынка образовательных услуг Академическая миросистема Научный истэблишмент: происхождение

дисциплинарных элит Политика университета Исследования цитатного поведения ….

«Физиология рейтингов»:критика ранжирующего разума Кто и почему обращается к ним? Почему они так выглядят – шкалы и

способы агрегации? Почему кто-то выглядит в них лучше, чем

другие? Каковы последствия их применения?

Кто участвует в рождении рейтинга? Объекты ранжирования; Потребители – (а) домохозяйства и/или

студенты; (б) государственные органы; (в) университетские администрации и/или преподаватели;

Производители – «эксперты».

Чего хотят потребители? Домохозяйства

Информация – качество образования, престиж или социальные шансы

Государственные чиновники (частные доноры) Эффективность расходования средств - ex ante или ex

post – и политическая поддержка Множественность идеологий высшего образования –

технократическая или социально-гуманитарная Университетские администраторы и

преподаватели Рациональная оценка положения (?) Субсидии и плата за обучение

Доверие, легитимность и прагматическое принятие Возможность каждой из сторон использовать рейтинг

определяется доверием к нему со стороны других сторон; Доверие рождается из

Соответствия традиционным представлениям об иерархии университетов ;

Соответствия процедуры традиционным образцам (миметический изоморфизм – DiMaggio & Powell, 1983);

Привлечение иных процедурных легитимационных мифов (Meyer and Rowan, 1977);

Отсутствие видимых манипуляционных намерений; Авторитет производителя.

Прагматическое принятие (Mann, 1977) рождается из Представление о доверии других; Невозможности легитимно оспорить рейтинг

О чем думают «эксперты»?

Легитимность решения – прозрачность и давление «мировой культуры» (Meyer and Schofer, 2005).

Техническая исполнимость и экономическая целесообразность.

Соответствие познавательным целям политического принципала.

Лоббизм (принципал или группа экспертов) – подмена показателей или позиция в рейтинге.

Исследования рейтингов университетов: основные направления Методологические исследования: как устроены и/или

могут быть устроены рейтинги (методики измерения характеристик университетов) (Liu & Cheng, 2005; Huang, 2012).

Сравнение рейтингов: результатов, методик (Buela-Casal G. et al., 2007; Huang, 2011)

Критика: методологическая (Van Raan, 2005, Dill & Soo, 2005) и идеологическая (Marginson, 2006, 2007; Amsler & Bolsmann, 2012).

Эффекты рейтингов (Hazelkorn, 2008, van Vught & Ziegele, 2012).

Виды показателей (мировой опыт)

Выбор показателей – зависит от нормативных представлений разработчиков о том, что такое «качество» применительно к университету.

Основные группы (по источнику): Библиометрические: количество публикаций,

цитирование, соавторство. Peer review: опрос представителей академии. Другие: в основном с использованием данных

статистики, как правило, университетской.

Критика библиометрических показателей

Проблемы: Технические - связанные с трудностями сбора «чистых» данных:

корректная идентификация авторов и университетов (перевод имен и названий, отнесение лабораторий и клиник, решение проблемы «зонтичных» университетов и «разведение» разных университетов из одного города).

Методологические - связанные с трудностями построения релевантных индикаторов;

Некорректное использование (подход «если данные уже куплены, построить рейтинг просто и быстро»).

Необходимо учитывать: Практики публикации в определенных областях; Характер источника данных, присущие ему проблемы; Временной интервал (различия в периодах актуальности для

цитирования в разных дисциплинах); Разная плотность цитирования в разных дисциплинах.

Критика peer review

Проблемы: Что на самом деле показывает репутация? Показывает ли

она «лучшие университеты»? Проблемы организации сбора данных:

Неясная и несистематическая схема отбора экспертов, географический «перекос»;

Невысокое качество вопросника (представители академии могут судить об исследовательской работе других университетах по ее результатам, но о процессе преподавания им, скорее всего, известно очень мало);

Низкий процент возврата; Недостаточная компетентность экспертов

(представители академии могут компетентно судить преимущественно о факультетах своей дисциплины, которые находятся в том же регионе или стране).

Критика статистических показателейКритика конкретных показателей: Неясны цели использования конкретных индикаторов (например,

индикатора интернационализации, которая может быть следствием или причиной целого ряда разных явлений).

Низкое качество данных, предоставляемых университетами (данные могут быть предметом манипуляций, либо неумышленных искажений)

Зависимость от размера – для абсолютных показателей.Критика комбинаций показателей: Охват разных периодов для разных показателей. Асимметрия выбора при учете выдающихся успехов: используются

показатели, отражающие максимально возможные достижения в науке, но не негативные характеристики.

Отсутствие среди показателей характеристик процесса обучения: качество преподавания, успеваемости студентов, «выходных» характеристик студентов.

Разнородность индикаторов, объединяемых в единый индекс без достаточных обоснований.

Индикаторы и веса ARWU (2012 г.)

Критерий Индикатор Вес

Качество образования (Quality of Education)

Выпускники университета, получившие Нобелевскую премию или медаль Филдса

10%

Качество преподавателей (Quality of Faculty)

Сотрудники университета, получившие Нобелевскую премию или медаль Филдса

20%

Высоко цитируемые исследователи в 21 широкой дисциплинарной области

20%

Продуктивность исследований (Research Output)

Статьи, опубликованные в журналах Nature и Science*

20%

Работы, проиндексированные в Science Citation Index-expanded и Social Science Citation Index

20%

Успешность на одного человека (Per Capita Performance)

Академическая успешность университета на одного человека

10%

* Для университетов, специализирующихся на гуманитарных и социальных науках, таких как London School of Economics, N&S не рассчитывается, его вес переносится на другие индикаторы.

Индикаторы и веса QS (2012 г.)

Индикатор Вес

Академическая репутация (Academic reputation) 40%

Репутация среди работодателей (Employer reputation) 10%

Соотношение преподавателей и студентов (Faculty/student ratio)

20%

Цитаты на преподавателя (Citations per faculty) 20%

Доля иностранных преподавателей (International faculty ratio) 5%

Доля иностранных студентов (International student ratio) 5%

Индикаторы и веса THE (2012 г.)Критерий Индикатор Вес

индикатораВес

критерия

Международная перспектива: люди, исследования

Отношение доли иностранных студентов к доле студентов из страны, где находится университет

2.5%

7.5%Отношение доли иностранных сотрудников к доле сотрудников из страны, где находится университет

2.5%

Доля публикаций с иностранными соавторами 2.5%

Исследования: объем, доход, репутации

Репутация университета с точки зрения качества исследования – опрос представителей академического сообщества

18%

30%Доход от исследований 6%

Продуктивность исследований – публикации 6%

Цитаты: влиятельность исследований

Уровень цитирования 30% 30%

Доход от инду-стрии: инновации

Объем финансирования исследований со стороны индустрии 2.5% 2.5%

Преподавание: среда обучения

Репутация университета с точки зрения качества преподавания – опрос представителей академического сообщества 15%

30%Соотношение студентов и преподавателей 4.5%

Соотношение количества присвоенных степеней доктора и бакалавра

2.25%

Количество присвоенных университетом степеней доктора 6%

Доход университета с учетом численности сотрудников 2.25%

Индикаторы рейтинга Минобрнауки для вузов и филиалов

1. Образовательная деятельность: средний балл ЕГЭ студентов, принятых по результатам ЕГЭ на очное обучение по программам бакалавров и специалистов за счет бюджета или с оплатой физическими и юридическими лицами (средневзвеш.);

2. Научно-исследовательская деятельность: объем НИОКР в расчёте на одного НПР;

3. Международная деятельность: удельный вес численности иностранных студентов, в общем выпуске студентов;

4. Финансово-экономическая деятельность: доходы вуза из всех источников в расчете на одного НПР;

5. Инфраструктура: общая площадь учебно-лабораторных зданий в расчете на одного студента (приведенного контингента), имеющихся у вуза на праве собственности и закрепленных за вузом на праве оперативного управления.

Индикаторы рейтинга Минобрнауки для филиалов6. Приведенный контингент;

7. Доля кандидатов и докторов наук в численности работников ППС (без совместителей и работающих по договорам гражданско-правового характера);

8. Доля работников ППС (без совместителей и работающих по договорам гражданско-правового характера) в общей численности ППС.

Индикаторы «Национального рейтинга университетов» (Интерфакс и Эхо Москвы) (1)

Образовательная деятельность вуза (вес 0,2): Оценка числа студентов первого уровня подготовки (бакалавриат, специалитет). Оценка спектра образовательных программ. Оценка числа ППС, работающих на полной ставке. Оценка уровня квалификации ППС. Оценка качества абитуриентов.  Оценка затрат на подготовку студента. Оценка ресурсного обеспечения образовательного процесса.

Научно-исследовательская деятельность вуза (вес 0,2) Результативность работы аспирантуры и докторантуры. Оценка образовательных программ подготовки научно-исследовательских кадров (магистратура, аспирантура, докторантура). Оценка ресурсного обеспечения исследовательского процесса. Оценка достижений ППС в области науки и исследований.

Индикаторы «Национального рейтинга университетов» (Интерфакс и Эхо Москвы) (2)

Социализаторская деятельность вуза (вес 0,15) Оценка образовательных программ дополнительного образования. Пространственный масштаб деятельности вуза. Оценка динамики активности выпускников на региональных рынках труда. Оценка зарплатных ожиданий и карьерных притязаний выпускников.

Международная деятельность вуза (вес 0,15) Оценка академической мобильности студентов, преподавателей, учёных. Оценка уровня международного сотрудничества в разработке и реализации образовательных программ. Оценка влияния на зарубежные рынки образования, исследований. Оценка ресурсного обеспечения международной деятельности вуза. Показатели сотрудничества с зарубежными вузами и исследовательскими организациями в научно-исследовательской деятельности.

Индикаторы «Национального рейтинга университетов» (Интерфакс и Эхо Москвы) (3) Бренд вуза (вес 0,15) Репутация вуза. Миссия вуза, программы

развития, управление. Успешность выпускников вуза, достижения вуза в процессе селекции элит национального и международного уровней. Показатели публичной и экспертной деятельности представителей вуза. Известность вуза среди зарубежного академического сообщества.

Инновации и коммерциализация разработок (вес 0,15) Оценка результатов интеллект. деят-ти вуза: российские патенты на изобретения и полезные модели, другие виды интеллект. собственности (программы, ноу-хау), регистрируемые Рос-патентом. Создание и развитие вузом малых инновац. предпри-ятий (МИП), стимулирование предпринимательства.  Оценка развитости инновац. инфраструктуры вуза. Участие вуза в развитии технол. платформ, госпрограммах развития технологий. Доходы вуза от коммерциализации разработок.

Индикаторы различных российских рейтингов «Национальный рейтинг университетов» - элиты: первое в/о

представителей элит; второе и последующие в/о представителей элит;

Рейтинг «Коммерсанта»: число компаний, готовых принять выпускников данного вуза; число компаний, трудоустроивших выпускников данного вуза в 2006 г. ; число принятых выпускников.

Рейтинг Фонда Потанина: тестирование, игровой тур, конкурсы преподавателей, волонтерские проекты.

Рейтинг «Эксперта»: рейтинговый функционал, качество образования, востребованность работодателями, научно-исследовательская активность.

Индикаторы рейтингов НИУ ВШЭ

НИУ ВШЭ, рейтинг качества приема: средний балл зачисленных по результатам ЕГЭ (в расчете на один предмет); средний балл ЕГЭ зачисленных по конкурсу в расчете на один предмет) – показатели представлены отдельно, без формирования индекса.

НИУ ВШЭ, рейтинг научной и публикационной активности: среднегодовое число грантов РГНФ в расчете на 100 штатных преподавателей вуза; среднегодовое число грантов РФФИ в расчете на 100 штатных преподавателей; число статей в базе "Российского индекса научного цитирования" в расчете на 1 штатного преподавателя; индекс цитирования статей научно-педагогических работников вуза в базе "Российского индекса научного цитирования"; число наименований журналов ВАК, издаваемых вузом.

Эффекты рейтингов Выбор абитуриентов Управление организацией: «выбивание» финансирования,

перераспределение ресурсов Государственная политика (государственное финансирование) Изменение понимания качества «Эффект Матфея» Манипулирование результатами Повышение качества собираемой университетом информации Моральное состояние сотрудников Слияния университетов Установки руководителей университетов на продвижение в

рейтинге Продвижение университета Академическое сотрудничество

В России не исследовались

Препринт

НОЦ “PAST”

http://www.tsu.ru/content/science/noc/nots_sotsialno_politicheskie_issledovaniya_tekhnologiy.php