Институт практической психологии ГУ ВШЭ28 октября 2014

Презентация книги

«Практическая тестология»

Шмелев Александр Георгиевич,профессор МГУ,

научный руководитель Лаборатории«Гуманитарные технологии», www.ht.ru

План доклада• Кому адресовано это руководство? • Оглавление книги• «Практическая тестология» (ПТ) и

«дифференциальная психометрика» • Междисциплинарное сотрудничество и роли разных

специалистов в ПТ• Сайт книги и как ее приобрести• Обсуждение острых вопросов по теме• Стандарты тестирования персонала и forum.ht.ru

Testology-book.ru1) Для психометристов – психологов с математической подготовкой

2) Для менеджеров-оргпсихолологов

3) Для авторов тестовых заданий (предметников)

4) Для ИТ-специалистов

5) Для руководителей подразделений качества в ВУЗах

Требования к тестологу• Современный практический тестолог – это не

просто прикладной математик, получивший дополнительную подготовку в области психологии, и не просто прикладной психолог, получивший дополнительную математическую подготовку, - это универсальный ИТ-МЕНЕДЖЕР, способный скоординировать работу междисциплинарного коллектива исполнителей – работу по внедрению Автоматизированной Системы Тестирования (АСТ) в организации.

Оглавление1. Определения и классификация тестов (89 с.)2. Конструкция и конструирование тестов (78 с.)3. Разработка тестовых заданий и образцы (58 с.)4. Математическая тестология (86 с.)5. Организационно-технологическое обеспечение

тестовых систем (83 с.)6. Валидность, рентабельность и достоверность (65 с.)7. Внедрение тестов в систему вузовских экзаменов (58 с.)8. Социально-психологические проблемы внедрения тестов (72с.)

Практическая тестология и дифференциальная психометрика

• Предмет практической тестологии шире – это не только измерение психических свойств, но профессиональных и образовательных компетенций (ЗУНов).

• Поле практической тестологии – это поле деятельности не в лабораторных условиях, а в реальной оргсреде образовательного учреждения в целом и-или производственной (коммерческой) организации.

Семь критериев-требований и отсутствие универсальных специалистов, им соответствующих

1) Критерий психометрической обоснованности (надежности, валидности, репрезентативности)

2) Критерий моделирования (очевидной валидности)3) Критерий кооперативной готовности4) Критерий субъективной справедливости5) Критерий достоверности (информационной

безопасности)6) Критерий системной дополнительности (интеграция с

другими оценочными процедурами)7) Критерий рентабельности (конкурирующей

эффективности)

Роли в тестологической команде ВУЗа

Что такое матминимум практического тестолога?

• Матминимум – это база для взаимопонимания генерального конструктора не только с ИТ-специалистом или «психометристом-аутсорсером», но и с другими участниками процесса - теми, кто должен утвердить модель тестового экзамена, а также уметь правильно интерпретировать тестовые шкалы с результатами для принятия управленческих (кадровых) решений.

• Матминимум не может включать знания в объеме современных диссертаций по математической психологии. Например, модель Раша может входить в этот минимум лишь в самом общем виде без особых вариаций.

Практический эффект МЦВ(метода целочисленного взвешивания)

• Балл испытуемого отображается на упрощенной шкале логитов, то есть на той же самой, где отображается и трудность тестовых заданий.

X=1 – означает, что испытуемый может справляться 50:50 с легкими заданиями Q=1

X=2 – означает, что испытуемый может справляться 50:50 со средними заданиями Q=2 и 66*33 с легкими Q=1

X= 3 – означает, что испытуемый может справляться со средними 66*33 и 50:50 с трудными Q=3

Таблицы вероятностей на целочисленной модели Раша

Xi Qj-> -2 -1 0 1 2-2 0,50 0,33 0,20 0,11 0,06-1 0,67 0,50 0,33 0,20 0,110 0,80 0,67 0,50 0,33 0,201 0,89 0,80 0,67 0,50 0,332 0,94 0,89 0,80 0,67 0,50

По строкам – сила испытуемого X, по столбцам – трудность задания Q

Где и как приобрести книгу?• На сайте www.ht.ru в правой колонке есть

раздел «Подписка на книгу Шмелева». Эта подписка дает возможность для дистанционной оплаты и получения книги в виде почтовой бандероли.

• Для приобретения книги самовывозом (и оплаты на месте наличными) надо звонить по телефону – 495- 669-6719 (Лобов Вадим)

Дискуссионный вопрос 1Вопрос: Практическая тестология - это применение

тестирования в практических целях в отличие от исследовательских? Если да, то, в чем принципиальное отличие одного от другого? Или это дань моде?

Ответ : Исследование базируется на гипотезах о каких-то обших закономерностях и связях и отвечает эмпиричесскими данными на эти гипотезы (подтверждает или опровергает). Эксплораторный тип исследования не меняет ситуации, ибо продуктом его тоже оказываются новые связи, хотя и постулированные заранее. В этом контексте практическая тестология не ставит своей ЗАДАЧЕЙ получение новых обобщенных знаний, а ставит задачу приписать конкретным объектам какие-то свойства - количественные и качественные характеристики. Поэтому, с моей точки зрения, разговор о том, какие свойства с какими связаны и какими отношениями (иерархическими или другими) - этот разговор НЕ является ни предметом, ни компонентом деятельности практического тестолога. Кто-то может возразить, что разработка модели компетенций предполагает выход на эти вопросы (о связи свойств), но я с этим не соглашусь: практическая тестология начинается там, где модель компетенций кем-то уже задана и стоит задача измерить каждую из компетенций.

Дискуссионный вопрос 2Вопрос: Почему практическое использование тестов

(например, в области образования) нередко приводит к упрощению…, выхолащиванию сути индивидуальности и могут нанести больше вреда, чем принести пользу?

Ответ: 1) Тесты не должны заменять, а должны дополнять традиционные оценочные процедуры – письменные и устные экзамены. Если тестами ограничиться, то вреда почти всегда больше, чем пользы.

2) Но…Чаще всего практическое применение тестов оказывается вредным не потому, что за скобками остается какая-то уникальная способность человека, а по другой причине - надо тестировать одно, а тест тестирует совершенно другое, ибо концепция валидности данного теста плохо разработана и недостаточно сужена область его применения. Если Вам сказано, что этот прибор измеряет объем легких и Вы его стали применять для этого, но... оказалось, что он измеряет окружность грудной клетки, то в результате получается не просто "редкая индивидуальная ошибка", а массовые ошибки. И это страшнее!

Дискуссионный вопрос 3Вопрос: Каковы перспективы тестирования в эпоху

виртуальной коммуникации и всеобщей просвещенности испытуемых?

Ответ: В эпоху виртуальной коммуникации и всеобщей просвещенности испытуемых перспективы тестирования УЛУЧШАЮТСЯ (!). Это не парадокс, так как несмотря на повышение риска утечки правильных ответов на тест (это негативный фактор растет, конечно), перевешивает другой позитивный фактор - востребованность интеллекта в обществе РАСТЕТ. Не субъективного и "гуманитарно-мнимого", а объективного и "реально-продуктивного" - создающего реальный работающий интеллектуальный продукт. Тесты - отличный инструмент для измерения операциональных знаний, ибо вопросы стоят конкретно (надо ставить конкретно) и ответ требуется чаще всего однозначный... Тесты измеряют скорость-точность обработки информации. А современные потоки в сетях требуют и того, и другого. Повышается рентабельность применения метода тестов – за счет эффекта тиражирования (массовость возрастает многократно!).

Дискуссионный вопрос 4Вопрос: Каково место отечественной тестологии на фоне

мировых достижений?Ответ: Самый простой вопрос - пятый. Место отечественной тестологии -

аутсайдерское (среди отсталых стран). Это легко измерить и доказать - достаточно оценить психометрические качества тех тестов, которые популярны в России. Большинство пользователей даже и не задаются вопросом о том, должны ли тесты обладать какими-то "психометрическими качествами", ибо не знают, что это такое.

Но… мы в рамках ФОП НК РЧК работаем над проектом СТП – стандартами тестирования персонала. См. форум forum.ht.ru. После 15 ноября там будем опубликована ВИКИ-версия проекта СТП (70 страниц текста, согласованного в ходе дискуссий и виртуальных голосований 25 специалистов).

Дискуссионный вопрос 5Вопрос: Какую связь автор усматривает между

тестированием и конкуренцией? Можно ли это обосновать операционально?

Ответ: Грамотно-организованное тестирование структурирует (формализует) конкуренцию между людьми и делает ее более цивилизованной, прозрачной, подчиненной правилам, регламентированной, а значит … более справедливой. Появляется количественная и объективная шкала тестовых достижений, которая позитивно мотивирует участников.

Пример: студенты могут не сообщать свой балл по тесту на Госэкзаменах в МГУ, но им интересно поделиться. Я слышу в коридорах, как звучат эти цифры и я понимаю, что шкала мотивирует. Отсутствие шкал и равных условий – это отсутствие инструментов социального сравнения, и это демотивирует, снижает мотивацию к честной конкуренции, к самоутверждению в честной соревновательной борьбе.

Признаки продуктивной конкуренции: равенство стартовых условий, независимость и объективность оценки достижений, связь усилий с приростом результата… Операциональный индикатор: за компьютерное тестирование голосуют БОЛЕЕ успешные студенты, более трудолюбивые и уверенные в своих силах.

Спасибо за внимание.Готов ответить на вопросы.

Контакты – www.ht.ru, блог главредактора