Анализ заданий

Анализ заданий (пунктов теста)^[1] включает в себя набор статистических методов для исследования пригодности отдельных тестовых заданий, значения которых были получены, например, через письменный опрос в зависимости от цели исследования. Целью является создание качественной шкалы (шкала здесь означает инструмент для измерения некоторых переменных), чтобы проверить и улучшить тестовые задания. Предмет анализа заданий, следовательно, заключается в изучении полезности отдельных элементов для конкретного теста. Анализ заданий является ключевым инструментом для разработки тестовых испытаний и оценки их надежности (как критерия). Решающим для оценки является решение о том, что целостный тест (то есть все его элементы) направлен на изучение именно того, что изначально предполагалось измерить.

Понятие анализ заданий точно не определено в литературе. Оно используется для эмпирического определения психометрических критериев отдельных элементов теста. Большинство определений относится к классическому анализу заданий в конструировании тестов: • Анализ распределения частот • Вычисление статистических параметров o Трудность заданий o Дискриминантная сила (различительная способность) заданий o Гомогенность (Однородность) заданий • Димензиональность (размерность). Анализ производится по алгоритму, цель которого заключается в развитии измерительной способности того фактора, для измерения которого тест был создан. Анализ заданий используется для выбора и пересмотра заданий, для их правильной расстановки в тесте и, возможно, для разработки параллельных тестов.

Контрольные значения можно представить графически (например, в виде гистограммы). Это обеспечивает первое общее представление о распределении частот. Основной интерес здесь представляет разброс значений и ответ на вопрос соответствует ли распределение сырых значений нормальному распределению. Поскольку, многие процедуры статистического анализа предполагают нормальное распределение, соответствующее распределение желательно.

Трудность заданий характеризуется индексом, который соответствует доле лиц, правильно решивших задание (Bortz & Döring, 2005). Ранее этот показатель носил название Индекса популярности. Цель индекса трудности заключается в различении заданий, обладающих высокой трудностью с более лёгкими. Непригодными признаются задания, на которые все испытуемые дают правильный ответ, либо задания ответ на которое не был найден никем. Индекс трудности обязательно должен располагаться между этими крайними случаями. В тестах, уровень трудности должен охватывать весь возможный диапазон измеряемой тестом характеристики.

Трудность заданий теста с двухступенчатым ответом (например, верно / неверно) рассчитывается следующим образом:

${\displaystyle p={\frac {N_{R}}{N}}}$ , где

Nr = количество испытуемых, давших правильный ответ, N = количество испытуемых, p = Трудность задания (только для заданий с двухступенчатым ответом!) Это обеспечивает решение для простейшего случая. Если испытуемые не решили задание или есть подозрение, что некоторые задания были выполнены «наугад», то приходится полагаться на другие альтернативные решения. (vgl. Fisseni, 1997, 41-42).

Расчёт трудности заданий с многоступенчатыми (альтернативными) ответами: Случай, когда р не определено. Возможные решения этой проблемы: • Произвести дихотомию значений множества (например, 0 и 1), в этом случае рассчитывается трудность задания с двухступенчатым ответом. • Расчет среднего значения и дисперсии (среднее значение эквивалентна р, однако, разброс также должен учитываться).

• ${\displaystyle p_{m}}$ = Индекс для заданий с многоуровневыми ответами:

Упрощённая формула: ${\displaystyle p_{m}={\frac {\text{Erreichte Wertepunkte}}{\text{Erreichbare Wertepunkte}}}}$

Для более точного расчета разные авторы предлагают различные способы (vgl. Fisseni, 2004, 43-45). Различие трудности двух заданий можно проверить с помощью многопрофильной таблицы. Эти формулы возможно применять только для тестового уровня, то есть тогда, когда не требуется проведение испытания и / или когда испытуемые смогли справиться со всеми задачами. (vgl. Lienert, 1989).

С помощью вычисления дискриминантной силы можно увидеть, насколько каждое задание влияет на общий результат теста (Bortz & Döring, 2005). Следовательно, высокий показатель дискриминантной силы означает, что задание способно различать предметы с точки зрения общего теста (то есть лиц с высокими значения признака от лиц с низким значением). Дискриминантная сила имеет коэффициент. Это коэффициент корреляции между одним заданием и общей оценкой теста. Коэффициент рассчитывается для каждого отдельного задания и зависит от масштаба уровня контрольных значений. Если распределение значений теста имеет вид нормального распределения, то дискриминантная сила(${\displaystyle r_{it}}$) определяется корреляцией между значением одного задания i и общим значением теста t:

${\displaystyle r_{it}={\frac {cov(i,t)}{s_{i}\cdot s_{t}}}}$

Если ${\displaystyle r_{it}}$ = 0, то задания достигают в равной степени низкие и высокие значения характерного признака. Если показатель корреляции отрицательный, то задание считается непригодным для использования. Априори, желательна максимально возможная различительная способность заданий, особенно для уровня тестов. Дискриминантная сила каждого задания зависит от сложности, размерности и однородности теста, а также от его положения внутри теста и надёжности критерия. (Критерий может содержать тестовое значение, кроме того, может быть использован внешний критерий. Затем он выступает как коэффициент) Высокая эффективность дискриминантной силы возможна при средней сложности заданий (vgl. Lienert, 1989).

Гомогенность ${\displaystyle {\bar {r}}_{it}}$ показывает, как тесно связаны задания теста между собой. При высокой гомогенности исследуемые задания направлены на измерение одного и того же явления (Bortz & Döring, 2005). Все задания теста имеют корреляционные пары, в результате чего ${\displaystyle k(k-1)/2}$ коэффициент корреляции (${\displaystyle r_{ii}}$), который (рассчитывается с помощью Z-преобразования Фишера) описывает средний показатель гомогенности теста (${\displaystyle {\bar {r}}_{ii'}}$). Количество корреляций ${\displaystyle r_{ii}}$ зависит от трудности заданий. Чем больше разность заданий по критерию трудности, тем меньше кросс-корреляции, которые, в свою очередь, влияют на надежность теста. Таким образом, задания теста (субтеста) не имеют корреляцию по критерию трудности (гетерогенный тест), или же задания имеют эту корреляцию (гомогенный тест) (vgl. Lienert, 1989).

Димензиональность теста указывает только на одну его функцию (одномерный тест) или же на несколько функций теста или субтестов (многомерный тест) (Bortz & Döring 2005). Эмпирически димензиональность может быть определена с помощью факторного анализа.

• Нормальное распределение
• Статистический критерий
• Распределение частот
• Теория размерности

• Bortz & Döring (2005). Forschungsmethoden und Evaluation. Heidelberg: Springer-Verlag. ISBN 3-540-41940-3
• Fisseni, H.-J. (1997). Lehrbuch der psychologischen Diagnostik. Göttingen: Hogrefe. ISBN 3-8017-0982-5
• Гессманн, Ханс-Вернер: Конструирование психологических тестов. ISBN 978-3-928524-70-4
• Lienert, G. A. (1989). Testaufbau und Testanalyse (4. Aufl.). München: PVU. ISBN 3-621-27086-8