(2)

Уравнение (2) связывает уровень трудности некоторого задания и уровень подготовленности некоторого участника с вероятностью правильного выполнения задания и должно быть справедливо для заданий любого уровня трудности. Учитывая общность полученного уравнения (2) можно показать, что вероятность Р(S,t), того, что участник с уровнем подготовки S правильно выполнит задание трудности t, выражается следующей формулой:

(3)

Вероятность Р(S,t) получила название функции успеха. Как видно из выражения (3) функция успеха зависит только от отношения t к S, поэтому модель Раша называется однопараметрической и использует шкалу отношений.

Вводя новые переменные:

, ,

,

Выражение (3) можно переписать в виде:

(4)

Формула (4) является основным уравнением однопараметрической логистической модели Раша, единица измерения δ и θ называется логитом. При одном логите (δ0 = 1 и θ0 = 1) вероятность успеха , т.е. вероятность выполнения стандартного задания стандартным участником должна быть равна 0,5 (рис.2). Модель Раша позволяет сделать

Рис.2. Характеристическая кривая трудности задания

вывод: чем выше уровень подготовки участника, тем больше вероятность выполнения задания любого уровня трудности. Параметры δ и θ называют латентными параметрами, т.к. они не измеряются непосредственно в процессе тестирования.

Разрешающая способность теста является одним из ключевых понятий современной теории тестирования, поскольку разделение испытуемых по рейтингу или по группам, при аттестации, является основной задачей любого тестирования. В связи с этим вводится понятие коэффициента дискриминации (или различающей способности), который может характеризовать как весь тест в целом, так и отдельные тестовые задания, и рассчитывается на основании полученных результатов. Основное влияние при вычислении разрешающей способности теста оказывает число заданий – k, поскольку число заданий, как правило, меньше числа участников – n. При заданном конечном числе заданий – k, первичные баллы принимают конечное число значений 0,1, 2, 3, …… k с шагом ∆b = 1. Общепринято, что разрешающей способностью теста (ξ) называется длина промежутка ∆θ в логитах на латентной шкале уровня подготовленности, который соответствует шагу ∆b = 1, т.е:

Если , то тест не в состоянии различить θ1 и θ2 . В реальной жизни величину разрешающей способности теста (ξ) желательно знать заранее при составлении теста, что можно сделать используя следующий метод.

Продифференцируем по ():

,

тогда

.

Разрешающая способность теста в окрестности балла будет тем больше, чем больше информации содержится в i - ой строке матрицы ответов. Минимальное значение ξ (ξmin) ξmin = 4/K достигается при для любого j = 1, 2, 3, …….k. Поскольку максимального значения коэффициента разрешающей способности ξ не существует, то практически ограничиваются величиной ξ = 11/k , соответствующего маловероятному случаю для любого j = 1, 2, 3, …….k. На практике используют значения ξ удовлетворяющие неравенству: 4/k < ξ < 11/k (k-число заданий), а для приближенных вычислений брать ξ ≈ 7/k логит. Для средней квадратичной ошибки определения можно воспользоваться формулой:

.

Соотношение позволяет установить взаимосвязь между соответствующими среднеквадратичными ошибками и :

Таким образом, для среднеквадратичной ошибки оценки уровня подготовленности i- участника, можно получить, что логит ( – первичный балл, набранный участником), для среднеквадратичной ошибки оценки уровня сложности задания логит (– число участников успешно выполнивших данное j – ое задание). Для более строгих расчетов , вероятности и вычисляют по модели Раша, используют следующее выражение:

.

В диапазоне от 0 до 1 коэффициент разрешающей способности имеет следующую интерпретацию:

- больше 0,40 (задание является эффективным);

- от 0,30 до 0,39 (задание является удовлетворительным);

- от 0,20 до 0,29 (задание требует переработки);

- менее 0,20 (задание необходимо полностью заменить).

Для исследования показателей качества тестовых заданий необходима достаточно большая выборка испытуемых. В реальных условиях эта задача бывает трудно реализуемой, что существенно осложняет работу по разработке качественных заданий.

Постановка задачи: по результатам отбора тестируемых выполнить анализ качества тестовых материалов ( информационная карта тестовых материалов в приложении 3) на основе классических методов и метода Раша выполнить компьютерную обработку результатов, их анализ и интерпретацию.

Глава 2. Математико–статистическая обработка

эмпирических данных.

На основе поставленной задачи было проведено практическое исследование диагностических материалов, предложенныхстудентам 4 курса специальностей МОиАИС и ПИвЭ по дисциплине «Исследование операций».