Теория тестирования

 Теория  тестирования  

Основы  теории тестирования

Тестирование  является одной из форм массового  контроля знаний студентов, который  осуществляет преподаватель после  изучения ими всей программы учебной  дисциплины. Экзамен в форме тестирования обладает целым рядом преимуществ перед традиционной формой экзамена-диалога "преподаватель-студент". Особенность экзамена в форме тестирования — жесткий временный контроль. Поэтому при подготовке к тестированию необходимо уделить внимание психологическому настрою, тренировке решения мини-задач или ответов на мини-вопросы с контролем времени. 
 
 

Преимущества  тестирования

• Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов теста проводится через компьютер или в присутствии студентов с использованием карты ответов.
• Валидность. Исключается фактор "лотереи" обычного экзамена, на котором может достаться "несчастливый билет" или задача — большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не "провалиться" из-за случайного пробела в знаниях.
• Простота. Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требует развернутого ответа или обоснования – достаточно выбрать правильный ответ и установить соответствие.
• Демократичность. Все тестируемые находятся в равных условиях.
• Массовость и кратковременность. Возможность за определенный установлений промежуток времени охватить итоговым контролем большое количество тестируемых.
• Технологичность. Проведение экзамена в форме тестирования как при машинном, так и безмашинном контроле весьма технологично, так как позволяет использовать соответственно машинную обработку или листки (карточки) ответов.

Недостатки  тестирования

• Относительная трудность создания хорошего теста, проверенного эмпирически, имеющего устойчивые коэффициенты надежности и валидности.
• Возможность угадывания ответов при использовании закрытой (без показа правильных вариантов ответов) формы тестовых заданий.
• Необходимость создания и приобретения дорогостоящих технических средств для использования тестов при машинном контроле. 
   
   

Определение теста  

Тест  — система заданий специфической  формы, возрастающей трудности, позволяющая  качественно оценить структуру знаний и эффективно измерить уровень подготовленности студентов. 
 
Научно-обоснованный тест — это метод контроля, соответствующий установленным стандартам валидности и надежности. Под надежностью понимают согласованность результатов проведения теста на одной и той же группе испытуемых, но при изменении условий проведения, чаще всего либо времени, либо набора тестовых заданий. Коэффициент надежности может принимать только положительные значения от нуля до единицы. Обычно для оценки надежности тест проводят два раза и сравнивают полученные тестовые баллы. Чем более схожи результаты двух тестирований, тем более высок уровень надежности тестов. 
 
Валидность теста — его пригодность для достижения поставленной цели: пригодность по содержанию, пригодность к применению в конкретных обстоятельствах, пригодность по какому-либо критерию. 
 
Валидность педагогического теста по содержанию может быть определена опытным преподавателем экспертом, который отмечает, что задания теста:

• соответствует учебной программе испытуемых;
• охватывает всю программу;
• имеет высокую вероятность того, что студент, успешно ответивший на задания теста, знает предмет в соответствии с полученной оценкой (при установлении соответствия тестового балла принятой систем отметок в качестве критериев обычно берутся оценки, выставляемые студентам группой преподавателей экспертов при традиционной форме контроля знаний).

Валидность  теста напрямую связана и со следующими вопросами:

• Насколько можно доверять результатам контроля, и каковы аргументы в пользу такого доверия.
• Является ли выявленный уровень знаний приемлемым с точки зрения цели и качества обучения.
• Сколько вопросов нужно задать для получения объективной информации о знании студентов.
• Сколько времени требуется для оптимальной организации качественного контроля.

Тест  может быть валидным, если, помимо прочих требований, средние результаты соответствуют  большей части студентов группы, а сами данные распределяются по "нормальному  закону". Если это условие не выполняется, то такой тест считается невалидным с точки зрения соответствия стандартам распределения. Именно отсюда проистекает стремление создателей теста добиваться нормальности распределения за счет варьирования числа легких и трудных тестовых заданий. В процессе создания теста мера трудности регулярно проверяется на случайной выборке из того контингента, для которого тест предназначается. В сбалансированном тесте авторы обычно легко добиваются нормальности распределения. Дальнейшее совершенствование теста идет по пути замены ряда заданий, ответы на которые нарушают нормальность распределения. 
 
Трудность заданий влияет на надежность и валидность. Если тест очень трудный, то студенты чаще вынуждены догадываться — какой ответ правильный, но чем чаще они прибегают к догадке, тем больше распределение результатов теста приближается к случайному распределению. Поэтому пригодность теста для оценки знаний всей массы студентов будет ниже, чем труднее тест. Такое же влияние на надежность, но по другой причине, оказывает легкий тест, в котором студенты редко догадываются, их ответы устойчивы, но нет различий между испытуемыми. 
 
Валидность теста существенно уменьшается из-за снижения его различающей способности. Различающая способность теста тем выше, чем меньше одинаковых тестовых баллов набирают сами студенты. 
 
Валидность теста связана еще с понятиями "гомогенный" и "гетерогенный" тесты. Если тест создан с целью проверки знаний по одной учебной дисциплине и все задания теста связаны именно с ней, то такой тест считается гомогенным. Тест, состоящий из заданий по нескольким дисциплинам, называется гетерогенным. Валидность теста зависит и от длины теста. Под длиной теста понимают количество заданий, входящих в тест. Существуют тесты очень короткие, состоящие из 7-15 заданий, и очень длинные, состоящие из более 500 заданий. Если тест очень длинный, то ухудшается мотивация и внимание у испытуемых, а это снижает надежность и валидность. Практика показывает, что если тестирование занимает более полутора часов, то испытуемые с неохотой соглашаются отвечать на вопросы теста. С другой стороны, с точки зрения теории, чем тест длиннее, тем он надежнее. Возникающее противоречие между теорией и практикой решается компромиссом в ту или в другую сторону, в зависимости от конкретного случая. 
 
 

Этапы разработки теста

• Замысел. В основу замысла теста ложится концепция знания предмета, представляющая собой структуру учебной дисциплины.
• Цель. Четко формулируется для чего разработан тест, какие функции выполняет.
• Условия применения. Определяется контингент, подлежащий тестированию (курс, объем знаний, период обучения), время на тестирование, указывается безмашинный (анкетный) или автоматизированный тесты.
• Анализ разделов, тем. В зависимости от важности разделов делается примерная процентная раскладка знаний по разделам и составляется общий план теста с учетом содержания заданий.
• Определение вида тестовых заданий. Используются тестовые задания различных видов в зависимости от темы раздела, концепции разработки. Для одной группы вопросов нужно апробировать различные типы тестовых заданий. Критерии отбора — показатели трудности и показатели коррелируемости задания с суммарным баллом.
• Экспертиза тестовых заданий. Цель экспертизы: с привлечением квалифицированных специалистов определить, можно ли с помощью предлагаемых тестовых заданий оценить знания. Экспертиза должна быть формализована с применением количественной оценки мнений экспертов.
• Эмпирическая проверка теста. Проверке подлежат все тестовые задания (по 40-50 заданий на 100-200 испытуемых). Результаты тестирования подвергаются статистической обработке.

Требование  к тестовым заданиям

• Содержательность — обязательная принадлежность к теме, разделу дисциплины, для которой составляется тест.
• Краткость — четкая, короткая формулировка, ясное изложение, требующее однозначность ответа, невозможность двойного исполнения при формировании задания желательно придерживаться прямого порядка слов. Вместе с ответом задание должно составлять утверждение, а не вопрос-ответ. В начале предложения следует ставить ключевое слово.
• Калибровка по трудности — в ходе апробации теста определяется мера трудности каждого задания. В тесте должны быть задания различной трудности.
• Взаимосвязь — задания должны быть взаимосвязаны по содержанию (из любого раздела, темы) и коррелировать между собой.
• Дифференцирование — разделение студентов на сильных и слабых. Если на тестовое задание никто не отвечает или отвечают все, такие задания исключаются.

Формы тестовых заданий

Наибольшее  распространение в педагогической практике нашли четыре формы тестовых заданий. 
 
Наиболее часто в вузовской практике использовались и используются тестовые задания закрытой формы, когда предлагается несколько вариантов готовых утверждений (ответов), их которых нужно выбрать одно, являющееся истинными. Как правило, дается 4-5 ответов. Наибольшая трудность в составлении тестовых заданий с выборочными ответами заключается в подборе правдоподобных, но все-таки неправильных ответов. Правильный ответ вводится в компьютер. Номер правильного ответа всегда меняется постоянно после каждого тестирования. 
 
Открытая форма тестовых заданий: она помогает студенту овладеть ключевыми словами учебных дисциплин. По этой форме формулируется предложение, в конце которого делается пробел, в который тестируемый записывает произвольный ответ (задание на дополнение). При составлении открытых заданий они должны быть корректными, не допускающими неоднозначного ответа, в задании должно не более 7-12 слов. 
 
Задание на соответствие. Необходимо установить соответствие элементов одного множества элементам другого. При таком методе тестирования оценивается либо каждый вопрос (что желательно), либо целиком полный правильный ответ. 
 
Тестовые задания на установление правильной последовательности тех или иных действий, процессов, операций.

http://testbuilder.narod.ru/theory.html