По наиболее часто встречающейся в отечественной и зарубежной литературе классификации предтестовых заданий выделяют :

Задания с выбором, в которых студенты выбирают правильный ответ из данного набора ответов;

Задания с конструируемым ответом, требующие от студента самостоятельного получения ответов;

Задания на установление соответствия, выполнение которых связано с выявлением соответствия между элементами двух множеств;

Задания на установление правильной последовательности, в которых от студента требуется указать порядок элементов, действий или процессов, перечисленных в условии.

Предложенные четыре формы тестовых заданий являются основными и наиболее распространенными, но абсолютизировать их нет никаких оснований. Часто специфика содержания контролируемого предмета требует использования новых форм, более адекватных целям разработки тестов. Обычно такие инновации строятся на основе сочетания отдельных элементов перечисленных основных форм.

Вне зависимости от формы задания в тесте должны подчиняться общим требованиям:

Каждое задание имеет свой порядковый номер, который может изменяться после статистической оценки трудности задания и выбора стратегии предъявления заданий теста;

Каждое задание имеет эталон правильного ответа (эталон оценивания для заданий со свободно конструируемым ответом);

Все элементы в задании располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

Для заданий разрабатывается стандартная инструкция по выполнению, которая не меняется в рамках каждой формы и предваряет формулировку заданий в тесте;

Для каждого задания разрабатывается правило выставления дихотомической или политомической оценки, общее для всех заданий одной формы и сопровождающееся инструкцией по проверке со стандартизованными процедурами подсчета сырых (первичных) баллов по тесту.

Процесс тестовых измерений предельно стандартизируется, если:

Ни одному студенту не дается никаких преимуществ перед другими;

Заранее разработанная система подсчета баллов применяется ко всем ответам студентов без исключения;

В тест включены задания одной формы либо разных форм с регламентированными весовыми коэффициентами, значения которых получены статистическим путем;

Тестирование различных групп испытуемых проводится в одинаковое время в сходных условиях;

Группа тестируемых выровнена по мотивации;

Все испытуемые выполняют одни и те же задания.

Последнее условие не исключает возможности списывания, подсказки и других нарушений, поэтому обычно стараются создать несколько параллельных по содержанию и трудности вариантов одного теста. В целом выбор формы заданий и число вариантов теста зависят от содержания контролируемого курса, целей контроля, требуемого уровня надежности теста. В частности, при аттестации стараются включить больше заданий с выбором ответа, поскольку они в силу высокой технологичности и благодаря автоматизированным процедурам проверки позволяют увеличить охваченный в тесте объем содержания, длину теста, надежность и содержательную валидность результатов педагогических измерений.

5.2. Задания с выбором одного или нескольких правильных ответов

В заданиях с выбором (или закрытые задания – название, используемое в некоторой отечественной литературе методического характера) можно выделить основную часть, содержащую постановку проблемы, и готовые ответы, сформулированные преподавателем. Среди ответов правильным чаще всего бывает только один, хотя не исключаются и другие варианты с выбором нескольких правильных, в том числе и в разной степени, ответов.

Неправильные, но правдоподобные ответы называются дистракторами. Если в задании два ответа, один из которых дистрактор, то вероятность случайного выбора правильного ответа путем угадывания равна 50%. Число дистракторов выбирают таким, чтобы задание не стало слишком громоздким и трудно читаемым, но вместе с тем стараются не допустить слишком большой вероятности угадывания правильного ответа. Поэтому чаще всего в заданиях бывает 4 или 5 дистракторов, хотя в отдельных случаях, когда есть такая необходимость, их число может достигать 6–7.

Задания с двумя ответами обычно используют для экспресс-диагностики, например в автоматизированных контрольно-обучающих программах для входа в обучающий модуль, при адаптивном тестировании или для самоконтроля, когда испытуемому необходимо оперативно выявить пробелы в собственных знаниях. Использование заданий с двумя и тремя ответами в итоговом контроле приводит к росту ошибки измерения из-за угадывания, поэтому их никогда не включают в аттестационные тесты, куда для большей надежности помещают все задания с одинаковым числом ответов.

Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство студентов выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей студентов, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться.

Углубленный анализ частоты выбора каждого дистрактора студентами с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых студентов, выполнивших верно незначительное число заданий в тесте, то он считается валидным. В противном случае, когда дистрактор кажется привлекательным в основном сильным студентам, его валидность невысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из дистракторов с равной вероятностью.

Если тестирование проводится с помощью бланков, то задания с выбором одного правильного ответа сопровождаются инструкцией: «ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА».

Задания с несколькими правильными ответами обычно используют в текущем контроле для проверки классификационных и фактуальных знаний, хотя встречаются случаи, когда специфика содержания дисциплины вынуждает включать их в итоговые тесты. Они сопровождаются специальной инструкцией, подчеркивающей необходимость выбора всех правильных ответов и имеющей вид: «ОБВЕДИТЕ НОМЕРА ВСЕХ ПРАВИЛЬНЫХ ОТВЕТОВ».

Когда дистракторов слишком мало, а правильных ответов намного больше, то их легко угадать. В качестве выхода из подобной ситуации можно включить в число ответов только один неправильный, а студентов попросить выбрать один ошибочный ответ, если это не противоречит дидактическим целям контроля и допускается содержанием предмета. В этом случае инструкция имеет вид: «ОБВЕДИТЕ НОМЕР НЕПРАВИЛЬНОГО ОТВЕТА».

Иногда по замыслу автора при разработке задания закладываются несколько правильных ответов, среди которых есть более правильный и менее предпочтительный. В этом случае задание сопровождается инструкцией: «ОБВЕДИТЕ НОМЕР НАИБОЛЕЕ ПРАВИЛЬНОГО ОТВЕТА».

При компьютерной выдаче заданий инструкция может иметь вид: «ДЛЯ ОТВЕТА НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА».

Обычно если все задания сформулированы в одной форме, то инструкция приводится в начале теста. В противном случае, когда в тест включены задания разных форм, инструкция меняется при каждом изменении формы. Легко представить, насколько осложнит выполнение теста чередование инструкций на выбор правильного и неправильного ответов. Невнимательные студенты, не умеющие концентрировать внимание на изменяющейся инструкции, неизбежно запутаются и выполнят часть заданий неправильно даже в том случае, когда они наверняка знают верный ответ. Поэтому в тесте рекомендуется менять инструкцию как можно реже – ровно столько раз, сколько требует стратегия предъявления заданий теста.

Задания с выбором имеют ряд преимуществ, связанных с быстротой их выполнения, простотой подсчета итоговых баллов по тесту, возможностью автоматизации процедур проверки ответов студентов и вытекающей отсюда минимизацией субъективного фактора при оценивании результатов выполнения теста. С их помощью можно более полно охватить содержание проверяемой учебной дисциплины и, следовательно, повысить содержательную валидность теста. Несомненным достоинством формы заданий с выбором является ее универсальность, она годится практически для любого предмета.

К числу недостатков заданий с выбором следует отнести эффект угадывания, характерный для слабо подготовленных испытуемых при ответах на наиболее трудные задания теста. Хотя возможность угадывания действительно существует, тестологи с ним научились бороться, используя различные методы. Иногда вводят специальные инструкции, ориентирующие испытуемых на пропуск незнакомого задания вместо ответа путем догадки. В других случаях добавляют специальные весовые коэффициенты, близкие к нулю, в подсчете баллов слабых студентов, полученных по наиболее трудным заданиям теста. Иногда применяют специальную формулу для коррекции индивидуальных баллов с поправкой на догадку. Последний метод и поясняющая его формула приводятся в конце этой главы.

Определенные трудности возникают при использовании заданий с выбором для проверки умений продуктивного уровня, связанных с применением знаний в незнакомой ситуации, творческими аспектами подготовки и случаями, когда требуется преобразование условий поставленной перед студентами задачи. Тогда задания с выбором готовых ответов использовать чаще всего невозможно. В случае массового аттестационного тестирования, когда необходимо привлечь эффективные компьютеризованные технологии для подсчета баллов испытуемых и получить высокую объективность результатов педагогического измерения, достоинства заданий с выбором явно перевешивают недостатки. Поэтому такая форма нередко доминирует при разработке итоговых аттестационных тестов.

Задания с выбором ответа должны удовлетворять ряду требований, выполнение которых позволяет повысить качество теста:

В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

Основная часть задания формулируется предельно кратко, желательно не более одного предложения из 7–8 слов;

Синтаксическая конструкция задания предельно упрощается без ущерба для корректности содержания и однозначного его понимания учащимися;

В основную часть задания включают большую часть условия задания, а для ответа оставляют не более 2–3 наиболее важных ключевых слов для сформулированной в условии проблемы;

Все ответы к одному заданию должны быть приблизительно одной длины либо правильный ответ может быть короче других, но не во всех заданиях теста;

Из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

Частота выбора номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова либо номер места для правильного ответа выбирается случайным образом;

Все дистракторы к каждому заданию должны быть равновероятно привлекательными для испытуемых, не знающих правильного ответа.

При разработке заданий необходимо обеспечить их относительную независимость, исключающую цепочную логику выполнения, когда ответ из одного задания служит условием для другого задания теста. Тесты учебных достижений не могут содержать задания-ловушки, присутствующие в психологических тестах.

Проще всего подбирать дистракторы в заданиях с двумя ответами посредством отрицания того, что является верным. Однако не рекомендуется вместо дистракторов использовать слова «да – нет», поскольку в противном случае довольно трудно сформулировать утверждения, на которые можно дать недвусмысленный ответ.

ПРИМЕРЫ ЗАДАНИЙ

Задание 1

ЕСЛИ ВЫЧИТАЕМОЕ УВЕЛИЧИЛИ НА 12 ЕДИНИЦ, А РАЗНОСТЬ ТАКЖЕ УВЕЛИЧИЛАСЬ НА 15 ЕДИНИЦ, ТО УМЕНЬШАЕМОЕ

А. Увеличилось

Б. Уменьшилось

Задания с тремя ответами, также как и с двумя ответами, обычно используют в экспресс-диагностике. Иногда три ответа появляются вследствие удаления неработающих дистракторов. В целом их можно считать неудачными, поскольку они недостаточно кратки, и вместе с тем в них высока вероятность угадывания правильного ответа.

Задание 2

ВЫСОКИЕ ТЕМПЫ УРБАНИЗАЦИИ В ЛАТИНСКОЙ АМЕРИКЕ СВЯЗАНЫ С

A. Быстрым экономическим ростом

Б. Усилением роли крупных городов

B. Массовой миграцией населения из деревень в города

В большинстве тестов встречаются задания с 4–5 ответами, из которых один верный. При умелой разработке они достаточно краткие, и в них невысока вероятность угадывания правильного ответа (0,25 при четырех ответах и 0,20 при пяти).

Задание 3

ПРЕДПОЛОЖЕНИЕ О ТОМ, ЧТО ДЕНЬГИ ЯВЛЯЮТСЯ СПЕЦИФИЧЕСКИМ ТОВАРОМ, СООТВЕТСТВУЕТ ТЕОРИИ ДЕНЕГ

A. Номиналистической

Б. Металлической

B. Количественной

Г. Трудовой

Задание 4

КАКАЯ СТРУКТУРА ПРЕДСТАВЛЯЕТ СОБОЙ РЕШЕТЧАТУЮ ОРГАНИЗАЦИЮ, ПОСТРОЕННУЮ НА ПРИНЦИПЕ ДВОЙНОГО ПОДЧИНЕНИЯ ИСПОЛНИТЕЛЕЙ?

A. Проектная

Б. Системная

B. Матричная

Г. Функциональная

Д. Географическая

Задание 5

ФУНКЦИЮ МЕРЫ СТОИМОСТИ ВЫПОЛНЯЮТ:

A. Металлические деньги

Б. Идеальные деньги

B. Реальные деньги

Г. Мысленно представляемые деньги

Д. Кредитные деньги

Иногда задание с выбором имеет двойную структуру, предлагая набор высказываний или положений, которые оцениваются путем сопоставления с предлагаемыми ответами. Например, в задании 6 высказывания, характеризующие понятие «Управление», должны сопоставляться с различными вариантами их истинности.

Задание 6

КАКИЕ ВЫСКАЗЫВАНИЯ ДАЮТ ХАРАКТЕРИСТИКУ ПОНЯТИЯ «УПРАВЛЕНИЕ»?

1. Процесс распределения и движения ресурсов в организации с заранее заданной целью, по заранее разработанному плану и с непрерывным контролем результатов деятельности.

2. Совокупность методов, принципов, средств и форм управления организациями с целью повышения эффективности деятельности.

A. Только первое

Б. Только второе

B. Ни первое, ни второе

Несмотря на кажущуюся привлекательность, в содержательном плане задание 6 неудачно сформулировано, поскольку может привести к неоднозначной трактовке ответов студентов. Выбор двух ответов А и Б равносилен выбору ответа Г, хотя ответы к заданию всегда должны обладать свойством относительной независимости и, образно говоря, отрицать друг друга.

Другой пример модификации формы задания с выбором ответов приводится в задании 7, где выбранный ответ предлагается мысленно подставить на место прочерка в основной части.

Задание 7

МЕНЕДЖМЕНТ – ЭТО КООРДИНАЦИЯ _________ РЕСУРСОВ С ЦЕЛЬЮ РЕШЕНИЯ ПОСТАВЛЕННЫХ УПРАВЛЕНЧЕСКИХ ЗАДАЧ.

A. Информационных

Б. Людских

B. Временных

Г. Материальных

Даже в условиях хорошо организованного процесса тестирования один вариант теста невозможно применять из-за списывания, подсказок и других подобных нежелательных эффектов. Поэтому всегда приходится разрабатывать 5–8 параллельных вариантов теста, для которых можно использовать фасетные задания. Под фасетом понимается форма, обеспечивающая представление нескольких вариантов одного и того же элемента содержания теста. Каждый испытуемый получает из фасета только один вариант задания. При этом все испытуемые группы выполняют однотипные задания, но с разными элементами фасета и, соответственно, с разными ответами. Таким образом, решаются одновременно две задачи: устраняется возможность списывания и обеспечивается параллельность вариантов тестов. Например, в задании 8 содержатся два задания теста, получаемые для каждого из городов, приведенных в фигурных скобках.

Задание 8

К ДВОРЦОВЫМ КОМПЛЕКСАМ ОКРЕСТНОСТЕЙ

{Москвы

Санкт–Петербурга}

ОТНОСЯТСЯ:

1) Павловск, Ораниенбаум

2) Архангельское, Царицыно

3) Петергоф, Гатчина

4) Царское Село, Стрельня

В задании 9 автор предлагает выбрать тот элемент, который не имеет отношения к предмету экономической теории, что не вполне оправданно дидактическими целями контроля, но в данном случае допускается содержанием предмета.

Задание 9

ПОЛОЖЕНИЯ, НЕ ИМЕЮЩИЕ ОТНОШЕНИЕ К ПРЕДМЕТУ ЭКОНОМИЧЕСКОЙ ТЕОРИИ

A. Экономическое благо

Б. Неограниченность ресурсов

B. Максимизация удовлетворения потребностей Г. Эффективное использование ресурсов

Д. Правовые отношения

Такие задания, а также задания с несколькими правильными ответами, как в задании 10, обычно стараются не включать в аттестационные тесты, результаты которых используются для принятия административно-управленческих решений в образовании.

Задание 10

УКАЖИТЕ ТРИ ИНТЕГРАЛЬНЫХ ПАРАМЕТРА СРЕДЫ, ВЛИЯЮЩИЕ НА ФУНКЦИЮ ПРИНЯТИЯ РЕШЕНИЯ

A. Неопределенность

Б. Сложность

B. Динамичность

Г. Определенность

Д. Ограниченность

Появление частично правильных ответов студентов, возникающих при выборе не всех запланированных верных ответов в каждом таком задании теста, приводит к снижению объективности и сопоставимости тестовых баллов. Если избежать нескольких правильных ответов невозможно, то для повышения стандартизации оценочных процедур вводят определенное решающее правило. Например, если испытуемый выбирает все правильные ответы, то он получает 1 балл, во всех других случаях – 0 баллов.

При подсчете результатов выполнения заданий с выбором одного правильного ответа обычно предпочитают дихотомическую оценку. За правильное выполнение задания испытуемый получает 1 балл, а за неправильный ответ или пропуск – 0. Суммирование всех единиц позволяет вычислить индивидуальный (первичный или сырой) балл испытуемого, который в случае дихотомической оценки просто равен количеству правильно выполненных заданий в тесте. Если правильный ответ не единственный, то чаще всего используется политомическая оценка, которую устанавливают пропорционально числу правильно выбранных ответов.

Если тест состоит из заданий с выбором, то индивидуальные баллы испытуемых будут существенно искажены эффектом случайного угадывания ответов. Поэтому сырые баллы стараются скорректировать, вводя поправки на догадку. Формула коррекции баллов, полученных в результате выполнения заданий с ответами, из которых только один верный, имеет вид

X" i = X i – [W i / (k – 1)]

где i – номер любого испытуемого группы; X" i - скорректированный балл i -го испытуемого; X i - тестовый балл до коррекции; W i – число невыполненных (неправильно выполненных, пропущенных и недостигнутых) заданий теста, а X + W i = n , где n - число заданий в тесте.

При выполнении заданий с двумя ответами k – 1 = 1, поэтому для каждого испытуемого вычисляется разность между числом правильно выполненных и невыполненных им заданий теста. С увеличением количества дистракторов к заданию число вычитаемых баллов уменьшается, что вполне естественно, так как чем больше дистракторов, тем труднее угадать правильный ответ.

Сама по себе формула коррекции обладает определенными недостатками, снижающими точность тестовых измерений. Это связано с тем, что в основу ее построения положен ряд искусственных предположений, нередко не согласующихся с реальной процедурой выполнения теста. В частности, далеко не в полной мере выполняется предположение о том, что все неправильные ответы являются следствием случайного угадывания. Столь же условно другое предположение об одинаковой вероятности выбора каждого ответа задания теста.

В процессе создания заданий отдельные требования к форме неосознанно нарушаются. Как правило, это бывает связано с тем, что все внимание разработчика поглощено содержанием, а не формой. Нарушение отдельных требований порождает ряд характерных недостатков, возникающих даже у опытных авторов в процессе работы над заданиями теста. К числу наиболее распространенных недостатков предтестовых заданий можно отнести:

Отсутствие логической корректности в формулировках заданий теста, приводящее к незапланированным правильным ответам;

Нарушение правильных пропорций в форме задания, когда ответы намного длиннее основной части задания;

Нарушение требования краткости, вызванное включением лишних слов или представлением в тестовой форме того содержания, которое не годится для проверки с помощью теста;

Выбор ответов по разным основаниям;

Просчеты разработчиков заданий, способствующие угадыванию правильных ответов без выполнения заданий теста.

Например, неудачным можно считать задание 11, в котором приведена короткая основная часть и длинные ответы в силу того, что разработчик явно напрасно переставил их местами. Если само определение кругооборота капитала, данное на втором месте под буквой «Б», поместить в начало задания, то ответы могут состоять только из одного или нескольких слов.

Задание 11

КРУГООБОРОТ КАПИТАЛА – ЭТО

A. Непрерывное и последовательное движение денежного капитала

Б. Последовательное превращение капитала из одной функциональной формы в другую

B. Возвращение авансированной стоимости

Г. Функционирование товарного капитала

Неудачно подобраны ответы в задании 12, если рассматривать их безотносительно к содержательным просчетам автора. Если первые три ответа сравнивают между собой объем выпуска продукции монополиста и конкуренцию, то четвертый нацелен на установление причинной связи между объектами.

Задание 12

ОБЪЕМ ВЫПУСКА ПРОДУКЦИИ МОНОПОЛИСТА ПО СРАВНЕНИЮ С СОВЕРШЕННОЙ КОНКУРЕНЦИЕЙ БУДЕТ

Б. Меньше

B. Такой же

Г. Зависит от конъюнктуры рынка

Отсутствует содержательная и логическая корректность в задании 13, где из восьми приведенных параметров в ответах используются только пять.

Задание 13

КАКИЕ ДВА ПАРАМЕТРА НЕ ИСПОЛЬЗУЮТСЯ ДЛЯ АНАЛИЗА ОТЛИЧИЙ КУЛЬТУР СТРАН ДРУГ ОТ ДРУГА?

1. Взаимоотношение человека и окружающей среды

2. Оценка времени

3. Природа людей

4. Манера общения

5. Оценка степени активности

6. Свобода доступа информации

7. Взаимоотношение людей

8. Отношение к обладанию пространством

A. Четвертый и шестой

Б. Третий и шестой

B. Третий и пятый

Г. Четвертый и седьмой

Задание 14

A. Чутко реагирует на изменение внешней среды и изменяется в соответствии с ними

Б. Воспринимает из внешней среды все новые тенденции и обязательно применяет их в своей деятельности

B. Открыта для любых нововведений, необходимых собственнику

Г. Чутко реагирует на поведение конкурентов и воспринимает наиболее эффективные принципы решения управленческих задач

Задание 15, хотя и выглядит довольно громоздко, выгодно отличается от большинства приведенных выше примеров, поскольку содержит постановку проблемы, а не нацелено, как чаще всего бывает, на проверку фактологического или понятийного материала.

Задание 15

КАК БУДЕТ ВЫГЛЯДЕТЬ ЦЕЛЕВАЯ ФУНКЦИЯ В МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРОЦЕССА УПРАВЛЕНИЯ ПРИМЕНИТЕЛЬНО К СЛЕДУЮЩЕЙ ЗАДАЧЕ:

Фирма производит два напитка: «Тоник» и «Тархун». Объем производства ограничен количеством вспомогательных добавок и производственной мощностью. Производство 1 л «Тоника» занимает 0,02 часа работы оборудования, производство 1 л «Тархуна» занимает 0,04 часа. Расход вспомогательных добавок 0,01 кг/л у «Тоника» и 0,04 кг/л у «Тархуна». Ежедневный ресурс времени работы оборудования 24 часа. Ресурс вспомогательных добавок 16 кг в сутки. Прибыль от реализации 1 л «Тоника» 0,1 р/л, а у «Тархуна» – 0,3 р/л.

Сколько продукции «Тоник» и «Тархун» нужно производить ежедневно с целью максимизации ежедневной прибыли?

A. 0,01 х 1 + 0,04 х 2 > max

Б. 0,02 х 1 + 0,03 х 2 > max

B. 0,02 х 1 + 0,04 х 2 > max

Г. 0,03 х 1 + 0,01 х 2 > max

5.3. Задания с конструируемым ответом

В заданиях с конструируемым ответом (встречаются также названия: задания на дополнение, открытые задания) готовые ответы не даются, их должен придумать или получить сам студент. Задания с конструируемым ответом бывают двух видов, один из которых предполагает получение испытуемым строго регламентированных по содержанию и форме представления правильных ответов. Второй – задания со свободно конструируемыми ответами, в которых испытуемые составляют развернутые ответы, произвольные по содержанию и форме представления и включающие полное решение задачи с пояснениями, микросочинения (эссе) и т.д.

Задания с конструируемыми ответами кажутся студентам более трудными, так как в них исключается догадка. Действительно, легче выбрать правильный ответ из предложенных, основываясь иногда не столько на знаниях, сколько на интуиции, чем самому его сформулировать или найти в процессе решения поставленных проблем. Но именно это свойство исключительно привлекательно для педагогов, особенно для тех, кто привык в своей работе опираться на традиционные средства контроля и не доверяет тестам.

В заданиях первого вида обычно ответ бывает достаточно кратким: в виде слова, числа, формулы, символа и т.д. Для разработки заданий с конструируемым регламентированным ответом необходимо мысленно сформулировать вопрос, затем записать четкий и краткий ответ, в котором на месте ключевого слова, символа или числа ставится прочерк. В силу однозначности правильного ответа проверка результатов выполнения заданий с конструируемым регламентированным ответом носит довольно объективный характер, ее осуществляют в компьютерной форме с последующей перепроверкой всех неправильных ответов студентов экспертным путем. Ответы на задания приводятся на месте прочерка или заносятся студентами в специальный бланк.

Например: Впишите правильный ответ.

Задание 1

Определение конечных показателей, которые должны быть достигнуты, и соответствующих средств, необходимых для получения определенных конечных результатов, включает в себя функции ___________________ .

Задание 2

Форма влияния, предполагающая маскировку настоящих намерений и целей – _______________.

При выполнении заданий с конструируемым регламентированным ответом нередко появляются частично правильные и правильные в разной степени ответы. Дописывая ответ на месте прочерка, испытуемый может предложить синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов тестируемых. По этим причинам в процессе проверки нередко приходится разрабатывать дополнительные соглашения об оценках для частично правильных ответов.

Задания с конструируемыми регламентированными ответами должны удовлетворять ряду требований:

Каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками;

Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

Все прочерки в заданиях для одного теста рекомендуется делать равной длины;

Место для ответа лучше отводить в конце задания или как можно ближе к концу;

После прочерка, если это возможно, указываются единицы измерения;

Текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.

Задания второго вида со свободно конструируемым ответом не имеют никаких ограничений по содержанию и форме представления ответов. За отпущенное время тестируемый может писать что угодно и как угодно на специальных бланках для ответов. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, и потому задания со свободно конструируемым ответом воспринимаются положительно абсолютным большинством педагогов. Они интересны и разнообразны в содержательном плане.

Разработка заданий второго типа неоправданно может показаться легкой. На самом деле трудно не сформулировать задание, а предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения. Например, формулировка задания по истории с развернутым ответом достаточно кратка.

Задание 3

НАЗОВИТЕ ОСНОВНЫЕ ЗАДАЧИ, КОТОРЫЕ РЕШАЛИСЬ ВО ВНЕШНЕЙ ПОЛИТИКЕ РОССИИ В XVII В. (УКАЖИТЕ НЕ МЕНЕЕ ДВУХ ЗАДАЧ). ПРИВЕДИТЕ ПРИМЕРЫ ВОЙН, ПОХОДОВ И ЭКСПЕДИЦИЙ XVII В., ПРЕДПРИНИМАВШИХСЯ ДЛЯ РЕШЕНИЯ ЭТИХ ЗАДАЧ (НЕ МЕНЕЕ ТРЕХ ПРИМЕРОВ).

Но для того чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения.

В естественных науках предложить эталон выполнения вместе с оценочными критериями гораздо легче. Например, к заданию 4 можно предложить следующие критерии для оценки результатов выполнения

Задание 4

ПРИ КАКИХ ЗНАЧЕНИЯХ X СООТВЕТСТВЕННЫЕ ЗНАЧЕНИЯ ФУНКЦИЙ f (x ) = log 2 x и g (x ) = log 2 (3 – x ) БУДУТ ОТЛИЧАТЬСЯ МЕНЬШЕ, ЧЕМ НА 1?

Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизованными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества, как в приведенном примере. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не работающие, так и снижающие дифференцирующий эффект теста.

Задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, когда экспертам приходится анализировать множество правильных в разной степени ответов и сравнивать их с эталоном, не принимая во внимание полноту, внешнее оформление ответов, орфографические ошибки и все то, что не входит в критерии для выставления политомической оценки. Иногда проверку стараются стандартизовать путем разработки компьютерных экспертных программ .

Вне автоматизированных систем проверка результатов выполнения заданий с развернутыми ответами довольно субъективна, а согласование оценок нескольких экспертов затруднено, поэтому обычно такие задания занимают не более 10–15% от общей длины аттестационного теста.

Задания со свободно конструируемым ответом в основном предназначены для оценки когнитивных умений. Их следует разрабатывать только в тех случаях, когда нельзя использовать более простые формы;

Длина и сложность ответа может варьироваться в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;

Формулировка задания должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах студентов от планируемого разработчиком эталона выполнения;

Выбор временных рамок для выполнения каждого задания должен позволять студенту сформулировать достаточно развернутый ответ и успеть его записать.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:

Грамотно составлять задание, руководствуясь приведенными выше рекомендациями;

Использовать при проверке только разработанную стандартизованную схему оценивания не более чем с тремя оценочными категориями (0, 1, 2);

Обучить экспертов по проверке заданий пользовать стандартизованными критериями оценивания;

Привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений оценок первых двух более чем на один балл;

Использовать принципы анонимности проверяемых работ и независимости экспертных суждений;

Не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.

Задания типа эссе можно оценивать в соответствии со следующим:

Простыми схемами оценивания, когда критерии строятся с ориентацией на содержание ответов студентов;

Усложненными схемами оценивания, учитывающими при экспертизе содержание ответов, характеристики качества представления текста, его полноту и стиль или любые другие факторы, кажущиеся важными разработчику задания;

При любой схеме оценивания задания со свободно конструируемыми ответами нуждаются в политомической оценке, что иногда неоправданно завышает их общий вес в балле по тесту. Для того чтобы избежать такого завышения и для уменьшения влияния субъективного компонента, число критериев оценивания обычно стараются сделать достаточно малым, ограничиваясь политомическими оценками, например, от 0 до 3 или от 0 до 2.

Для заданий с кратким регламентированным ответом, сформулированных в виде незаконченных утверждений и предъявляемых без специальных бланков для ответа, обычно используют инструкцию, состоящую из одного слова: «ДОПОЛНИТЕ». В тех случаях, когда для ответов к заданиям с кратким регламентированным ответом необходимо давать ответы в специальных бланках, а не рядом с заданиями, инструкция может иметь вид: «ОТВЕТЫ К ЗАДАНИЯМ ЗАПИШИТЕ В БЛАНКЕ ОТВЕТОВ СПРАВА ОТ СООТВЕТСТВУЮЩИХ НОМЕРОВ ЗАДАНИЙ. КАЖДУЮ БУКВУ ПИШИТЕ В ОТДЕЛЬНОЙ КЛЕТОЧКЕ В СООТВЕТСТВИИ С ПРИВЕДЕННЫМИ ОБРАЗЦАМИ НА БЛАНКЕ ОТВЕТОВ».

Инструкция для заданий со свободно конструируемым ответом обычно имеет произвольную форму. Главное сказать столько, чтобы в максимальной степени облегчить и стандартизовать работу экспертов при проверке результатов тестирования для снижения влияния субъективных факторов и повышения надежности педагогических измерений. В самом общем виде для предметов гуманитарного цикла инструкция может иметь вид: «ДЛЯ ОТВЕТОВ НА ЗАДАНИЯ ИСПОЛЬЗУЙТЕ ОТДЕЛЬНЫЙ БЛАНК ОТВЕТОВ. ЗАПИШИТЕ СНАЧАЛА НОМЕР ЗАДАНИЯ, А ЗАТЕМ РАЗВЕРНУТЫЙ ОТВЕТ НА НЕГО. ОТВЕТЫ ЗАПИСЫВАЙТЕ РАЗБОРЧИВО».

5.4. Задания на установление соответствия

Задания на соответствие имеют специфический вид, где под инструкцией располагаются элементы двух множеств, соответствие между которыми предлагается установить испытуемому. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, справа – элементы, подлежащие выбору.

Соответствие между элементами двух столбцов может быть взаимно однозначным, когда каждому элементу справа соответствует только один элемент слева. Если число элементов в двух столбцах одинаковое, то для последнего элемента задающего множества выбор не произойдет. Встречаются случаи, определяемые спецификой содержания предмета, когда для нескольких элементов левого столбца выбираются одни и те же элементы справа, поэтому их может оказаться меньше, чем слева. И наконец, оптимальным является задание, в котором правое множество содержит больше элементов, каждый из которых выбирается только один раз. Например, удачное задание 1, а не удачное 2, поскольку число элементов для выбора справа равно числу элементов в левом столбце.

Задание 1

К КАЖДОМУ ИЗ ТРЕХ ЭЛЕМЕНТОВ (1, 2, 3) ПОДБИРАЕТСЯ ОДИН СООТВЕТСТВУЮЩИЙ ЭЛЕМЕНТ ИЗ ПРАВОЙ ЧАСТИ С БУКВАМИ (А, Б, В, Г, Д, Е, Ж, З, И, К).

Определите соответствие ролей менеджера трем блокам согласно модели Г. Минцберга

Ответы можно представить в виде таблицы, в таком случае отпадает необходимость в подробной инструкции, подобной той, которая приведена для задания 1.

Задание 2

УСТАНОВИТЕ СООТВЕТСТВИЕ

Лишние элементы правого столбца, не подлежащие выбору при правильных ответах, называются дистракторами. Как и в заданиях с выбором ответов, наибольшие трудности при разработке связаны с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого дистрактора устанавливается эмпирически.

При разработке заданий на соответствие следует руководствоваться следующими правилами:

Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями;

Элементы задающего столбца располагаются слева, а элементы для выбора – справа;

Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;

Необходимо, чтобы правый столбец содержал хотя бы несколько дистракторов. Еще лучше, если число элементов правого множества будет примерно в два раза больше числа элементов левого столбца;

Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста.

В аттестационном тесте задания на соответствие малоэффективны в силу их громоздкости, не позволяющей охватить большой объем содержания.

К заданиям на соответствие прилагается стандартная инструкция, состоящая из двух слов: «УСТАНОВИТЕ СООТВЕТСТВИЕ». Иногда инструкцию делают развернутой, особенно в тех случаях, когда есть отдельный бланк ответов. Например, инструкция может иметь вид: «БУКВЫ, СООТВЕТСТВУЮЩИЕ ЗАДАННЫМ ЭЛЕМЕНТАМ, ЗАПИШИТЕ СНАЧАЛА В ТАБЛИЦУ, ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК».

Результаты выполнения заданий на соответствие оцениваются либо дихотомической, либо политомической оценкой. При дихотомическом оценивании 1 балл выставляется за все правильно установленные соответствия в задании теста. Если хотя бы одно соответствие неверно, то за частично правильно выполненное задание на соответствие испытуемый получает 0 баллов. Другой способ заключается в выставлении по одному баллу за каждое правильное соответствие, тогда при проверке заданий на соответствие используется политомическая оценка, и общее количество баллов за задание равно числу правильно установленных соответствий.

5.5. Задания на установление правильной последовательности

Тестовые задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п. В таких заданиях в произвольном порядке приводятся элементы, связанные с определенной задачей, а испытуемый должен установить правильный порядок предложенных элементов и указать его заданным способом в специально отведенном для этого месте.

Стандартная инструкция к заданиям четвертой формы имеет вид: «УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ». Иногда инструкцию включают в текст задания.

Задание 1

РАСПОЛОЖИТЕ ИМЕНА РУССКИХ ПОЛКОВОДЦЕВ В ХРОНОЛОГИЧЕСКОЙ ПОСЛЕДОВАТЕЛЬНОСТИ ИХ ДЕЯТЕЛЬНОСТИ. ЗАПИШИТЕ БУКВЫ, КОТОРЫМИ ОБОЗНАЧЕНЫ ИМЕНА, В ПРАВИЛЬНОЙ ПОСЛЕДОВАТЕЛЬНОСТИ В ПРИВЕДЕННУЮ В ТЕКСТЕ ЗАДАНИЯ ТАБЛИЦУ, А ЗАТЕМ ПЕРЕНЕСИТЕ ИХ В БЛАНК.

A) Дмитрий Пожарский

Б) Алексей Ермолов

B) Михаил Скобелев

Г) Алексей Орлов

Задание 2

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ МЕХАНИЗМА ВЫДОХА, РАССТАВИВ НОМЕРА В ОТВЕДЕННЫХ МЕСТАХ:

? – спадение легких

? – торможение центра дыхательных мышц в спинном мозге

? – возбуждение центра выдоха в продолговатом мозге

? – расслабление диафрагмы и вспомогательных мышц

? – уменьшение грудной полости

Во многих случаях задания на установление правильной последовательности крайне нетехнологичны либо не применимы в силу специфики содержания предмета. Они громоздки и нередко допускают неоднозначную последовательность ответов, поэтому не рекомендуются к использованию в аттестационных тестах.

5.6. Сравнительная характеристика форм тестовых заданий

В процессе разработки теста у автора всегда возникает вопрос: остановиться ли на какой-нибудь одной форме заданий либо принять решение о совмещении различных форм в одном тесте? А если остановиться на одной, то какой отдать предпочтение? Выбор автора во многом определяется спецификой содержания учебной дисциплины, целями создания и применения теста. Немало здесь зависит от технологии проверки, сбора и обработки эмпирических данных, от технического и материального обеспечения процесса применения теста. Легко организовать компьютеризованный сбор и анализ результатов выполнения теста в том случае, когда все задания с выбором ответов.

Результаты выполнения заданий с конструируемыми ответами требуют ручной обработки. Как правило, для оценки результатов их выполнения приходится привлекать экспертов, а это требует дополнительных материальных затрат и времени на проверку.

Преимущества и недостатки различных форм заданий

1. Задания с двумя ответами

Преимущества : благодаря краткости позволяют охватить большой объем материала, легко разрабатываются (только один дистрактор), быстро с высокой объективностью обрабатываются результаты выполнения.

Недостатки : стимулируют механическое запоминание, поощряют угадывание, требуют увеличения количества заданий и, соответственно, времени тестирования для компенсации эффекта угадывания.

2. Задания с выбором из четырех-пяти ответов

Преимущества : годятся для самых различных учебных предметов, в силу краткости формулировок в тесте можно охватить большой объем содержания, обеспечивают возможность автоматизированной проверки и высокую объективность оценок студентов, позволяют провести развернутый статистический анализ своих характеристик, скорректировать их и значительно повысить надежность педагогических измерений.

Недостатки : требуют значительной работы авторов при выборе дистракторов и коррекции баллов студентов, не годятся для проверки продуктивного уровня деятельности и когнитивных умений.

3. Задания с конструируемыми регламентированными ответами

Преимущества : просты в разработке, исключено угадывание, частично годятся для автоматизированной проверки.

Недостатки : проверяют в основном знание фактологического материала или понятийного аппарата, обычно (в гуманитарных предметах) слишком легкие, иногда приводят к неоднозначным правильным и частично правильным ответам.

4. Задания со свободно конструируемыми ответами

Преимущества : позволяют оценивать сложные учебные достижения, в том числе коммуникативные умения, творческий уровень деятельности, легко формулируются как традиционные задания, исключают угадывание.

Недостатки : требуют длительной дорогостоящей процедуры проверки, значительного времени выполнения, не позволяют охватить значительный объем содержания предмета, снижают надежность педагогических измерений.

5. Задания на соответствие

Преимущества : просты в разработке, идеально подходят для оценивания ассоциативных знаний и проведения текущего контроля, уменьшают эффект угадывания.

Недостатки : чаще всего используются при проверке репродуктивного уровня деятельности и алгоритмических умений, громоздки по форме представления.

Сравнительная характеристика технологических свойств различных тестовых форм представлена в табл. 5.1.

Таблица 5.1 Сравнительные технологические характеристики форм

Выбор формы предтестовых заданий определяется спецификой контролируемого содержания и целями создания теста. Каждая форма заданий имеет свои достоинства и недостатки, свою сферу применения.

Разработка предтестовых заданий проводится сообразно стандартизованным требованиям, содержание которых зависит от специфики тестовой формы. Задания с выбором ответов наиболее удобны при итоговом контроле в силу ряда технологических преимуществ, повышающих эффективность процессов применения итогового теста и оценки результатов студентов. Задания на дополнение предпочтительны при обучающем контроле.

Современные тенденции в разработке итоговых тестов связаны с отходом от моноформности и широким использованием заданий на дополнение, поскольку многообразие проверяемых знаний и умений требует введения различных форм в тесте.

Практические задания и вопросы для обсуждения

1. Обведите номер правильного ответа.

Тестовые задания с двумя ответами эффективнее использовать в контроле:

1) текущем

2) тематическом

3) итоговом

4) входном

2. Обведите номер правильного ответа.

1) текущего

2) итогового

3) входного

3. Обведите номер правильного ответа.

Вероятность угадывания номера места правильного ответа в задании с пятью дистракторами будет:

4. Найдите два существенных недостатка в задании, переформулируйте задание для устранения недостатков.

Для какого класса животных характерны признаки: хладнокровные, обитающие в воде и на суше, размножаются в воде?

1. Класс рыб

2. Класс пресмыкающихся

3. Класс земноводных

4. Класс млекопитающих

5. Предложите метод улучшения формулировки заданий.

Что из нижеперечисленного было ликвидировано реформами 60-х годов XIX века в России?

1. Самодержавие

2. Крепостничество

3. Сословность

4. Помещичья собственность на землю

5. Национальный гнет

Эксперт: в области информационных технологий и учебного видео

Прежде чем мы перейдем к принципам разработки тестов, необходимо сделать ряд замечаний.

Различия между тестом и заданиями в тестовой форме

В обыденном сознании постоянно смешиваются понятия теста и системы заданий в тестовой форме (или предтестовых заданий).

Как правило, тест разрабатывается коллективом исследователей и апробируется в течении определенного времени. После апробации в тест вносятся коррективы. Тест состоит из тестовых заданий. В англоязычной литературе для обозначения теста употребляется термин «Quiz» (но не «Test»!).

Таким образом, преподаватель (учитель) не может создавать тесты. Вместо этого, он разрабатывает задания в тестовой форме, которые внешне похожи на тест, но не проходят статистической и иной апробации. Такие задания можно использовать в образовательном процессе для решения определенных педагогических задач.

Из этого следует принципиальная невозможность использования ряда характеристик теста. Например, трудность тестового задания определяется экспериментально, исходя из результатов большого объема выборки учащихся. На практике учитель не располагает как временем для проведения эксперимента, так и необходимым объемом выборки. Поэтому часто трудность определяется «на глазок».

В общем виде задания в тестовой форме (как и тестовые задания) отвечают следующим требованиям:

• краткость;
• технологичность;
• определённость цели;
• логическая форма высказывания;
• определенность места для ответов;
• одинаковость правил оценки ответов;
• правильность расположения элементов задания;
• одинаковость инструкции для всех испытуемых;
• адекватность инструкции форме и содержанию задания.

Так, краткость заданий в тестовой форме обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смыслового содержания задания. Технологичность заданий определяется как свойство, которое позволяет вести процесс тестирования с помощью технических средств, и делать это точно, быстро, экономично и объективно. Логическая форма высказывания – это средство упорядочения и эффективной организации содержания задания.

Формы тестовых заданий

Кроме того, принципы разработки тестовых заданий (заданий в тестовой форме) связаны с их формами. Разные авторы по-разному классифицируют формы тестовых заданий. Положение усугубляется тем, что каждая автоматизированная система для проведения тестирования называет одни и те же формы по-разному. Обобщим все многообразие форм тестовых заданий следующей классификацией.

1. Верно/Неверно (Правда или Ложь, от анг. True or False) – содержит утверждение, с которым обучающийся должен либо согласиться, либо нет.

Например:

Первым президентом США был Джордж Вашингтон

1. Верно
2. Неверно

В ЕГЭ подобные задания встречаются в КИМах по иностранным языкам в заданиях на аудирование: учащиеся слушают текст, далее переходят к заданиям типа Правда или Ложь.

Данная форма тестовых заданий самая простая как для составления преподавателем, так и для ответа обучающимся. Такие формы задания характеризуются высокой степенью угадывания правильного ответа.

2. Множественный выбор (задания с выбором одного или нескольких правильных ответов). Эта самая распространённая форма тестовых заданий. Она содержит утверждение (вопрос) и альтернативные ответы.

Для заданий с выбором одного правильного ответа рекомендуется не менее 4 (если меньше, то вероятность угадывания правильного ответа увеличивается) и не более 6 (трудно придумать правдоподобные альтернативы).

Для заданий с выбором нескольких правильных ответов рекомендуется не менее 6 альтернатив.

3. Задания на установление соответствия. Оно представляет собой набор элементов в двух столбцах – обучающемуся нужно установить соответствие между элементами левого и правого столбцов. Наличие заголовка для каждого набора столбцов является обязательным – он позволяет учащемуся не тратить время на обобщение элементов в столбцах и сразу перейти к упражнению.

Сравните:

1. a) Ярлык
2. b) Улус
3. c) Волостень
4. d) Порок
5. e) Плинфа

1. Стенобитное сооружение
2. Кирпич
3. Ханская грамота
4. Правитель волости
5. Владение

Тоже задание, переформатированное с учетом специфических требований:

Как мы видим, во втором случае задание более читабельно, его смысл легко улавливается. Обратите внимание, что, например сервис OnlineTestPad и некоторые другие позволяют добавлять такие заголовки. Другие (как Moodle) не обладают таким функционалом. В этом случае необходимо писать полную инструкцию, например, «Установите соответствие между ….и….»

В бумажных тестах такой формы заданий для правильного ответа предлагается заполнить специальную табличку. Вариант со стрелочками считается менее технологичным для проверки, поэтому его следует избегать.

	2	3	4

Также желательно устанавливать нечетное количество элементов левого и правого столбца, чтобы последний элемент выбирался не методом исключения.

Посмотрите на это задание:

Расположите имена русских полководцев в хронологической последовательности (по возрастанию) их деятельности

Дмитрий Пожарский

Алексей Ермолов

Михаил Скобелев

Алексей Орлов

Это тоже задание на установление соответствия, точнее, его разновидность – задание на установление правильной последовательности. Ряд зарубежных исследователей склонны к такому объединению. Именно поэтому, например в Moodle мы не найдем такой формы. Но ее легко можно сконструировать из задания на установление соответствия. Для наглядности немного переформатируем предыдущее задание:

Мы видим классическое задание на соответствие, просто левый столбец представляет собой числовой порядок. Правильные ответы обучающийся также заносить в специальную таблицу.

	2	3

Иногда описанные выше задания верно-неверно, множественного выбора и соответствия объединяют в группу заданий закрытого типа , которые обладают следующими общими чертами:

• Присутствует в явном виде правильный ответ, его нужно просто выбрать тем или иным способом;
• Ответы на вопросы можно угадать (вероятность угадывания вырастает с уменьшением количества альтернатив);
• Ответы можно припомнить
• Ответы можно подобрать логически, откинув явно неправильные альтернативы.

5. Дополнение (краткий ответ). В этих заданиях учащемуся необходимо дописать правильный ответ. Иногда такой тип заданий называют заданиями открытого типа. В отличие от рассмотренных выше форм тестовых заданий, такие стратегии как угадывание, припоминание правильного ответа и др. «не работают». Поэтому данный тип задания считается более трудным для обучающихся.

6. Эссе – краткий ответ учащегося по сути вопроса. Строго говоря эссе не является формой тестового задания, т.к. он не соответствует необходимым критериям краткости, технологичности и прочее. По нашему мнению, эссе было введено для преодоления известных трудностей при составлении типичных тестовых заданий, главные из которых – невозможность представить весь учебный материал в тестовом виде и репродуктивный характер типичных тестовых заданий.

Тем не менее в заданиях эссе должны быть предложен(ы) эталон(элементы) оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения.

При каких значениях х соответственные значения функций f(х)=log 2 x и g(х) = log 2 (3 – х) будут отличаться меньше, чем на 1?

Критерии для оценивания правильного ответа

Баллы	Критерии оценки выполнения задания 9
2	Приведена верная последовательность шагов решения: 1) составление неравенства, содержащего модуль; 2) решение неравенства. Все преобразования и вычисления проведены правильно, получен верный ответ
1	Приведена верная последовательность шагов решения. При решении неравенства в шаге 2 допущена описка и/или негрубая вычислительная ошибка, не влияющая на правильность дальнейшего хода решения. В результате этой описки и/или ошибки может быть получен неверный ответ
0	Все случаи решения, не соответствующие указанным выше критериям выставления оценок в 1 или 2 балла

Принципы разработки заданий в тестовой форме

Следующее, на чем нас стоит остановиться – на принципах разработки заданий в тестовой форме.

Долгое время существовала убеждённость, что тест сам по себе является объективным средством контроля. Однако затем пришло понимание, что тест обеспечивает, в первую очередь процедурную объективность. Для оценки же качества теста существует ряд смежных направлений – надежность (гарантия отсутствия в тесте случайных ошибок), валидность (гарантия, что тест измеряет именно то, что он должен измерять), трудность и т.д. Как мы указывали выше, все эти параметры разрабатываются на основе различных математических моделей в ходе экспериментальной работы авторского коллектива и недоступны для учителей, преподавателей. Поэтому мы лишь остановимся на ряде теоретических требований к разработке заданий в тестовой форме.

1. Начинайте конструировать задание с правильного ответа. Часто так случается, что задание формально содержит больше правильных ответов, чем запланировано. Встречаются и обратные случаи – задание вообще не содержит правильного ответа.
2. Содержание задания опирается на требования программы и отражает предметное (метапредметное) содержание. Иногда в тест пытаются включить вопросы, правильного ответа на которые просто не существует.

Например:

Мы будем изучать латинский язык потому, что…

1. На нем говорят во многих странах мира
2. Хотим лучше понимать родной язык, так как в нём много слов, заимствованных из латыни
3. Хотим лучше понимать историю и культуру древнего мира

Это хорошее задание. Но его следует использовать в социологическом опросе, а не в заданиях на проверку учебных достижений.

1. Вопрос должен быть направлен на выявление одного элемента знания, одной законченной мысли. В противном случае трудно диагностировать причину невыполнения задания.

Конфуций..

1. жил в Африке
2. жил в Китае
3. был врачом
4. был правителем
5. был философом

Данное задание направленно на выявление сразу двух элементов – где жил Конфуций и кем он был. Необходимо разделить эти два вопроса.

1. При составлении вопросов следует избегать слов «иногда», «часто», «всегда», «мало», «больше» и т.д. Подобные слова имеют субъективное значение и могут приводить к ошибочным ответам. Тестовые задания (задания в тестовой форме) должны иметь четкий однозначный ответ.
2. Избегайте вводных фраз или предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям.

Например:

«Анадырская впадина. Очень плоско, и Анадырь по ней виляет огромным удавом… «Анадырь – жёлтая река», – можно так назвать потом очерк. Тундра и озёра по всей впадине. Трудно понять, чего больше: или озёр, или земли» (О. Куваев). В какое море впадает эта река?

1. Правильные ответы должны быть правдоподобны, умело подобраны, не должно быть явных неправильных ответов (они являются своеобразной подсказкой – данный ответ уж точно является ошибочным). Неправильные ответы, очень похожие на правильные, называют дистракторами. Например:

Родина Карла Маркса:

1. Трир
2. Карл-Маркс-Штадт
3. Штургард
4. Мюнхен

Здесь можно предположить, что город Карл-Маркс-Штадт получил свое название потому, что в именно в нем родился Карл Маркс. Однако правильный ответ – Трир.

1. Не следует задавать вопросы с подвохом – скорее всего в заблуждение будут введены наиболее способные или осведомленные учащиеся, которые знают достаточно для того, чтобы попасться в ловушку, а также это противоречит цели – определению уровня знаний и понимания.
2. Следует использовать более длинные вопросы и более короткие ответы, грамматически согласованные с основной частью задания .

Например:

Какое суждение верно?

1. Неполные предложения ‒ это предложения, в которых пропущен один из главных членов
2. Неполные предложения ‒ это предложения, в которых пропущен один из второстепенных членов
3. Неполные предложения ‒ это предложения, в которых пропущен какой-либо член предложения ‒ главный или второстепенный

Нетрудно увидеть, что здесь есть повторяющееся словосочетание, которое и следует вынести в формулировку задания:

Неполные предложения ‒ это предложения, в которых пропущен

1. один из главных членов
2. один из второстепенных членов
3. какой-либо член предложения ‒ главный или второстепенный

1. Не используйте отрицание в основной части вопроса. Во-первых, это приводит к непониманию сути задания. Во-вторых, объектом контроля должны быть элементы знания, а не элементы незнания.

Например:

Жили ли или нет эти люди в реальности в Древней Греции?

1. Гомер
2. Ахилл
3. Зевс
4. Перикл
5. Фидий
6. Аристотель
7. Сократ

В данном случаи не ясно как отвечать – да жили, или да не жили. Поэтому вопрос нужно сформулировать более точно, например: Назовите мифологических персонажей Древней Греции.

1. При чередовании правильных ответов в вопросах не должно быть явной системы – например, всегда только 1 варианты правильные, или правильными вариантами являются последовательно первый, второй, третий, четвертый вариант. В компьютерном тестировании обычно такой проблемы не существуют, потому что компьютер автоматические перетасовывает альтернативы.
2. Если ставится вопрос количественного характера, то необходимо указать последовательность (от меньшего к большему или наоборот) выбора правильных ответов .

Например:

Удаленность от Солнца

a) Сатурн

b) Меркурий

c) Земля

d) Уран

e) Венера

f) Марс

В данном пример существуют как бы два набора правильных вариантов ответов – одна последовательность от наиболее близкой планеты от Солнца, другая – от наиболее удаленной.

1. Вопрос и ответ должны отличаться шрифтовым и пространственным оформлением. Например, вопрос (задание) выделяется жирным шрифтом, ответ – обычным. Для записи ответов используются дополнительные отступы. Но это правило касается только бумажных тестов – в компьютерных автоматизированных системах оформление задается программное, которое изменять не целесообразно.

И помните – не каждое задание можно представить в виде тестового контроля.

При написании статьи использовались примеры http://koi.tspu.ru/koi_books/samolyuk/

1. При создании тестов для проверки остаточных знаний по соответствующей дисциплине или для проверки итоговых знаний обучающегося/студента на основании программы дисциплины определяется область содержания теста и цели тестирования .

План теста (Приложение 1) для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с программой дисциплины, для проверки остаточных знаний по всем дидактическим единицам дисциплины в соответствии с ГОСом по профессии/специальности.

3. Необходимо включение в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. Все спорные точки зрения, допустимые в научном споре, следует исключить из тестовых заданий.

4. Каждый учебный элемент должен иметь некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний.

1. При разработке плана тестовых заданий по дисциплине делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий (но не менее 3-х) по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе.

Основные термины тестового задания должны быть явно и ясно определены.

Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов по конкретной области знаний.

Тестовые задания должны формулироваться в виде свернутых кратких суждений.

Следует избегать тестовых заданий, которые требуют от тестируемого развернутых заключений на требования тестовых заданий.

При конструировании тестовых ситуаций можно применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала.

Количество слов в тестовом задании не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области.

Среднее время на тестовое задание не должно превышать 1,5 минуты.

1. Рекомендуется соблюдать следующие параметры тестов:

Соответствие содержания тестовых заданий государственному образовательному стандарту по учебной дисциплине (базовая часть тестовых заданий –70%- 85%), а также включение дополнительных тестовых заданий (вариативная часть тестовых заданий – 15%-30%).

Необходимо проводить подбор заданий, комплексно отображающих основные темы учебной дисциплины.

Тестовые задания по конкретной учебной дисциплине должны наиболее полно отображать ее содержание и ключевые понятия, чтобы иметь качественную объективную оценку знаний студентов. Включение в тест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании учебной дисциплины.

Необходимо соблюдать пропорции в количестве тестовых заданий по темам учебной дисциплины.

Необходимо проверять соответствие содержания тестовых заданий знаниям, навыкам и умениям, оцениваемым у студентов.

В каждом тестовом задании необходима определенность, логичность, отсутствие некорректных формулировок, выделение одного предмета измерения (ключевого понятия, термина, правила, определения и т.д.).

1. Спецификация теста включает :

Цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер его применения.

Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста.

Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте.

Охват требований государственных образовательных стандартов по дисциплине.

1. Рекомендации к формулировкам тестовых заданий

Основными элементами тестового задания являются инструкция, задание (содержательная часть), ответы к заданию.

Инструкция к тестовым заданиям определяет перечень действий при прохождении тестирования. Она должна быть адекватна форме и содержанию задания («укажите правильный ответ (ответы)», «установите соответствие», «определите правильную последовательность», «введите правильный ответ»).

Используемая терминология не должна выходить за рамки основных учебников и нормативных документов.

Все повторяющиеся слова должны быть исключены из ответов и вынесены в содержательную часть задания.

Все варианты ответов должны быть грамотно согласованы с содержательной частью задания, однообразны по содержанию и структуре, равнопривлекательны. Между ответами необходимы четкие различия. Правильный ответ однозначен и не должен опираться на подсказки.

Среди ответов должны отсутствовать ответы, вытекающие один из другого.

В варианты ответов нельзя включать формулировки «все перечисленное выше», «все утверждения верны», «перечисленные ответы не верны», так как такие ответы нарушают логическую конструкцию тестового задания или несут подсказку.

Число тестовых заданий с отрицанием должно быть минимальным. При этом частица «не» выделяется жирным шрифтом.

1. Виды и типы тестовых заданий. Их особенности, преимущества и недостатки

Существуют два типа заданий, которые объединяют шесть видов

Схема 1. Типы и виды тестовых заданий

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения ученику необходимо записать одно или несколько слов (цифр, букв, словосочетаний, предложений).

Задания закрытого типа (альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности) предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Эти задания предполагают наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

Задания закрытого типа

1. Задания альтернативных ответов.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – “да – нет”, “правильно – неправильно” и др.

Форма задания

Текст задания (вопрос)	Ответ
Утверждение 1	да	нет
Утверждение 2	да	нет
Утверждение 3	да	нет

... ...

Инструкция для задания альтернативных ответов: Вам необходимо выбрать один вариант ответа, который Вы считаете правильным.

Задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и др.Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

2. Задания множественного выбора.

Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

1. В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

2. Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов;

3. Задание должно иметь предельно простую синтаксическую конструкцию;

4. В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы;

5. Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других;

6. Из текста должны быть исключены все ассоциации, способствующие выбору правильного ответа с помощью догадки;

7. Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова;

8. Из ответов исключаются все повторяющиеся слова за счет ввода их в основной текст заданий;

10. Из числа неправильных должны исключаться ответы, вытекающие один из другого;

11. Из числа тестовых должны исключаться задания, содержащие оценочные суждения или мнения испытуемого по какому-либо вопросу;

12. Все варианты ответов должны быть равновероятно привлекательны для испытуемых;

13. Ни один из вариантов ответов не должен являться частично правильным, превращающимся при определенных дополнительных условиях в правильный;

14. Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов;

15. Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;

16. Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах;

17. Все ответы должны быть параллельны по конструкции и грамматически согласованы с основной частью задания теста.

Форма предоставления заданий множественного выбора:

Вопрос (утверждение):

A. Вариант ответа 1

B. Вариант ответа 2

C. Вариант ответа 3

Инструкция для заданий множественного выбора: Выберите букву (ы), соответствующую (ие) варианту (ам) правильного (ых) ответа (ов).

3. Задания на восстановление соответствия.

К заданиям данного типа относятся задания на восстановление соответствия между элементами двух списков, порядка ряда. Состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует только один элемент второй группы) или 1:M (одному элементу первой группы соответствует М элементов второй группы). Внутри каждой группы элементы должны быть однородными. Количество элементов во второй группе должно превышать количество элементов первой группы, но не более чем в 1,5 раза. Максимально допустимое количество элементов во второй группе не должно превышать 10. Количество элементов в первой группе должно быть не менее двух.

Форма представления заданий на восстановление соответствия:

Инструкция: Соотнесите написанное в столбцах 1 и 2.

Вопрос:

Варианты ответа:

Столбец 1	Столбец 2

Ответ: А. 3. Б. 2. В. 5. Г. 1. Д. 4.

Главными преимуществами заданий этого вида являются: возможностью быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте.

4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановления соответствия, когда одним из рядов является время, расстояние, или иной континуальный конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности – это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки.

Задание.

Инструкция: Расположите в правильной последовательности.

Вопрос.

Варианты ответа.

1. А.

2. B.

3. С. ……. Ответ: 1. А. 2. D. 3. В. 4. Е. 5. С. 6. F.

Преимущества заданий закрытого типа

Задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность.

Оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий.

Не учитывается умение испытуемых хорошо формулировать ответы.

Задания этого типа легко обрабатываются, тестирование быстро проводится.

Простой алгоритм заполнения снижает количество случайных ошибок и описок.

Эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно.

Возможна машинная обработка ответов.

Низкая вероятность угадывания правильных ответов.

Возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования

Задания открытого типа

Требует сформулированного самим тестируемым заключения на требования задания. Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве ключевых элементов могут быть: число, слово или словосочетание. При формулировке задания на месте ключевого элемента, необходимо поставить прочерк или многоточие. Отсутствующий элемент (правильный вывод) в задании открытой формы вводит тестируемый на месте прочерка и/или в специальном поле, хорошо видимом испытуемым.

К ним относятся задания двух видов:

1) дополнения (задачи с ограничением на ответы). В этих заданиях испытуемые также самостоятельно давать ответы на вопросы, однако их возможности ограничены.

Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо многоточия впишите только одно слово (символ, знак и т.д.).

Пример задания дополнения.

Инструкция: Вместо многоточия впишите только одно слово.

Вопрос: Фирма, предоставляющая сетевые услуги – это...

Ответ: провайдер.

2) Свободного изложения или свободного конструирования. Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ (словосочетание, фразу, предложение или несколько предложений).

Пример задания свободного изложения.

Инструкция: Закончите предложение.

Вопрос: Специальная программа, реализующая правила передачи информации между компьютерами – это... ...

Ответ: сетевой протокол.

Трудность в применении этого вида задач заключается в сложности с формализацией ответов, необходимость подготовки оценочных схем затрудняет стандартизацию, громоздкость процедуры и большие затраты времени на проведение.

Основная трудность при составлении заданий открытого типа – соблюдения основного требования к тестовым заданиям (наличия однозначного правильного ответа).

Положительными сторонами хорошо составленных заданий дополнения и свободного изложения являются:

1) невозможность угадать ответ;

2) краткость и однозначность ответов;

3) необходимость воспроизведения ответа по памяти;

4) отсутствие необходимости искать несколько вариантов ответа;

5) простота формулировки вопроса;

6) простота проверки.

1. Критерии выставления оценки

Оценка «удовлетворительно» ставится, если обучающийся/студент ответил на от 55 до 70% вопросов. Оценка «хорошо» ставится, если обучающийся/студент получил от 71 до 85%. Оценка «отлично» ставится, если обучающийся/студент получил 86% и более.

Основные типы химических реакций

3.2, 3.3

Периодическая система Д.И.Менеделеева и свойства химических элементов

Химическая связь и строение вещества

Химическая кинетика и катализ. Скорость реакций. Катализ. (Задача)

2. 2.3

Химическое равновесие. Константа равновесия. Смещение равновесия.

2.1,

Дисперсные системы. Общие свойства растворов. Энергетика растворения.

А10

Состав растворов. Массовая доля. Молярная концентрация.

1.1,

А11

Растворы электролитов. Диссоциация кислот, оснований, солей.

А12

Кислотно-основные реакции. Гидролиз солей.

Всего

*Примечание. Виды тестовых заданий:

1 - задания с выбором одного или нескольких правильных ответов;

2 - задания открытой формы, т. е. без указания ответов (дополнения и свободного изложения)

3 - задания на установление соответствия

4 - задания на установление правильной последовательности

5 – задания альтернативных ответов

В заданиях на установление соответствия проверяется знание связей между элементами двух множеств. Такие задания позволяют проверить так называемые ассоциативные знания - знания о взаимосвязи определений и фактов, форм и содержания, о соотношении между различными предметами, свойствами, законами, формулами, датами.

Обычно слева приводятся элементы задающего множества, справа - элементы, подлежащие выбору. Каждое задание завершается строкой ответов, в которой испытуемый проставляет на месте прочерков буквы, соответствующие выбранным элементам из правого множества.

Общие требования к заданиям на установление соответствия:

Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств (столбцов) с соответствующими названиями, обобщающими все элементы столбца;

Правый столбец должен содержать хотя бы несколько дистракторов; все дистракторы в одном задании должны быть равновероятно правдоподобны;

Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста;

Всё задание необходимо располагать на одной странице, не допуская переноса отдельных элементов.

Принципы композиции заданий на установление соответствия:

1. П ринцип фасетности - основной принцип композиции заданий данной формы. Он позволяет заменять основные элементы задания, активизируя самостоятельную работу студентов, и исключить условия для списывания.

Центры происхождения КУЛЬТУРА

культурных растений

1) Среднеазиатский А) кукуруза

2) Африканский Б) картофель

3) Южноамериканский В) арбуз

Г) виноград

Ответы: 1____,2____,3____

Применение некоторых заданий повышает учебный интерес. Например, задание по комедии А.С.Грибоедова «Горе от ума»;

РЕПЛИКИ ПЕРСОНАЖИ

1) Счастливые часов не наблюдают А) Фамусов

2) Ох! Басни - смерть моя! Б) Молчалин

3) Ей сна нет от французских книг, В) Чацкий

А мне от русских больно спится. Г) Софья

4) Дома новы, а предрассудки стары. Д) Хлестова

5) И впрямь с ума сойдешь от этих Е) Загорецкий

от одних от пансионов, школ, Ж) Скалозуб

лицеев... 3) Репетилов

Ответы: 1___, 2___, 3 __ , 4___, 5___.

Основные элементы композиции заданий на соответствие

Основные элементы композиции заданий этой формы: инструкция, названия двух столбцов, элементы этих столбцов с номерами и буквами, строку ответа.

Инструкция: УСТАНОВИТЕ СООТВЕТСТВИЕ

Названия двух столбцов должны относиться ко всем элементам представляемого класса, т.е. элементы столбца должны полностью соответствовать его названию. По возможности, названия столбцов должны быть короткими и точными, понятными для всех испытуемых с первого чтения.

Элементы столбцов выражают содержание задания. Как уже отмечалось, число элементов в правом столбце должно быть примерно в два раза больше числа элементов в левом столбце. Для идентификации элементов используются номера (для элементов левого столбца) и буквы (для элементов правого столбца).

Строка ответов композиционно завершает задание и указывает испытуемому место, куда нужно заносить ответы.

Оценка. При оценке заданий на установление соответствия используются различные подходы. При первом подходе оценка в 1 балл дается за правильное выполнение всего задания, в противном случае - 0 баллов, даже за одну допущенную ошибку. При другом подходе по одному баллу дается за каждое правильно установленное соответствие. Третий подход: за все правильные ответы давать 2 балла, за одну допущенную ошибку - 1 балл, за две ошибки и более - О баллов.

Если тест состоит из заданий разных форм, то лучше использовать первый подход к оценке: за каждое правильно выполненное задание - независимо от формы - давать 1 балл. Исключения допускаются, если есть основания считать задания на установление соответствия более важными с точки зрения проверки знания учебной дисциплины, чем задания других форм.

Основная сфера применения заданий на соответствие - это текущий и тематический контроль знаний. Также они хорошо подходят для самоподготовки и самоконтроля. Значительно реже они используются при аттестационных мероприятиях.

Задания на установление правильной последовательности

Задания на установление правильной последовательности предназначены для оценки уровня владения последовательностью действий, процессов и т.д. В задании приводятся в произвольном случайном порядке действия, процессы, элементы, связанные с определенной задачей. Испытуемый должен установить правильный порядок предложенных действий и указать его с помощью цифр в специально отведенном для этого месте (как правило, в прямоугольниках, стоящих слева перед каждым элементом задания).

Можно выделить несколько вариантов применения таких заданий.

1) последовательность исторических событий.

2) последовательность технологических действий и операций.

3) последовательность различных процессов.

4) цепочка умственных действий, образующая систему знаний, умений, навыков и представлений.

Инструкция к заданиям на установление правильной последовательности имеет вид:

Пример: УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ. СОБЫТИЙ ФЕВРАЛЯ-ОКТЯБРЯ 1917 Г.

VI съезд РСДРП (б)

Отречение царя Николая 11

Приезд Ленина

Создание Петроградского совета

Взятие Зимнего дворца

Корниловский мятеж

Ликвидация двоевластия

II съезд Советов

С помощью заданий этой формы можно проверять знание не только исторического процесса, но и знание литературного, художественного, лингвистического.

Задания на установление правильной последовательности особенно эффективны на заключительной стадии профессиональной подготовки, что объясняется важной ролью алгоритмов в профессиональной деятельности. Цель введения таких заданий в учебный процесс - формирование алгоритмического мышления и алгоритмических знаний, умений и навыков. Алгоритм представляет собой систему четких правил упорядоченной деятельности. Основные требования к алгоритму: он должен быть понятен и доступен учащемуся, корректен с точки зрения цели и содержания, однозначен по трактовке и результативен в процессе осуществления заданного числа шагов. При этом однозначность предполагает наличие только одного алгоритма, соответствующего правильному ответу.

Задания на установление правильной последовательности помогают решать трудную задачу формирования структуры знаний. Дело в том, что такие задания сложнее заданий других форм. Поэтому, если испытуемые знают правильные ответы на такие трудные задания, то они должны знать ответы и на предыдущие, более легкие задания. Это и есть признак правильной структуры знаний.

Пример: РАЗБОР СЛОВА ПО СОСТАВУ

Выделить суффикс

Выделить корень

Найти основу

Подобрать однокоренные слова

Выделить окончание

Выделить приставку

Элементы композиции заданий на установление правильной последовательности

К элементам композиции заданий данной формы относят

Инструкцию к заданию, название задания, его содержание и место для ответов.

Из названия задания испытуемый узнает, о чем его спрашивают, и знание чего он должен продемонстрировать. Ключевое слово в названии лучше писать и именительном падеже.

Повторим, что задания этого типа проверяют не все, а только определенные знания: алгоритмические, процессуальные, процедурные, технологические (в той части, которая связана с последовательностью операций).

Место для ответов - это прямоугольники, нарисованные слева, против катания каждого элемента. В них нужно проставить соответствующие цифры (ранги).

В самом задании элементы ставятся в случайном порядке. Окончания всех слов лучше писать в именительном падеже, чтобы испытуемые не могли угадать правильный ответ по окончаниям слов.

Оценка за выполнение задания рассматриваемой формы может варьироваться в зависимости от его важности и трудности. Однако, преимущественно используется дихотомическая оценка: 1 балл дается за правильную расстановку всех рангов в задании, 0 баллов - при ошибке в ответе. Если первый ответ определен неправильно, то неправильно определяются и другие ответы.

Задания на установление правильной последовательности довольно специфичны, содержание многих дисциплин не поддается трансформации в эту форму.

Методика составления теста

Составила преподаватель информатики

Власовец Надежда Витальевна

Введение (Актуальность программного обеспечения вида “Тесты”) 3

Теория создания тестов для системы образования 4

Правила составления тестовых заданий 8

Технология составления педагогического теста 9

Целеполагание на этапе планирования содержания теста 15

Состав требований к планируемым результатам обучения 16

Спецификация теста 18

Формы предтестовых заданий 19

Требования к предтестовым заданиям 20

Задания закрытой формы 20

Задания открытой формы (задания на дополнение) 21

Задания на установление соответствия 22

Задания на установление правильной последовательности 22

ЛИТЕРАТУРА: 25

Введение (Актуальность программного обеспечения вида “Тесты”)

Что такое тест ? Ответом на это могут быть строки: «Тест обученности – это совокупность заданий, сориентированных на выявление уровня усвоения определенных аспектов содержания обучения. Тест состоит из задания на деятельность данного уровня и эталона…». Отсюда следует, что объектом исследования в форме тестирования являются определенные аспекты содержания обучения.

Каким должен быть тест , и в том числе, тестирующая программа, - нельзя дать однозначного ответа. Все зависит от многих факторов. Что может сказать любой учитель, так это:

во-первых, какая цель поставлена перед обеими сторонами этого исследования (одной, тестирующей ‑ учителем и другой, тестируемой ‑ учащимся), то есть объект исследования , которым являются в нашем случае «определенные аспекты содержания обучения» информатике;

во-вторых, какими средствами и методами вооружен учитель.

Сегодня учитель должен следовать за развитием информационных технологий. Они диктуют новые формы и методы в педагогическом труде.

Зачем нужно тестирование на обычном уроке ? Первое – для экономии времени на проведение контроля знаний учителем. Так было до недавнего времени. Сегодня, учитывая возможности современной техники, используемой для этих целей, применение тестирования значительно расширяется. При однообразной работе понижается работоспособность учащихся. Тест же позволяет использование его на уроках разного типа - при контроле (и самоконтроле знаний), при закреплении полученных знаний, а также разной формы - при самостоятельной, групповой работе, при проведения фронтального опроса. Все чаще можно встретить использование тестирующих программ во внеклассной работе (турнир, игра). Процедура проведения тестирования знакома всем. Сценарии уроков могут быть разными в зависимости от поставленных учителем целей, от подготовленности испытуемых, и, конечно, от содержания самого теста (заданий). Результат тестирования зависит от многого: содержания теста, насколько правильно подобраны вопросы и ответы, от отведенного времени на тестирование, от того, правильно ли выбрано место урока при изучении темы и т.д. Добиться сбалансированности вопросов-ответов теста можно, хорошо зная предмет и особенности психики учащихся. Понятно, что учитель сможет добиться успехов в воспитании и обучении школьников, зная этапы возрастного развития детей и учитывая их личностные качества.

С точки зрения учителя информатики большое значение имеют технические средства обучения (ТСО), то есть инструмент тестирования, которыми может располагать учитель. Это может быть изготовленная учителем перфокарта – эталон с отверстиями в соответствующих правильным ответам позициях и подготовленные бланки для заполнения их учениками, - за неимением техники и она может как-то помочь учителю провести контроль знаний.

Сегодня в распоряжении учителя есть мощный компьютер с большим набором программ (в том числе на компакт-дисках). Сегодня, имея современный компьютер (допустим, типа Pentium II, с операционной системой Win95/98/2000), конечно же, никто не будет для экономии оперативной памяти, и тем более, памяти на винчестере, по старой привычке составлять программу на алгоритмическом языке, разве что в учебных целях при обучении программированию.

Если говорить с позиций пользователя Pentium , любое из приложений операционной системы Windows (Word/Excel/Access/PowerPoint), являясь мощным инструментом в руках подготовленного пользователя, позволяет быстрее и качественнее выполнить аналогичную работу на компьютере. Можно не перечислять достоинства новой техники и программного обеспечения. Учитель информатики, а вслед за ним и учителя других предметов не оставят без внимания появившиеся возможности прикладных программ для организации контроля знаний. При помощи интегрированного пакета программ (к примеру, MS Office) можно значительно быстрее создать свое программное тестирующее средство. Этим инструментом сможет воспользоваться учитель, не представляющий, что такое алгоритмический язык. К этой работе можно привлечь большее, чем ранее, количество учащихся. Пользователей компьютера всегда больше, чем программирующих учеников. В среде каждого из приложений, и в том числе Word, можно расширить возможности создаваемого документа (в нашем случае, тест-программы), применяя макрокоманды (макросы) и графические объекты; в среде Excel – применяя формулы при автоматизации вывода результата в виде оценки и дальнейшего анализа ответов в виде диаграмм; в среде Access, создав базу данных для групп и отчеты по данным тестирования; и, наконец, в среде PowerPoint ‑ готовя презентацию (чтобы и себя порадовать, и администрацию удивить). Импорт данных из одного приложения в другое – большой “плюс” в пользу этого средства. Эстетическое удовольствие при создании привлекательного программного продукта, как и при ответах на вопросы тест-программы с красивым интерфейсом – одна из составляющих успешного педагогического труда.

Вопрос о том, умеют ли ученики работать с тест-программой, становится особенно актуальным. Наверное, многие согласятся, что при прохождении Телетестинга в наилучших условиях оказываются те, кто имеет не только лучшие знания по предмету, но и навыки такого тестирования.

Каждый учитель заинтересован не только в хороших результатах своих учеников. Использование тестирующих программ крайне актуально.

Я решаю проблему тестов по предмету «Прикладная информатика авторской разработкой Иванцова А. С., выполненной в Microsoft Access. Тест содержит систему вопросов по основным разделам предмета, изучаемых в курсе информатики.

Каждая из программ, являясь тестом обученности по предмету, в то же время позволяет использование ее на уроках

разного типа :

при закреплении изучаемого материала (тест-тренинг),

при контроле знаний (тест-контроль) и

разной формы :

при обучении в сотрудничестве (работе парами),

при индивидуальной работе (подготовке к контрольной работе, зачету).

Возможности программы:

Порядок ответов на каждый вопрос меняется случайным образом;

Выбор блока вопросов из предложенного количества при помощи задания номера первого вопроса и количества вопросов;

Установка предельной нормы расхода времени на ответы;

Установка, по желанию, режима смены порядка вопросов теста;

Установка режима «жесткости» контроля (одного из четырех или своего);

Вывод, по желанию, списка правильных ответов (в текущем сеансе);

Сопровождение коротким сигналом неправильного ответа (по желанию).

Результат работы программы – вывод десятибалльной оценки знаний, количества правильных ответов, общего числа ответов, затраченного времени и количества запусков теста.

Теория создания тестов для системы образования

Тесты как измерительный инструмент используются в большинстве стран мира. Их разработка и использование основано на мощной теории и подтверждено многочисленными исследованиями. Тестология как теория и практика тестирования существует более 120 лет, и за это время накоплен громадный опыт использования тестов в различных сферах человеческой деятельности, включая образование.

Тесты - одно из средств проверки и оценки результатов обучения школьников. В последнее время они получают все большее применение в практике обучения.

Тест (от английского test - испытание, проверка) - стандартизированные, краткие, ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий.

Требования, предъявляемые к тестам: надежность, валидность, репрезентативность. Факторы, определяющие надежность теста:

правильный выбор параметров, адекватно отражающих обученность;

технологичность (четкость, ясность) инструментария проверки и оценки - четкая инструкция об организации проверки, однозначность оценки;

одинаковость условий каждого тестирования;

однородность (равнозначность) измерителя.

Валидность - аспект надежности. Валидность в психологии и дидактике - это соответствие содержания теста результатам обучения, которые зафиксированы в программе. А содержание проверочных заданий должно соответствовать целям контроля. Валидность проверяется на основе сравнения результатов использования разработанного теста с результатами проверки уровня обученности протестированных школьников другими методами (устный опрос, традиционная контрольная работа), сопоставление этих результатов с текущей успеваемостью учащихся. Важнейшим здесь является полнота охвата заданиями проверяемого учебного материала, как говорят в дидактике, репрезентативность (представительность) проверочных заданий. Если речь идет об итоговой проверочной работе, то ею охватывается весь курс, важнейшие его темы, наиболее значимый в них материал.

Затрагивая вопросы методики использования тестов для контроля результатов обучения школьников необходимо вспомнить об основных функциях проверки и оценки результатов обучения. Выделим среди них:

учетно-контрольную (информационную), которая систематически позволяет учителю фиксировать результаты обучения и судить об успеваемости каждого ученика, его достижениях и недочетах в учебной работе;

контрольно-корректирующую (диагностическую), которая обеспечивает связь "учитель-ученик", для внесения коррективов в методику обучения, перераспределения учебного времени между различными вопросами темы и пр., позволяет осуществлять диагностику причин отставания школьников;

обучающую , которая в результате помогает повторить материал, акцентировать внимание учащихся на главных вопросах и важнейших мировоззренческих идеях курса, указывает на типичные ошибки, что способствует закреплению и углублению знаний учащихся;

воспитательную (мотивационную), которая стимулирует учащихся к дальнейшей учебной работе, углублению своих знаний, развивает у школьников умения самоконтроля и самооценки;

аттестационную , которая связана с характеристикой уровня обученности школьника, является основой его аттестации, а также важнейшим компонентом аттестации работы учителя образовательного учреждения.

Какие же положительные стороны мы можем отвести тестированию?

Во-первых, тесты оказываются значительно более качественным и объективным способом оценивания, так как стандартизирована процедура их проведения (на всех этапах проведения тестирования невозможно внести субъективную составляющую в оценку, она не зависит от настроения преподавателя, его отношения к конкретному учащемуся, впечатления от ответов на предыдущие вопросы). По данным английской организации NEAB, занимающейся итоговой аттестацией учащихся Великобритании, тестирование позволяет снизить количество аппеляций более чем в три раза, сделать процедуру оценивания одинаковой для всех учащихся вне зависимости от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.

Во-вторых , тесты - более емкий инструмент - показатели тестов ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков, а не на констатацию наличия у учащихся определенной совокупности усвоенных знаний. Стандартизированная форма оценки, используемая в тестах достижений, позволяет соотнести уровень достижений учащегося по предмету в целом и по отдельным его разделам со средним уровнем достижений учащихся в классе и уровнями достижений каждого из них. Кроме того, выполняя итоговую тестовую работу, каждый ученик использует знания по всем темам, изучение которых предусматривала программа. На устный экзамен обычно выносится 2-4 темы, на письменный несколько больше.

В-третьих , это более мягкий инструмент. Тестирование ставит всех учащихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.

В-четвертых , с точки зрения интервала оценивания тест - широкий инструмент. Если провести аналогию с прыжками в высоту, то традиционная контрольная работа представит собой палочку, на которой нанесены метки: 2, 3, 4, 5. В случае выполнения учеником всех заданий он получает отметку отлично. При этом совершенно не ясно, перепрыгнул он нашу палочку с запасом в два раза или пролетел прямо над ней. То же можно сказать и про нижнюю отметку.

Означает ли тот факт, что если ученик не выполнил ни одного задания, то он ничего не знает? Скорее всего нет. А означает ли, что ученики, выполнившие верно все задания контрольной работы имеют одинаковый уровень подготовки - вероятно, что тоже нет. Можно видеть, что тестирование предоставляет возможность расширить шкалу оценивания как вверх, так и вниз. Тестирование приходит в противоречие с учительским стереотипом о том, что отличную оценку нужно выставлять только в том случае, если все задания выполнены правильно.

В-пятых , необходимо отметить гуманизм тестирования, который заключается в том, что всем предоставляются равные возможности, широта теста дает возможность ученику показать свои достижения на широком поле материала. Таким образом, ученик получает некоторое право на ошибку, которого он при традиционном способе оценивания не имеет.

Кроме того, тесты эффективны с экономической точки зрения: основные затраты приходятся на составление качественного инструментария, т.е. носят разовый характер. При увеличении количества аттестуемых, эти затраты в значительной степени окупаются.

Классификация тестов

1. По процедуре создания:

· стандартизованные (в образовании, для целей итоговой аттестации);
· не стандартизованные.

2. По средствам предъявления:

· бланковые;
· предметные (манипулируем материальными объектами);
· аппаратурные (используются устройства для изучения особенностей внимания, восприятия, памяти, мышления);
· практические (лабораторные работы, снабженные соответствующими инструкциями и имеющие тестовое оснащение);
· компьютерные.

В рамках компьютерного тестирования В.С. Аванесов предлагает адаптивные тесты - задания, в которых предъявляются по одному, в зависимости от ответа испытуемого на предыдущий вопрос.

Какие же положительные моменты можно отметить в компьютерном тестировании?

Во-первых, тесты привлекают своей оперативностью: можно быстро проверить и оценить уровень усвоения учебного материала.

Во-вторых , повышается объективность проверки и оценки знаний и умений обучаемых.

В-третьих, тесты являются наиболее перспективными измерителями уровня обученности школьников в условиях введения в практику школы образовательных стандартов.

Компьютерные тесты имеют и свои недостатки - провоцируют случайные ошибки, не оставляют исходных результатов на случай апелляции.

3. По направленности:

· тесты интеллекта;
· личностные тесты;
· тесты достижений.

4. По характеру действий:

· вербальные (с использованием умственных действий);
· невербальные (связанные с практическим манипулированием предметов).

5. По ведущей ориентации:

· тесты скорости (содержат простые задачи; время решения ограничено);
· тесты мощности или результативности (содержат трудные задачи, время решения не ограничено, или мягко лимитировано);
· смешанные тесты (задачи различного уровня сложности, от самых простых до самых сложных, время испытания ограничено, но достаточно для решения большинства задач).
Эти тесты наиболее часто применяются на практике, к ним относятся большинство тестов школьных достижений.

6. По степени однородности задач:

· гомогенные (задачи, сходные по характеру, но различающиеся конкретным содержанием);
· гетерогенные (задания отличаются и по характеру, и по содержанию).

7. По объективности оценивания:

· объективные (в процессе обработки результатов тестирования не предусматривается использование субъективных толкований тестирующим);
· проективные тесты (допускается чрезвычайно большое разнообразие ответов и проявление определенной субъективности при их толковании тестирующим.

8. По специализации:

· широкоориентированные (для тестов в системе образовании), позволяющие оценить эффективность процесса обучения, степень освоения учащимися системы знаний, умений и навыков в ходе учебного процесса;
· узкоориентированные, направленные на выявление достижений учащихся в процессе освоения отдельных предметов, отдельных тем и т.д.

9. По целям использования (только для тестов в системе образования):

· предварительный определяющий тест (определяет знания в начале обучения, затрагивает минимум знаний по теме обучения);
· тест прогресса, достигнутого в процессе обучения, формирующий тест (затрагивает ограниченный сегмент обучения, раздел или главу, состоит из серии отдельных тестовых вопросов, всесторонне охватывающих ограниченную область обучения). Пример, обучающие тесты. Ученику даются конкретные инструкции для исправления обнаруженных ошибок;
· диагностический тест (содержит большое число вопросов, имеющих отношение к конкретной тестируемой области). Цель теста - определение трудностей обучения.
· суммирующий тест (используется для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса, содержит вопросы, представляющие более высокий уровень сложности, чем другие виды тестов).

10. По широте использования (только для тестов в системе образования):

· для использования учителем;
· для использования группой учителей или администрацией образовательного учреждения;
· для целей отбора и формирования групп;
· для аттестации учащихся.

11. По форме:

· тесты закрытого типа (задания с выбором верного ответа (или нескольких верных) из набора предлагаемых;
· тесты открытого типа (ввод предполагаемого ответа на задание самим тестируемым).

Правила составления тестовых заданий

Начинайте формулировать вопрос с правильного ответа.

Вопрос должен содержать одну законченную мысль.

При составлении вопросов следует особенно внимательно использовать слова "иногда", "часто", "всегда", "все", "никогда".

Вопрос должен быть четко сформулирован, избегая слова большой, небольшой, малый, много, мало, меньше, больше и т.д.

Избегайте вводных фраз и предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает.

Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.

Не задавайте вопросы с подвохом (в заблуждение могут быть введены наиболее способные учащиеся).

Все варианты ответов должны быть грамматически согласованы с основной частью задания, используйте короткие, простые предложения, без зависимых или независимых оборотов.

Реже используйте отрицание в основной части, избегайте двойных отрицаний, таких как: "Почему нельзя не делать…?"

Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.

Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Применяйте правдоподобные ошибочные варианты, взятые из опыта.

Если ставится вопрос количественного характера, ответы располагайте по возрастанию, если дистракторы представлены в виде слов текста, располагайте их в алфавитном порядке.

Лучше не использовать варианты ответов "ни один из перечисленных" и "все перечисленные".

Избегайте повторения.

Используйте ограничения в самом вопросе.

Не упрощайте вопросы.

Место правильного ответа должно быть определено так, чтобы оно не повторялось от вопроса к вопросу, не было закономерностей, а давалось в случайном порядке.

Лучше использовать длинный вопрос и короткий ответ.

Проанализируйте задания с точки зрения неверного ответа наиболее подготовленных учеников.

Технология составления педагогического теста

Являясь частью многих педагогических новаций, тесты позволяют получить объективные оценки уровня знаний, умений, навыков, проверить соответствие требований к подготовке выпускников заданным уровневым стандартам знаний, выявить пробелы в подготовке учащихся. В сочетании с персональными ЭВМ и программно-педагогическими средствами тесты помогают перейти к созданию современных систем адаптивного обучения и адаптивного контроля наиболее эффективных, но, к сожалению, наименее применяемых форм организации учебного процесса.

Широкие возможности современных тестов в решении ряда важных для образования и общественной жизни задач почти не задействованы, а там, где их пытаются задействовать, делается это неудовлетворительно, без опоры на имеющиеся в мировой науке достижения, самостоятельно. Отчасти это происходит из-за слабой информированности преподавательского состава по вопросам теории и методики тестового контроля, отсутствия требуемой литературы, а также из-за очень распространенных представлений о кажущейся легкости создания теста.

1. Общие методики составления педагогического теста .

В повседневной практике каждого человека измерение ~ вполне обычная процедура. Измерение так же, как счет, вычисление, стало неотъемлемой частью производства и распределения. Но измерения по отношения к человеку всегда были актуальны и связаны с введением определенных правил, на основании которых испытуемым приписываются некоторых числа. Оперируя ими, можно получить новые сведения об объектах измерения, а всесторонний анализ факторов, влияющих на обучение студентов вузов и учащихся, с применением статистико-математических методов позволяет точно измерить интересующие нас показатели, сравнить их между собой, установить между ними связи и взаимозависимости.

Методика измерения профессиональных знаний, умений человека дело не простое. При отсутствии измерений оценка традиционно строится на интуиции, на анализе документов (дипломов, характеристик и т.п.), результатах "испытательного срока", контрольных работ, рефератов и т.п.

При создании хорошо управляемых технологий обучения необходимо создать систему педагогических тестов, позволяющих объективно оценивать различные стороны процесса обучения, его результаты.

Понятии "тест" (от английского test - испытание, проба, исследование).

Одни авторы считают, что тест - краткое стандартизированное испытание, предназначенное для распознавания интересующих нас особенностей и качеств личности. Другие авторы отмечают, что в понятие "тест" необходимо включить и получение с помощью его объективных количественных оценок результатов обучения. В этих работах подчеркивается то, что тест является научно обоснованным методом эмпирического исследования в педагогике.

Следовательно, тест - краткое стандартизированное испытание, предназначенное не только для получения объективной количественной оценки результатов обучения, но и распознавания интересующих особенностей и качеств личности.

Более общее определение дается в работе . Тест - "стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умениях и навыках испытуемого" .

Можно дать более лаконичное определение теста. "Тест - краткое стандартизированное испытание, допускающее количественную оценку результатов на основе их статистической обработки" . Рассмотрим подробнее данное определение.

Во-первых, под "испытанием" подразумевается система заданий, на основании анализа результатов выполнения которой предстоит провести количественную оценку измеряемым качествам и свойствам.

Отбор и структура заданий теста зависит от того, какие показатели и факторы интересуют исследователя данной группы лиц. Каждое из заданий теста по своей сути представляет для испытуемого вопрос, проблему. Ответ на вопрос - это всегда устранение некоторых сомнений, колебаний, неопределенности в рассматриваемой ситуации с целью получения новых, более точных знаний.

Каждое из заданий теста содержит описание некоторой "ситуации", взятой из природы, производства, педагогической деятельности и т.п. Это описание может быть представлено на различных "языках": вербальном, языке символов, графиков, рисунков и т.п. Любое описание всегда приблизительно, неполно, и поэтому перед испытуемым ставится "требование" сделать его ситуации более точными, полными, используя с этой целью "информацию к решению", содержащуюся в описании ситуации, тексте задания, а также привлекая "внешнюю по отношению к заданию информацию" ≈ известные испытуемому научные факты, закономерности и т.п. В процессе выполнения задания ему приходится перемоделировать ситуацию путем введения ряда упрощающих решение допущений, абстракций, переходя в описании от одного языка к другому.

Среди заданий теста следует различать:

Задания информативного характера;

Задания, решение которых может быть осуществлено алгоритмическим, формализованным путем;

Проблемы, для решения которых необходим эвристический и нестандартизированный поиск. Понятно, что подобное деление заданий носит условный характер.

В зависимости от полноты информации к решению, содержащейся в тексте, задания могут быть сформулированными и только поставленные. Сформулированные задания содержат оптимальную информацию к их выполнению, поставленные ≈ не требуют от испытуемого самостоятельно сформулировать задачу, оговорить условия, при которых рассматривается задание. Кстати, информация, содержащаяся в тексте задания ("исходные данные"), может быть представлена в явном виде или же в скрытой форме, требующей для ее извлечения выполнения более или менее сложных операций, что повышает сложность задания.

Во-вторых, тест - "стандартизированное испытание", т.е. испытание, при котором все выполняющие задания находятся в одинаковых, строго оговоренных условиях. Только это позволяет сравнивать результаты тестирования, доводить результаты измерения до числа.

В-третьих, тест позволяет получить "количественную оценку" результатов тестирования. Поскольку предстоит измерить непрерывно изменяющиеся, не дискретные величины, то для доведения результатов измерений до числа используются специальные шкалы. В нашем случае шкала ≈ это определённая последовательность числовых значений результатов измерительных операций, применяемых к эмпирической системе.

Чем же отличается тест от педагогического теста? В работах, перечисленных выше, мы не встретим однозначного определения педагогического теста. Только в работе Аване-сова B.C. дается его определение. Педагогический тест - это "совокупность взаимосвязанных заданий возрастающей сложности, позволяющих надежно и валидно оценить знания и другие интересующие педагога характеристики личности". Очень существенно, что в определении основной упор делается на систему взаимосвязанных заданий возрастающей сложности.

В последней работе этого же автора определение педагогического теста дается уже через систему фасетных заданий специфической формы, определенного содержания и возрастающей трудности. Автор отмечает, что педагогический тест позволяет качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений по учебной дисциплине.

Мы не совсем согласны с данным автором в том, что педагогический тест - это система только фасетных заданий, так как его можно составить, как показывает эксперимент, не используя фасет (варьирование содержания в пределах укрупненной единицы знания).

Условимся под педагогическим тестом понимать систему определенным образом расположенных заданий, позволяющих выявить структуру знаний, умений и измерить их .

Результаты измерения заданий испытуемыми содержат самую разнообразную информацию в скрытой форме. Есть только один путь ее извлечения - сопоставление результатов выполнения достаточно большого числа заданий (необходимо "набрать статистику"). Только это позволяет получить выводы, заслуживающие доверия.

Педагогические тесты весьма разнообразны. С точки зрения целей применения, можно выделить:

- тесты достижения;

- критериально-ориентированные тесты, позволяющие сопоставить уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков;

- нормативно-ориентированные тесты, сравнивающие испытуемых друг с другом по уровням и учебным достижениям;

- аттестационные тесты, определяющие степень обученности;

- тесты прогнозирования результатов обучения.

Тесты могут использоваться для всесторонней оценки состояния испытуемых, например, до начала процесса их интеллектуального развития, способностей к конкретному учебному предмету, установления уровня обучаемости, уровня достижений в рассматриваемой области знаний.

В последнее время все большее признание в нашей стране получает новый вид тестов - критериально-ориентированные ("criterion-referenced test"), хотя в странах с высокой тестовой культурой они появились в шестидесятых годах.

Как и любой педагогический тест, критериально-ориентированный тест представляет собой систему заданий, позволяющую измерить уровень учебных достижений. Но главная их особенность состоит в том, что критериально-ориентированные тесты сопоставляют уровень индивидуальных учебных достижений с полным объемом знаний, умений и навыков, которые должны быть усвоены студентами или учащимися.

Обычно критериально-ориентированные тесты используются для разделения учащихся на несколько групп по уровню их знаний. В самом простом случае это две группы - усвоившие и не усвоившие необходимый материал. В тесте образовательный стандарт выступает в виде критериального балла - минимального тестового балла, который должен получить студент, чтобы считаться усвоившим тот или иной материал. Для установления критериального балла используются экспертные методы анализа заданий.

Критериально-ориентированные тесты разрешают проблему соотношения тестовых баллов с традиционными педагогическими оценками. Устанавливаются такие критериальные баллы, которые делят испытуемых на группы, соответствующие оценкам "отлично", "хорошо", "удовлетворительно", "неудовлетворительно". Такая организация теста позволяет проводить в тестовой форме экзамены.

Критериально-ориентированные тесты помогают разрешить определенные задачи:

- сопоставление с требуемым стандартом образования достижений отдельных студентов, учебных групп;

- оценка доли учебного материала, усвоенной испытуемыми;

- выбор определенной технологии обучения;

- отбор испытуемых, достигших необходимого уровня квалификации.

В отличие от критериально-ориентированных, тесты достижений, как показывают проведенные нами исследования, являются надежным средством для быстрого и эффективного выявления уровня профессиональной подготовки студента и уровней обученности учащихся.

Тесты профессиональных достижений специфичны, предназначаются для конкретных профессий, и поэтому область их применения ограничена. Для нашего случая можно выделить две группы тестов профессиональных достижений:

- первая группа требует от испытуемого выполниения контрольных заданий, моделирующих профессиональную деятельность, на практически-семинарских занятия;

- вторая группа представляет собой набор заданий, выполняемых учащимися на практике.

Студенты, в зависимости от условий предъявления заданий, могут отвечать на них письменно или устно. Преподаватель в отдельных случаях может проводить опрос в форме интервью и беседы. Все эти методы характеризуются одним ведущим признаком: с их помощью получают ту информацию, которая заложена в словесных сообщениях опрашиваемых.

При беседе и интервью задания обсуждаются в очередности, которая предусмотрена конструкцией педагогического теста.

Методику разработки тестов достижений можно разбить на несколько исследовательских этапов:

- подбор типичных ситуаций, которые возникают в профессиональной деятельности учителя, "с одной стороны, они должны быть синтезированы и объединены вокруг определенной практической проблемы, имеющей многосторонний и целостный характер, а с другой ≈ они должны быть переведены на язык практических действий, практических ситуаций" ;

- разработка методов перевода ситуаций на язык педагогических задач;

- разработка различных вариантов решения педагогических задач;

- определение ценности (веса) различных решений по каждой конкретной педагогической задаче;

- установление правильной последовательности предъявления системы заданий, составляющих тест достижений;

- экспериментальная проверка составленного теста.

Анализ профессиографических данных и дополнительных сведений об учебных программах, методах, формах, средствах обучения показал, что для разработки тестов достижений этого недостаточно, нужно еще и наличие специальной системы профессиональных знаний и умений.

В первоначальном варианте тест достижений имеет избыточное число заданий, часть которых после первой экспериментальной проверки убирается. О необходимости иметь избыток заданий в предварительном варианте говорят все исследователи, занимающиеся вопросами создания тестовых методов. Для каждого задания устанавливается свой эталон ответа.

При подготовке тестов достижений применяется экспертная оценка знаний и умений, осуществляемая параллельно с тестированием. Сначала испытуемые выполняют тест, и после этого их опрашивает группа экспертов. Баллы по тестам сопоставляют с оценками. Процент совпадений должен быть высок ≈ 85-90%, это является гарантией того, что в тест включен основной материал по предмету, как его выявили эксперты.

В зависимости от характера деятельности испытуемого при выполнении педагогического теста различают:

- тесты со свободно конструируемыми ответами;

- тесты на дополнение ответов, приведенных в заданиях;

- тесты выбора верных ответов из общего числа предложенных в задании (альтернативные тесты);

- комбинированные тесты.

Для оценки дидактических возможностей перечисленных тестов необходимо остановиться на характерных особенностях теста вообще и отдельных видов, в частности.

Каждое из заданий теста, как уже упоминалось ранее, содержит информацию к решению. Характер и объем ее может варьироваться как дидактическая помощь испытуемому. Её избыток может играть положительную роль в тестах, используемых в режиме обучения и даже диагностики, но оказаться нежелательным в тестах для оценки достижений, где основной функцией теста является контроль.

Следующая особенность теста - он может ограничивать испытуемых в их действиях, поисках решения. Как и в предыдущем случае, оценка этой особенности теста не однозначна. Все зависит от целей тестирования. Так, нередко одно и то же задание теста может быть выполнено на основе различных идей, методов решения. Пытаясь оценить, насколько испытуемые овладели некоторым конкретным методом, следует исключить возможность решения другими.

Из всех видов тесты выбора имеют преимущество в предоставлении испытуемым свободы в ответах на задания, как это бывает при самостоятельном конструировании ответов. Это достигается путем включения в число ответов к заданиям альтернативного варианта - ответ иной", подразумевая ответ, отличный от всех остальных, приведенных к заданию.

Еще одна особенность тестов заключается в том, что конкретные формулировки заданий могут навязывать испытуемому вполне определенный порядок действий при их выполнении и логику поиска решения. Хорошо это или плохо - оценить однозначно невозможно. Все зависит от целей тестирования. Например, если основными целями применения теста является обучение, то рассматриваемая особенность тестов дает возможность формировать у испытуемых определенные методы рассуждений.

От вида теста самым существенным образом зависит, насколько проста и технологична обработка результатов тестирования. В этом смысле вне конкуренции тесты выбора. Тогда как при свободном конструировании ответов испытуемыми оказывается исключительно сложно обрабатывать результаты тестирования.

Заканчивая рассмотрение видов теста, следует упомянуть о так называемых ситуационных тестах, в которых все задания относятся к описанию одной и той же ситуации. К ситуационным тестам относятся тесты в форме программ решения задач и алгоритмов определенного типа. В них последовательность заданий диктуется логикой решения рассматриваемых задачных ситуаций. Результаты выполнения одних заданий могут быть использованы при выполнении последующих.

Как было отмечено выше, наиболее широкое распространение в педагогическом тестировании получили тесты выбора. Сравнивая их с другими видами педагогических тестов, следует отметить простоту обработки результатов их выполнения, что в рамках массового обучения имеет особую ценность. Перечислим ряд других ценнейших дидактических качеств тестов выбора.

1. Приводимые наборы ответов к заданиям теста:

а) средство доведения до испытуемых новой для них учебной информации;

б) средство показа различных мнений по одному и тому же вопросу;

в) показ различных идей, принципов, на основе которых может решаться рассматриваемая проблема.

2. Наборы ответов к заданиям - это средство диагностики, поскольку появляется возможность в число альтернативных ответов включать конкретные ошибки, что позволяет установить причины их возникновения.

3. Появляется возможность обеспечить "обратную связь" в обучении, как и для испытуемого, а отсюда и возможность для внесения коррективов в обучение.

4. Работа с тестом выбора является эффективным средством развития мышления испытуемых, поскольку она по своей сути складывается из операций сравнения, поиска альтернатив.

Встречающееся мнение о том, что ознакомление испытуемых с ложными ответами нежелательно, что эти ошибки могут закрепиться в их памяти, несостоятельно. Наоборот, работа с такими ответами позволяет вскрыть ошибочные мнения и их разрушить.

Ответы к заданиям теста могут находиться в различных отношениях друг к другу:

- противопоставления, противоположности, когда выбор одного из них в качестве верного является утверждением ошибочности всех остальных;

- равноправия, когда верными могут оказаться несколько из предложенных ответов;

- дополнения друг друга, когда только несколько отобранных ответов в сумме дают законченный ответ на поставленный в задании вопрос.

Процесс составления педагогических тестов является делом исключительно ответственным и трудоемким. Поскольку они являются основой контроля, диагностики в управлении процессом обучения, то становятся понятными исключительно высокие требования к содержанию и форме тестов. Если сказать в самом общем виде, то тест должен быть пригодным (валидным) с точки зрения поставленных перед ним целей измерения. Понятие валидности (перевод слова с английского valid - годный, пригодный) трактуется довольно широко.

В теории тестирования различают два типа валидности: внешнюю и внутреннюю. Внешняя валидность присуща тестам, не имеющим сходных компонентов с оцениваемой системой. Внутренняя валидность свойственна тем тестам, которые содержат в себе компоненты оцениваемой педагогической системы.

Мера валидности теста определяется несколькими способами, например, сравнением с тестом-эталоном и сопоставлением с более объективными показателями, полученными другими методами.

Сопоставление с объективными показателями предусматривает сравнение достижений испытуемого в тесте с результатами, полученными с помощью экспертов. В этом случае обычно берутся оценки, выставляемые испытуемому преподавателями-экспертами традиционным образом, без использования тестов, после чего результаты по заданиям теста и по оценкам экспертов коррелируются. Если получены однотипные изменения общих результатов, то считается, что тест обладает валидностью. Мера согласованности указывает на меру валидности. Следует заметить, что тест нельзя назвать валидным или невалидным без указания сферы его применения.

Тест считается содержательно валидным, если аспекты измерения соответствуют целям тестирования (аспектная полнота теста). При этом основное внимание в тесте (наибольшее число заданий) уделено наиболее важным из аспектов измерения (тест сбалансирован). Наконец, последовательность, в которой расположены задания и ответы к ним, логически обоснованы, такой тест представляет собой единое целое (конструктивно целостный). В педагогических тестах, разрабатываемых для контроля, диагностики знаний, валидность по содержанию играет решающую роль.

Выбор критериев, по которым предстоит оценивать результаты работы испытуемых с тестом, должен быть безупречен (критериальная валидность), гарантируя надежность, объективность, обеспечивая нужную точность измерения, давая возможность разделить испытуемых (дифференцирующие возможности теста).

Считается, что к тестовым заданиям относятся те, которые отвечают одновременно трем требованиям - корректности содержания, форме и наличию системообразующих свойств. Первому требованию отвечают задачи, вопросы, и потому этот признак необходим, но не достаточен.

Тестовые задания представляют собой не вопросы и не задачи, а утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания . При разработке педагогических тестов придерживаемся данного утверждения. Традиционные вопросы не бывают ложными или истинными, а ответы на них бывают столь неопределенными и многословными, что для выявления их истинности требуются большие затраты интеллектуальной энергии и преподавательского труда. В этом смысле традиционные вопросы и ответы не технологичны, вследствие чего их не рекомендуется включать в тест.

Задание в тестовой форме - это задания, к которым, помимо содержания, предъявляются требования тестовой формы, что делает их формулировки более лаконичными.

Самые жесткие требования предъявляются языку теста - однозначность его понимания испытуемыми, выразительность, лаконичность.

Таким образом, для разработки и применения в учебном процессе рассмотренных выше педагогических тестов необходимо учитывать объективные характеристики подготовительного процесса. А для этого нужно:

1. Выделить цели тестирования.

2. Отобрать педагогические ситуации.

3. Перевести (смоделировать) педагогические ситуации на язык учебных задач.

4. Переконструировать учебные задачи в тестовые задания.

5. Выбрать и оценить эталоны ответов.

6. Разработать план теста. (Предполагается раскладка необходимого числа заданий, исходя из общего предельного числа заданий разного уровня сложности).

7. Выделить аспекты тестирования.

8. Составить тест. (Эта работа должна проводиться опытными преподавателями).

9. Расположить задания в тесте с учетом системообразующих связей.

Следует отметить, что педагогический тест не может состоять из отдельных только легких или трудных заданий, он должен включать в себя задания различного уровня трудности, начиная с легкого и кончая трудным, на которые могут правильно ответить несколько испытуемых в тестируемой группе.

10. Проверить экспериментально разработанный тест.

В заключение следует отметить, что эффективность педагогического теста определяется творческим подходом составителей к разработке системы заданий, соответствующих конкретным целям тестирования.

При создании теста внимание разработчика, прежде всего, привлекают вопросы отбора его содержания, которое можно определить как оптимальное отображение учебной содержания дисциплины в системе тестовых знаний.

Требование оптимальности предполагает использование определенной методики отбора, которая должна включать вопросы целеполагания, планирования и оценки качества содержания теста.

Целеполагание на этапе планирования содержания теста

Этап целеполагания является самым трудным и вместе с тем самым важным. От его результата зависит качество содержания теста. На этом этапе преподавателю необходимо решить вопрос, какие результаты студентов он хочет оценить с помощью теста.

Проблема сегодняшнего дня состоит в том, что представления о наиболее общих целях контроля не позволяют непосредственно перейти к разработке средств измерения. Оказывается необходима промежуточная ступень, которую педагоги назвали предварительной операционализацией целей (этому закрученному выражению проще и лучше соответствует термин «конкретизация»).

Процесс конкретизации характеризуется рядом этапов, которые можно отобразить схематично на рис 1.

Состав требований к планируемым результатам обучения

В состав требований к планируемым результатам обучения обычно включают систему объектов изучения, описание видов учебной деятельности и качество усвоения учебного материала. Все это входит в систему научных знаний.

Первым компонентом требований системы научных знаний является характеристика объектов изучения с учетом глубины их освещения преподавателем и планируемого уровня усвоения студентами.

К элементам системы научных знаний исследователи отнесли понятия и факты, законы, теории, идеи, знания о способах деятельности, методологические и оценочные знания.

Представляет интерес структура умений предложенная проф. И.И.Кулибабой:

 Специальные, формирующиеся в процессе изучения отдельных дисциплин;

 Рационального учебного труда, включающие умения пользоваться различными источниками знаний для решения познавательных задач, умения планировать и организовывать свою учебную деятельность, контролировать и корректировать результаты учебной деятельности, умение управлять последней в процессе учения;

 Интеллектуальные, представляющие собой ядро учебной деятельности и объединяющие все учебные дисциплины вуза.

За рубежом популярна следующая классификация целей обучения (или таксономия – по B.S. Bloom), которая представляет интерес для технологии разработки тестов:

1. Знание названий, имен, фактов.

2. Фактуальные знания.

3. Знание определений и понимание их смысла.

4. Сравнительные и сопоставительные знания.

5. Классификационные знания.

6. Знание противоположностей и противоречий, синомичных и антонимичных объектов.

7. Ассоциативные знания.

8. Причинные знания.

9. Алгоритмические, процедурные знания.

10. Обобщенные системные знания.

11. Оценочные знания.

12. Процессуальные знания.

13. Абстрактные знания.

14. Структурные знания.

15. Методологические знания.

Конкретизация учебных целей четко отражена в стандартах каждой специальности вуза. Профессор Кларин М.В. предлагает категории учебных целей в несколько измененном виде, в удобном для задач педагогического измерения (табл.1).

Обобщенные учебные цели (планирует преподаватель )	Конкретизируемые учебные цели (достигаются студентом)
Знания на уровне запоминания и воспроизведения	Знает смысл употребляемых терминов, Знает основные понятия и определения, Знает формулы, законы, принципы
Знания на уровне понимания	Понимает и интерпретирует термины, Интерпретирует понятия и определения, Преобразует словесный материал в математические выражения, Интерпретирует словесный материал на схемах и графиках
Умения по применению знаний в известной ситуации	Умеет применять термины, понятия и определения в знакомой ситуации по образцу, Умеет применять формулы, законы и принципы
Умения по применению знаний в незнакомой ситуации	Использует законы и принципы в новых ситуациях, Осуществляет перенос известных принципов на незнакомые ситуации
Анализ	Видит ошибки и упущения в логике рассуждений, корректирует неполные или избыточные постановки задач, Выделяет скрытые предположения, Проводит различия между фактами и следствиями.
Синтез	Пишет рефераты, проекты и т.п. Предлагает план проведения эксперимента, Решает проблемы на междисциплинарном уровне путем переноса знаний из одной дисциплины в другую.
Оценка	Сопоставляет факты, Приводит оценочные суждения, Выбирает оптимальный вариант из предложенных к рассмотрению.

После определения целей тестирования и их конкретизации разрабатывается план теста и его спецификация. При разработке плана определяется раскладка процентного содержания разделов дисциплины и число заданий по каждому разделу.

Раскладку начинают с подсчета планируемого числа заданий в тесте, которое затем будет меняться в процессе работы над тестом в сторону увеличения или уменьшения. Предельное число заданий в тесте не должно превышать 60-80, поскольку на тестирование отводится время не более 2-х часов. На выполнение одного задания теста отводится примерно 2 минуты. План теста можно свести в табл. 2.

Табл.2 – Пример плана теста

	Контролируемое содержание (раздела, дисциплины)	Число заданий	Номера заданий
	Определение уравнений Эквивалентность уравнений ………………………………. ………………………………. ……………………………….

Спецификация теста

После выполнения планирования содержания теста разрабатывается спецификация теста, в которой фиксируется структура, содержание проверки и процентное соотношение заданий в тесте. Иногда спецификацию делают в развернутом виде. Спецификация теста в развернутом виде включает:

1. Цель создания теста. Обоснование выбора подхода к его созданию. Описание возможных сфер применения.

2. Перечень нормативных документов (стандарты специальности, базисные программ, требования к уровню подготовки выпускников.

3. Описание общей структуры теста, включающее перечень субтестов (если они имеются) с указанием подходов их разработки.

4. Количество заданий различной формы с указанием числа ответов к закрытым заданиям. Общее число заданий в тесте.

5. Число параллельных вариантов в тесте, либо ссылка на кластер, содержащая номера и количество заданий кластера.

8. Соотношение заданий по различным разделам и видам учебной деятельности.

10. Охват требований стандартов (для аттестационных тестов).

11. Перечень требований, не вошедших в тест (для аттестационных тестов).

12. Стратегия расположения заданий в тесте, рекомендуемая разработчиком.

Предположительно, эта спецификация – набор документов для регистрации теста.

Создание краткой спецификации основано на сопряжении знаний и умений с процентным соотношением заданий по различным разделам (содержательным линиям дисциплины), см. п.8. Пример реализации подобного сопряжения показан в табл.3. Перечень знаний и умений условно включены:

А - знание понятий, определений, терминов;

Б - знание законов и формул;

В - умение применять законы и формулы для решения задач;

Г- умение интерпретировать результаты на графиках и схемах;

Д-умение проводить оценочные суждения.

Табл.3 – Гипотетическая спецификация теста

	Планируемые к проверке знания и умения					Σ-заданий по каждому пункту
	Итого (строка и рассчитывается и заполняется первой

При заполнении ячеек таблицы в распределении заданий числа ставятся приближенно, и в процессе «обкатки» теста первоначальная раскладка может существенно измениться.

Спецификация, предлагаемая сотрудниками ИОСО РАН, основана на процентном соотношении заданий планируемых сообразно разделам дисциплины и видам предполагаемой деятельности испытуемого в процессе выполнения теста.

После отбора содержания теста для разработчика наступает этап создания предтестовых заданий. Грамотно их может сделать опытный преподаватель, -умеющий правильно выбрать форму предтестового задания для проверяемого учебного материала, -имеющий дополнительные знания по теории и методике создания педагогических тестов.

Формы предтестовых заданий

В отечественной и зарубежной научно-педагогической литературе предтестовые задания классифицируют на:

задания закрытой формы (с множественным выбором), в которых тестируемый выбирает правильный ответ из данного набора ответов;

задания открытой формы (задания на дополнение ), требующие от тестируемого самостоятельное получение ответа;

задания на установление соответствия (с множественным выбором), выполнение которых связано с выявлением соответствия между элементами двух множеств;

задания на установление правильной последовательности , в которых тестируемый должен указать порядок действий или процессов.

Требования к предтестовым заданиям

Аксиома 1 . При составлении предтестовых заданий опираются на общепринятые требования:

каждое предтестовое задание имеет свой порядковый номер, который может изменяться после объективной оценки трудности задания и выбора стратегии предъявления теста;

каждое предтестовое задание имеет эталон правильного ответа;

в предтестовом задании все элементы располагаются на четко определенных местах, фиксированных в рамках выбранной формы;

предтестовые задания одной формы сопровождаются стандартной инструкцией, предваряющей формулировку заданий в тесте;

для каждого задания разрабатывается правило выставления дихотомической или политомической оценки;

предтестовое задание должно быть по форме предъявления и по времени выполнения достаточно кратким.

Аксиома 2. Процесс тестирования стандартизуется, если:

ни одному тестируемому не дается никаких преимуществ перед другими;

система подсчета баллов ко всем ответам тестируемых без исключения;

в тест включаются задания одной формы, либо разных форм с соответствующими весовыми коэффициентами, полученные статистическим путем;

тестирование различных групп испытуемых проводится в одинаковое время и сходных условиях;

группа тестируемых выровнена по мотивации;

все испытуемые отвечают на одни и те же задания.

Задания закрытой формы

Задания закрытой формы имеют недостаток в быстром рассекречивании и плохо удовлетворяют условию (аксиома 2,п.6.). В заданиях закрытой формы имеется основная часть, содержащая постановку проблемы, и готовые ответы, сформулированные разработчиком теста. Обычно правильным ответом бывает только один. Правдоподобные ответы называются дистракторами. Число дистракторов в задании, как правило, не более пяти (редко – 7). Дистрактор, называют неработающим, если ни один из тестируемых его не выбрал. Такой дистрактор убирают. Если разработчику трудно представить дистракторы, то используют два метода их получения:

1. Для получения правдоподобных дистракторов студентам предъявляются незаконченные списки вариантов выбора, с последующим использованием неправильных ответов;

2. Предъявление группе испытуемых заданий в открытой форме и последующим анализом типичных ошибок в дописанных ответах.

Тестовое задание считается «хорошо работающим», если знающие студенты выполняют его правильно, а незнающие выбирают любой из ответов с равной вероятностью.

Если тестирование производится с помощью бланков, то задания закрытой формы с одним правильным ответом сопровождаются инструкцией:

ОБВЕДИТЕ НОМЕР (БУКВУ) ПРАВИЛЬНОГО ОТВЕТА.

При компьютерной выдаче заданий может быть инструкция вида:

НАЖМИТЕ КЛАВИШУ С НОМЕРОМ (БУКВОЙ) ПРАВИЛЬНОГО ОТВЕТА

Предтестовые задания в закрытой форме с одним правильным ответом выполняют по следующим правилам:

в тексте задания не должно быть двусмысленности и неясности формулировок;

основная часть задания формулируется из одного предложения из семи- восьми слов (желательно);

задание имеет простую синтаксическую конструкцию, одним придаточным предложением (желательно);

основная часть должна содержать как можно больше слов, оставляя для ответа не более 2-3 ключевых слов для данной проблемы;

ответы к одному заданию должны быть одной длины, либо правильный ответ может быть короче других в пределах задания;

исключаются все вербальные ассоциации , способствующие выбору правильного ответа с помощью догадки;

частота выбора одного и того же номера для правильного ответа в различных заданиях текста должна быть одинакова, либо этот номер может быть случайным;

основная часть задания освобождается от всякого иррелевантного материала;

основная часть формулируется в форме утверждения, которая обращается в истинное или ложное высказывание после подстановки одного из вариантов ответа;

из числа тестовых исключаются задания, содержащие оценочные суждения и мнения студента по какому-либо вопросу.

дистракторы должны быть равно привлекательными для испытуемых, не знающих правильного ответа;

ни один из дистракторов не может быть частично правильным ответом, превращающихся при определенных дополнительных условиях в правильны ответ;

из ответов исключаются все повторяющиеся слова путем ввода их в основной текст задания;

из числа неправильных исключаются ответы, вытекающие один из другого;

ответ одного задания не должен служить ключом к правильным ответам другого задания, т.е. нельзя использовать дистракторы из одного задания в качестве правильных ответов другого;

все ответы должны быть параллельными по конструкции и грамматически согласованы с основной частью задания теста;

если в задании имеются альтернативные ответы, то не следует их ставить рядом с правильным, ибо на них будет сразу сосредоточено внимание.

Создать тест, удовлетворяющий всем этим правилам невозможно. Но принято считать, что если тест удовлетворяет 9-10 рекомендациям, то он – рабочий.

Задания открытой формы (задания на дополнение)

В заданиях на дополнение готовые ответы не даются. Их должен получить тестируемый. Эти задания встречаются двух видов:

1. С ограничениями, налагаемыми на ответы, возможности получения которых соответствующим образом определены по содержанию и по форме представления;

2. Со свободно конструируемыми ответами, в которых испытуемые должны составить развернутый ответ в виде решения задачи или эссе.

Задания второго вида не имеют никаких ограничений на содержание и форму представления ответов. Эти задания близки к традиционным контрольным заданиям, и поэтому положительно воспринимаются большинством преподавателей. Но они требуют больших затрат на проверку и сложнее поддаются компьютеризации.

При ответе на открытое задание с ограниченным ответом испытуемый дописывает пропущенное слово, формулу, символ или число на месте прочерка. Разработка заданий на дополнение с ограниченным ответом подчиняются следующим правилам:

1. каждое задание должно быть нацелено только на одно дополнение, место которого обозначено точками или прочерком;

2. Прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

4. Дополнения ставятся в конце задания или как можно ближе к концу;

5. После прочерка, при необходимости, указываются единицы измерения;

6. Текст задания должен иметь простую синтаксическую конструкцию и содержать минимальное количество информации, необходимое для правильного выполнения задания;

7. В тексте исключаются повторы и двойное отрицание.

Задания на установление соответствия

В заданиях на установление соответствия тестируемый должен показать знание связей между элементами двух множеств. Слева обычно приводятся элементы задающего множества, содержащие постановку проблемы, а справа – элементы, подлежащие выбору. Возможно иное расположение. К заданиям прилагается стандартная инструкция состоящая из двух слов:

УСТАНОВИТЕ СООТВЕТСТВИЕ

При разработке заданий на соответствие руководствуются следующими правилами:

2. Элементы задающего столбца располагаются слева, а элементы выбора – справа;

3. Желательно, чтобы каждый столбец имел определенное название, обобщающее все элементы столбца;

4. Необходимо, чтобы правый столбец содержал несколько дистракторов (лучше, когда их в 2 раза больше);

5. Необходимо, чтобы все дистракторы в одном задании были равновероятно правдоподобны;

6. Элементы столбцов должны быть выбраны по одному основанию для включения только гомогенного материала в каждое задание теста;

7. В дополнительной инструкции к заданию необходимо сообщить испытуемому о наличии дистракторов в правом столбце, и сколько раз используется каждый элемент правого столбца (один или более);

8. задание располагается на одной странице, без переноса его элементов на другую.

Основная трудность в разработке такого вида тестов связана с подбором правдоподобных избыточных элементов в правом множестве. Мера правдоподобности каждого избыточного элемента устанавливается эмпирически.

Задания на установление правильной последовательности

Задания четвертой формы предназначены для оценки уровня владения последовательностью действий, процессов и т.п., которые приводятся в случайном порядке. Испытуемый должен установить правильный порядок действий, процессов и указать его с помощью цифр (алгоритм сортировки). Инструкция к заданиям имеет вид:

Эти задания специфичны. Содержание многих дисциплин сложно трансформировать в задания этой формы.

Сравнительная характеристика форм предтестовых заданий.

Выбор форм предтестовых заданий определяется спецификой содержания учебной дисциплины, целями создания и применения теста.

Легко организовать компьютерный сбор и анализ результатов теста в том случае, когда все задания имеют закрытую форму. Результаты выполнения заданий на дополнение с ограниченным, а тем более с открытым ответом требуют ручной обработки. Потребуется и привлечение экспертов.

В каждом тесте можно использовать несколько форм, но желательно, чтобы их было в одном тесте как можно меньше. Этим отличаются профессиональные тесты. Требование единства формы очень важно при создании итоговых тестов. С другой стороны, требование моноформости не всегда выполнимо, поэтому часто приходится идти на совмещение форм, что негативно отражается на точности измерений.

Для облегчения проблемы выбора результаты сопоставительного анализа двух первых форм сведены в табл. 4.

Табл. 4.- Сопоставительный анализ предтестовых заданий

Технологические характеристики форм	задания закрытой формы	задания открытой формы
с ограничением ответа	со свободным ответом
Проверка фактологического материала			пригодны
Проверка умений применения знаний по образцу (репродуктивный уровень)
Проверка умений применения знаний в незнакомой ситуации (продуктивный уровень)
Простота в конструировании
Исключение эффекта угадывания
Объективность в оценке результата выполнения		зависит от качества задания	оценка субъективна
Исключение ошибок испытуемых при написании ответов			на оценку влияет фактор самовыражения
Возможность оригинального ответа

Пример тестового задания четвертой формы

УСТАНОВИТЕ ПРАВИЛЬНУЮ ПОСЛЕДОВАТЕЛЬНОСТЬ

Для создания системы тестового контроля в учебном заведении по месту работы необходимо:

создать банк тестовых заданий

разработать программно-инструментальные средства

провести с преподавателями своего учебного заведения занятия по методике конструирования тестов

выдать тесты учащимся для сбора эмпирических данных

доложить руководству о результатах обучения

сформировать коллектив преподавателей - разработчиков тестов

приступить к созданию тестов

интерпретировать результаты обработки

внимательно разобрать и осмыслить содержание прослушанных лекций по методике конструирования тестов.

ЛИТЕРАТУРА:

Аванесов B.C. Научные проблемы тестового контроля знаний. Учебное пособие. М., 1994. - 135 с.

Гуревич К.М. Методы тестирования в дидактических исследованиях. Методы педагогических исследований. М., 1979. С. 139 - 158.

Бернштейн М.С. К методике составления и проверки тестов. Вопросы психологии. 1968. N 1. С. 51-66.

Аванесов B.C. Основы научной организации педагогического контроля в высшей школе: Учебное пособие для слушателей Учебного центра. М., 1989. ≈ 107 с.

Психологическая диагностика: Учебное пособие. Научно-издательский центр Бийского пединститута, 1993. ≈ 324 с.

Энциклопедический словарь. Гл. ред. A.M. Прохоров. 3-е изд. М.: Советская энциклопедия, 1985. ≈ 1600 с.: ил.

Сосновский В.И., Тесленко В.И. Вопросы управления в обучении. Часть 1. (Педагогическое тестирование). Красноярск, 1995. ≈ 90 с.

Моделирование педагогических ситуаций: Проблемы повышения качества и эффективности общепедагогической подготовки учителя. Под ред. Ю.Н. Кулюткина, Г.С. Сухобской. М.: Педагогика, 1981. ≈ 120 с.: ил.

Майоров А.Н. Теория и практика создания тестов для системы образования. - М., "Интеллект центр", 2001. - 296 с.

Кузнецов А., Пугач В., другие. Тестовые задания. Информатика. Методическое пособие. М., Лаборатория Базовых знаний, 2002.