Ряд исследователей отмечает, что понятийный аппарат теории педагогических измерений еще полностью не сформирован. В частности не существует общепризнанного определения теста. Каждый исследователь отражает в определении теста свое видение проблемы педагогического тестирования.
Существует много определений ТЕСТА, довольно заметно отличающихся друг от друга. Приведем некоторые из них.
Согласно словарю ЕГЭ, ТЕСТ - это измерительная процедура, включающая инструкцию и набор заданий, прошедшая широкую апробацию и стандартизацию.
Рубинштейн С.Л. дал следующее определение: ТЕСТ - это испытание, которое ставит своей целью градуирование, определение рангового места личности в группе или коллективе, установление её уровня.
Это определение сформулировано только с точки зрения достижения цели, не оговаривая, как эта цель достигается, а главное, не определяет тест как измерительный инструмент.
К.Ингенкамп - ТЕСТИРОВАНИЕ - это метод педагогической диагностики, с помощью которого выборка поведения, репрезентирующая предпосылки или результаты учебного процесса, должна максимально отвечать принципам сопоставимости, объективности, надежности и валидности измерений, должна пройти обработку и интерпретацию и быть готовой к использованию в педагогической практике.
В определении К.Ингенкампа рассматривается метод, а не средство педагогической диагностики и никак не характеризуются задания теста.
А.Н.Майоров приводит следующее определение теста, разработанное в 1997-1998 гг. группой авторов при разработке понятийного аппарата тестологии:
ТЕСТ – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качества и свойств личности, изменение которых возможно в процессе систематического обучения.
В.С.Аванесов определяет ПЕДАГОГИЧЕСКИЙ ТЕСТ как систему параллельных заданий равномерно возрастающей трудности, специфической формы, позволяющую качественно и эффективно измерить уровень и оценить структуру подготовленности учащихся.
В одной из последних работ В.С.Аванесов (2005) несколько смягчил формулировку:
ПЕДАГОГИЧЕСКИЙ ТЕСТ определяется как система параллельных заданий возрастающей трудности, специфической формы, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых.
Сравнение обоих определений показывает, что произошло исключение требования равномерности возрастания трудности заданий. Обусловлено это тем, что обеспечить возрастание трудности заданий достаточно легко. Чтобы достичь этого составитель тестовых заданий ориентируется на различную сложность элементов предметной области. Для каждого элемента составляются задания и затем эмпирически проверяются, что действительно получены задания различной трудности. В самом тесте задания располагаются в порядке возрастания трудности.
Требование же равномерности возрастания трудности задания чрезвычайно сложно реализовать на практике. Хотя такой тест обеспечил бы линейную шкалу трудностей, что снизило бы ошибку измерения.
Исключение требования равномерности возрастания трудности задания заметно упрощает создание теста. Отметим, однако, что в этом случае, шкала трудностей получается нелинейной, с неравномерным покрытием заданного диапазона трудности заданий теста. Это, естественно, снижает точность педагогического теста как измерительного инструмента.
Определение Аванесова
Для лучшего понимания этого определения полезно дать краткое истолкование его основных терминов.
Система означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. Здесь, в первую очередь, надо выделить общую принадлежность заданий к одной и той же системе знаний, т.е. к одной учебной дисциплине, их связь и упорядоченность. Для итоговой аттестации выпускников школ нужно разрабатывать интегративные задания, содержание которых охватывает систему знаний.
Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, истинных или ложных, в зависимости от ответов. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них нередко настолько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энергии преподавателей. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому их лучше не включать в тест.
Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины; остальное в педагогический тест не включается ни под каким предлогом. Например, проверка уровня интеллектуального развития является предметом психологического тестирования. Содержание теста существует, сохраняется и передается в одной из четырех основных форм заданий. Вне тестовых форм ни тест, ни его содержание не существуют.
Теоретически оправданным критерием упорядочения содержания так называемого гомогенного теста является критерий трудности заданий. Внеучебное содержание (например, проверка уровня интеллектуального развития) в педагогический тест не включается. Это предмет психологического измерения.
Возрастающую трудность заданий можно образно сравнить с барьерами на беговой дорожке стадиона, где каждый последующий выше предыдущего. Пробежать дистанцию и успешно преодолеть все барьеры сможет только тот, кто лучше подготовлен. Поскольку в педагогическом тесте задания упорядочиваются по принципу возрастающей трудности, одни испытуемые "заваливаются" уже на самом легком, первом задании, другие - на последующих заданиях. Ученик среднего уровня подготовленности могут ответить правильно только на половину заданий теста и, наконец, только самые знающие в состоянии дать правильный ответ на задания самого высокого уровня трудности, расположенные в конце теста.
Трудность задания может определяться двояко: а) умозрительно, на основе предполагаемого числа и характера умственных операций, необходимых для успешного выполнения заданий, и б) после эмпирического опробывания заданий, с подсчетом доли неправильных ответов. В классической теории тестов многие годы рассматривались только эмпирические показатели трудности. В новых вариантах психологических и педагогических теорий тестов больше внимание стало уделяться характеру умственной деятельности учащихся в процессе выполнения тестовых заданий различных форм (1).
К этому можно добавить еще один критерий - это критерий логической определенности тестового задания. Его можно сформулировать следующими словами: задание является определенным, если на него можно ответить утвердительно или отрицательно, и если существует эффективный процесс для нахождения такого ответа.
Ответ на задание педагогического теста представляет собой краткое суждение, связанное по содержанию и по форме с содержанием задания. Каждому заданию ставятся в соответствие ответы правильные и неправильные. Критерии правильности заранее определяются авторами теста. Вероятность правильного ответа на любое задание зависит от соотношения уровня знаний испытуемого и уровня трудности задания. При наличии сопоставимых шкал, эту вероятность выражают значением от нуля до единицы. Оценка ответов по степени их правильности проводится довольно редко, но при необходимости создаются задания с такими ответами, которые правильны в различной степени. Инструкция для испытуемых в таких случаях может быть такой: "Обведите кружком номер (нажимайте на клавишу с номером) наиболее правильного ответа!"
Посредством тестирования чаще других признаков проверяются знания, умения, навыки и представления. С точки зрения педагогических измерений полезно ввести два основных показателя качества знаний - уровень и структура знаний. Они оценивается посредством регистрации оценок, как за знание, так и за незнание всех требуемых компонентов проверяемого материала. Для объективизации этого процесса все компоненты должны быть одинаковы. Одинаковыми являются и правила выставления оценок испытуемым. Эти условия открывают дорогу для объективного сравнения индивидуальных структур знания и не знания.
Уровень знаний выявляются при анализе ответов каждого ученика на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемых. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания. Например, в тесте из тридцати заданий ученик получил десять баллов. Эти баллы, скорее всего, получены за счет правильных ответов на первые десять, сравнительно легких заданий. Присущую для такого случая последовательность единиц, а затем нулей можно назвать правильным профилем знаний ученика.
Если тестовый балл ниже требуемого уровня (измеряемого критерия), то проявленные при этом знания, умения, навыки и представления указывают на докритериальный уровень подготовленности испытуемого.
В истории науки и искусств известно немало случаев, когда имевшийся в соответствующие времена критериальный уровень требований к знаниям (или мастерству) мешал общественному признанию отдельных талантов. Поэтому признание нередко приходило только по мере изменения критериев оценки. Чаще всего после смерти авторов многих бессмертных произведений в сфере науки, музыки, живописи и др. Яркий пример такого рода - изменение критериев оценки творчества Ван Гога, творчества многих художников-импрессионистов, формалистов и др. Известны и такие, например, факты. Будущий лауреат Нобелевской премии Альберт Эйнштейн летом 1895 года не смог сдать экзамены в Цюрихский политехникум, а всемирно известный пианист С. Рихтер дважды отчислялся из консерватории за общую неуспеваемость.
Структура знаний оценивается на основе последовательности правильных и неправильных ответов на задания возрастающей трудности. Формой представления индивидуальной структуры знания и незнания является профиль знаний испытуемого, представляемый последовательностью единиц и нулей, получаемых каждым студентом.
Профиль знаний представляет собой упорядоченный набор оценок (вектор-строку) в матрице тестовых результатов. Если испытуемый отвечает правильно на первые, сравнительно легкие задания, можно говорить о правильной структуре знаний. Профиль называется правильным, если в строке баллов у испытуемого все нули следуют за всеми единицами.
Если же обнаруживается противоположная картина, (испытуемый правильно отвечает на трудные задания и неправильно - на легкие), то это противоречит логике теста и потому такая структура знаний может быть названа инвертированной. Она встречается редко, и чаще всего, из-за нарушения требования располагать задания по мере возрастающей трудности. При условии, что тест сделан правильно, каждый профиль свидетельствует о структуре знаний.
Каждое учебное заведение должно стремиться, в первую очередь, к формированию правильных индивидуальных структур знаний, в которых не было бы пробелов (разрывов в знаниях), и на этой основе повышать уровень подготовки.
Человек не может хорошо учиться, если разрывы для него между известным и неизвестным слишком велики. Уровень знаний в значительной степени зависит от личных усилий и способностей учащихся. В то время как структура знаний зависит от правильной организации учебного процесса, от индивидуализации обучения, от мастерства педагога, от объективности контроля. В общем, от всего того, чего обычно у нас не хватает.
В результате анализа приведенных определений теста мы склоняемся к выводу, что приемлемым может оказаться следующее определение:
ПЕДАГОГИЧЕСКИЙ ТЕСТ - это система тестовых заданий различной трудности, которая позволяет качественно и эффективно измерить уровень и структуру подготовленности испытуемых.
Это достаточно лаконичное и полное определение основано на определении В.С.Аванесова с некоторыми изменениями. Рассмотрим эти отличия.
1. Вместо слова «задание» использован термин «тестовое задание». Это позволило исключить требование «специфической формы», поскольку оно содержится в понятии «задание в тестовой форме» и, следовательно, в понятии «тестовое задание».
2. Исключено требование «параллельности» заданий. Это требование введено В.С.Аванесовым для повышения «живучести» теста, с тем, чтобы обеспечить возможность многократного использования теста, за счет варьирования в нем параллельных заданий. С этой точки зрения это вполне обоснованное требование. Однако, если мы определяем тест как таковой, отвлекаясь от привлекательной для практики его применения свойства «непотопляемости», то требование параллельности можно исключить.
3. Требование «возрастающей трудности» заменено требованием «различной трудности». Дело в том, что если мы располагаем тестовыми заданиями различной, известной трудности, то, формируя тест, легко можем расположить их в любом порядке, в частности, в порядке возрастания трудности.
Некоторые авторы предлагают размещать задания в порядке уменьшения трудности, аргументируя это оптимальным распределением умственного напряжения тестируемых во времени. К концу тестирования, когда испытуемые утомлены, целесообразно предъявлять им более легкие задания.
Иногда предлагается дать возможность выбора задания самими испытуемыми, которые будут соизмерять свои возможности с теми усилиями, которые им понадобятся при прохождении теста. Это позволит им показать наилучший результат.
При компьютерном тестировании зачастую используется случайный порядок предъявления заданий, при этом сам тест формируется «на лету». Тестовые задания автоматически извлекаются из банка заданий в соответствии с той или иной процедурой, заданной разработчиком теста. Если порядок предъявления одинаков для всех испытуемых, то, находясь в одном компьютерном классе, за соседними компьютерами, они могли бы подглядывать за ответами других испытуемых. При случайном порядке предъявления заданий уменьшается вероятность подобного нарушения процедуры тестирования.
ГКОУ РО лицей-интернат «Педагогический» г. Таганрога
Методические материалы
учитель русского языка высшей категории
Десятерик Ю.Е.
учитель математики I категории
Марченко М.В.
Таганрог 2015
УДК 001.8
Печатается по решению Научно-методического совета
ГКОУ РО лицея-интерната «Педагогический» г. Таганрога
Редакционная коллегия:
директор ГКОУ РО лицея-интерната «Педагогический» г. Таганрога,
кандидат педагогических наук
Кочеткова О.А.
заместитель директора по учебной работе,
учитель физики высшей квалификационной категории
ГКОУ РО лицея-интерната «Педагогический» г. Таганрога
Карапетян А.В.
заместитель директора по воспитательной работе,
ГКОУ РО лицея-интерната «Педагогический» г. Таганрога
Меняйленко Ю.В.
заместитель директора по научно-методической работе,
учитель русского языка высшей квалификационной категории
ГКОУ РО лицея-интерната «Педагогический» г. Таганрога
Десятерик Ю.Е.
заместитель директора по научно-методической работе,
учитель математики I квалификационной категории
ГКОУ РО лицея-интерната «Педагогический» г. Таганрога
Марченко М.В.
Сборник методических материалов/ Десятерик Ю.Е., Марченко М.В. – Т., 2015. –28 с.
В сборник включены методические материалы на тему «Тесты в образовательном процессе», описана история появления тестов, разъяснена этимология понятия «тест», описаны виды тестов, разъяснены достоинства и недостатки тестирования, описана методика составления тестов.
Не для продажи.
УДК 001.8
Отпечатано с готового оригинал-макета.
п/п
Наименование раздела
Страница
Введение.
Что такое тест.
Из истории тестов.
Виды тестов.
Разработка теста.
Требования к тесту.
Уровень сложности теста.
Критерии оценки.
Список используемой литературы и интернет-ресурсов.
Примечание.
Введение.
Одним из важнейших компонентов образовательной деятельности является контроль. Педагогический контроль выполняет ряд функций в педагогическом процессе: оценочную, стимулирующую, развивающую, обучающую, диагностическую, воспитательную и др.
Контроль призван обеспечить внешнюю обратную связь (контроль педагога) и внутреннюю (самоконтроль ученика), также контроль направлен на получение информации, анализируя которую педагог вносит необходимые коррективы в течение учебного процесса.
Одна из его многочисленных и разнообразных форм – тестирование, о котором и будет идти речь в данном сборнике.
Тестирование в педагогике выполняет три основные взаимосвязанные функции: диагностическую, обучающую и воспитательную:
Диагностическая функция заключается в выявлении уровня знаний, умений, навыков обучающегося. Это основная, и самая очевидная функция тестирования. По объективности, широте и скорости диагностирования, тестирование превосходит все остальные формы педагогического контроля.
Обучающая функция тестирования состоит в мотивировании обучающегося к активизации работы по усвоению учебного материала. Для усиления обучающей функции тестирования, могут быть использованы дополнительные меры стимулирования, такие, как раздача преподавателем примерного перечня вопросов для самостоятельной подготовки, наличие в самом тесте наводящих вопросов и подсказок, совместный разбор результатов теста.
Воспитательная функция проявляется в периодичности и неизбежности тестового контроля. Это дисциплинирует, организует и направляет деятельность обучающихся, помогает выявить и устранить пробелы в знаниях, формирует стремление развить свои способности.
Существует много различных мнений как «за», так и «против» использования тестов в образовательном процессе. Одни рассматривают тесты как средство преобразования учебного процесса в сторону его технологизации, снижения трудоемкости и становятся энтузиастами этого метода. Другие видят в тестах средство принижения роли педагога, а результаты тестирования не достаточно достоверными. Однако, следует отметить, что именно тестирование постепенно становится основной формой сдачи выпускных (и не только) экзаменов. С 2009 года для всех выпускников школ основной формой итоговой государственной аттестации в школе Российской Федерации является Единый Государственный Экзамен. Таким образом, требуется обязательно вводить тестовые технологии в систему обучения. С их помощью в течение года можно оценить уровень усвоения материала обучающимися и формировать у них навык работы с тестовыми заданиями. Такие тренировки позволят обучающимся при сдаче ЕГЭ реально повысить свой балл. Во время таких тренировок развиваются соответствующие психотехнические навыки саморегулирования и самоконтроля. В связи с этим тестирование, как средство измерения и контроля знаний обучающихся, становится основой образовательного процесса в любой российской школе.
Каждый педагог сам для себя решает в какой степени использовать тот или иной метод контроля.
Что такое тест.
Объектом нашего исследования является тест. Что же это такое?
Сегодня этот термин встречается довольно часто и не только в образовании, но и в областях далеких от него.
Тестирование произошло от слова test - испытание, проверка. Тестирование применяется для определения соответствия предмета испытания заданным спецификациям, критериям. В задачи тестирования не входит определение причин несоответствия заданным требованиям. Тестирование является одним из разделов диагностики и применяется в технике, медицине, психиатрии, образовании для определения пригодности объекта тестирования для выполнения тех или иных функций. Качество тестирования и достоверность его результатов в значительной степени зависит от тестера.
Таким образом, можно определитьтест , как стандартизированные, краткие, ограниченные во времени испытания, предназначенные для установления количественных и качественных индивидуальных различий.
Однако, мы в данном пособии говорим о педагогическом тестировании. И для его определения подойдет больше следующее:
Педагогическое тестирование - это форма измерения знаний обучающихся, основанная на применении педагогических тестов. Включает в себя подготовку качественных тестов, собственно проведение тестирования и последующую обработку результатов, которая даёт оценку обученности тестируемых.
Тогда педагогический тест можно определить, как инструмент оценивания обученности обучающихся, состоящий из системы тестовых заданий, стандартизованной процедуры проведения, обработки и анализа результатов.
Другими словами можно определитьпедагогический тест как систему заданий возрастающей трудности, специфической формы, позволяющей качественно и эффективно измерить уровень и оценить структуру подготовленности обучающихся.
Для лучшего понимания этого определения дадим краткое истолкование его основных терминов.
Система означает, что в тесте собраны такие задания, которые обладают системообразующими свойствами. Здесь, в первую очередь, надо выделить общую принадлежность заданий к одной и той же системе знаний, т.е. к одной учебной дисциплине, одному разделу, теме и т.д., их связь и упорядоченность. Для государственной итоговой аттестации (ГИА) выпускников школ нужно разрабатывать интегрированные задания, содержание которых охватывает систему знаний. В педагогическом тесте задания располагаются по мере возрастания трудности - от самого легкого до самого трудного. Иначе говоря, главным формальным системообразующим признаком теста является различие заданий по степени их трудности.
Специфическая форма тестовых заданий отличается тем, что задания теста представляют собой не вопросы и не задачи, а задания, сформулированные в форме высказываний, истинных или ложных, в зависимости от ответов. Традиционные вопросы, напротив, истинными или ложными не бывают, а ответы на них нередко настолько неопределенны и многословны, что для выявления их правильности требуются заметные, в суммарном исчислении, затраты интеллектуальной энергии преподавателей. В этом смысле традиционные вопросы и ответы нетехнологичны, и потому их лучше не включать в тест.
Определенное содержание означает использование в тесте только такого контрольного материала, который соответствует содержанию учебной дисциплины; остальное в педагогический тест не включается ни под каким предлогом.
Возрастающую трудность заданий можно образно сравнить с барьерами на беговой дорожке стадиона, где каждый последующий выше предыдущего. Поскольку в педагогическом тесте задания упорядочиваются по принципу возрастающей трудности, одни испытуемые "заваливаются" уже на самом легком, первом задании, другие - на последующих заданиях. Ученик среднего уровня подготовленности могут ответить правильно только на половину заданий теста и, наконец, только самые знающие в состоянии дать правильный ответ на задания самого высокого уровня трудности, расположенные в конце теста.
Ответ на задание педагогического теста представляет собой краткое суждение, связанное по содержанию и по форме с содержанием задания. Каждому заданию ставятся в соответствие ответы правильные и неправильные. Критерии правильности заранее определяются авторами теста. Вероятность правильного ответа на любое задание зависит от соотношения уровня знаний испытуемого и уровня трудности задания.
Посредством тестирования чаще других признаков проверяются знания, умения, навыки и представления. С точки зрения педагогических измерений полезно ввести два основных показателя качества знаний - уровень и структура знаний. Они оценивается посредством регистрации оценок, как за знание, так и за незнание всех требуемых компонентов проверяемого материала. Для объективизации этого процесса все компоненты должны быть одинаковы. Одинаковыми являются и правила выставления оценок испытуемым. Эти условия открывают дорогу для объективного сравнения индивидуальных структур знания и не знания.
Уровень знаний выявляется при анализе ответов каждого ученика на все задания теста. Чем больше правильных ответов, тем выше индивидуальный тестовый балл испытуемого. Обычно этот тестовый балл ассоциируется с понятием "уровень знаний" и проходит процедуру уточнения на основе той или иной модели педагогического измерения. Один и тот же уровень знаний может быть получен за счет ответов на различные задания.
С началом активного развития компьютерных технологий в качестве инструмента анализа заданий очень эффективно использование компьютера. Сегодня компьютерные тесты являются одним из электронных средств обучения (ЭСО).
Итак, основными этапами оценки результативности обучения обучающихся с использованием ЭСО должны быть:
1. Четкое формулирование требований к знаниям, умениям и навыкам обучающихся. Требования формулируются до начала обучения и создания ЭСО, должны соответствовать содержанию и методам обучения;
2. Разработка контрольно-измерительных подсистем ЭСО для проведения тестирования обучающихся. Материалы разрабатываются в строгом соответствии с требованиями к знаниям, умениям и навыкам обучающихся. Для каждого задания указывается, какому требованию (требованиям) оно соответствует;
3. Разработка технологий тестирования обучающихся, определение роли ЭСО в измерении результативности обучения обучающихся;
4. Экспертная оценка качества контрольно-измерительных материалов. Проверка соответствия контрольно-измерительных материалов содержанию обучения и требованиям, предъявляемым к знаниям, умениям и навыкам обучающихся. Оценка полноты покрытия требований измерительными материалами;
5. Проведение измерений с использованием разработанного ЭСО. Оценка качества обучения может проводиться, как в рамках текущего учебного процесса, так и по его окончанию в конце учебного года. Измерение проводится преподавателем с использованием электронных средств обучения;
6. Определение итогов измерений, шкалирование результатов, приведение их к одной системе оценивания, сравнение результатов, формулирование выводов по качеству обучения обучающихся с использованием ЭСО.
Из истории тестов.
Сегодня тесты очень активно используются в образовательном процессе. А задумывались ли вы над тем когда же появился первый тест?
Еще в Древнем Египте, Греции, Китае проводились испытания различных способностей, знаний, умений и навыков. Эти испытания были связаны с определенными измерениями тех или иных качественных результатов человеческой деятельности. Их с полным правом можно считать предысторией тестов. По мере развития общественных отношений совершенствовались и количественные методы измерений, предъявлялись новые требования к проведению экзаменов и выставлению оценок. Однако всё вышеперечисленное нельзя назвать тестами в современном понимании этого термина.
П
ервым этапом
применения тестов в мировой практике можно считать период с 80-х гг. XIX в. по 20-е гг. XX в. Это период зарождения и становления тестирования. Теоретические основы тестирования были заложены в середине 80-х гг. XIX в. английским психологом и естествоиспытателем Ф. Гальтоном, который предположил, что с помощью тестов удастся разделить факторы наследственности и влияния среды в психике человека.
Важным вкладом Ф. Гальтона в развитие теории тестов было определение трех основных принципов, которые используются и по сей день:
1) применение серии одинаковых испытаний к большому количеству испытуемых;
2) статистическая обработка результатов;
3) выделение эталонов оценки.
Огромный вклад в развитие тестологии внес французский психолог Альфред Бине. Его можно считать родоначальником современных тестов, предназначенных для диагностики уровня развития интеллекта. Впоследствии им и парижским врачом Т. Симоном вводится понятие «умственный возраст» и соответствующая ему метрическая шкала (1908). Так, в первом десятилетии XX в. в практику внедряется известный тест Бине - Симона, основной задачей которого являлось выявление умственно отсталых детей с последующим их направлением в специальные школы.
Вторым этапом в развитии тестирования можно считать 20-60-е гг. прошлого столетия. Американец В.А. Макколл разделил тесты на педагогические (Educational Test) и психологические (Intelligence Test) Макколл обосновал цель использования педагогических тестов – объединение в группы обучающихся, усваивающих равный по объёму материал с одинаковой скоростью. Основной задачей педагогических тестов являлось измерение успешности обучающихся по тем или иным школьным дисциплинам за определенный период обучения, а также успешность применения определенных методов преподавания и организации.
Разработка первого педагогического теста принадлежит американскому психологу Эдуарду Ли Торндайку. Он считается основоположником педагогических измерений. Первым педагогическим тестом, вышедшим под его руководством, был тест Стоуна на решение арифметических задач. Именно в США тесты успешности для проверки знаний, навыков и умений обучающихся по отдельным предметам нашли особенно широкое распространение.
Первый тест по иностранному языку составил Б. Вуд в 1925 г. Его тесты использовались для проведения выпускных экзаменов в нью-йоркских школах и имели в своей структуре задания на выбор ответа по лексике, грамматике и чтению на французском и испанском языках. В 1929 г. американский психолог В. Хенмон изучил некоторые вопросы технологии составления тестовых заданий тестов успешности. Он разработал тесты для проверки знаний лексики, грамматики, фонетики; умений понимать прочитанное на уровне предложений и абзацев, умений перевода, аудирования, говорения, умения писать сочинения.
В России практическое значение тесты получили после 1925 г., когда была создана особая тестовая комиссия. Она существовала при педагогическом отделе Института методов школьной работы. В ее задачи входила разработка тестов для советской школы. И уже весной 1926 г. вышли такие тесты, созданные на основе американских. Были разработаны тесты по природоведению, обществоведению, счету, решению задач, на понимание чтения и проверку умения правописания. К этим тестам прилагались инструкции и личная карточка для учета прогресса учащегося.
Уже в те годы было доказано, что метод тестов позволяет не только охватить отдельные элементарные психические процессы, но может анализировать их совокупности. Кроме того, было замечено, что тестовый учет устраняет случайность, субъективность и приблизительность оценки работы с учащимися.
В 30-50-е гг. значительное внимание уделялось так называемым прогностическим тестам, назначению тестов в системе образования, видам тестов и их использованию в практической деятельности. Особую актуальность в это время приобретают вопросы, связанные с разработкой тестов педагогами-практиками.
Следующим этапом в развитии тестирования в России является период с начала 60-х гг. до конца 70-х гг. Реформы по преподаванию ряда предметов, развитие программированного обучения дали значительный толчок к дальнейшему совершенствованию тестов.
Наряду с этим широко начинает внедряться тестирование с помощью компьютеров, что стало возможным благодаря достижениям в области автоматики и кибернетики.
В 60-е гг. начинаются первые, после долгого перерыва, исследования отечественных ученых по использованию тестов психолого-педагогической направленности. В основном в этих разработках анализируется многолетний опыт тестирования, накопленный в зарубежных странах.
С начала 80-х гг. начался новый этап в развитии тестирования в России. Для данного периода характерен ряд особенностей. Прежде всего, важным направлением является интенсивное использование компьютеров как в процессе тестирования, так и при обработке полученных результатов.
В последние годы наблюдается активное внедрение тестов в образовательный процесс. И не смотря на недостатки, которые имеют место при использовании такой формы контроля и оценки знаний, тестирование занимает довольно прочную позицию.
Виды тестов.
Тесты можно классифицировать по различным признакам:
по целям - информационные, диагностические, обучающие, мотивационные, аттестационные;
по процедуре создания - стандартизованные, не стандартизованные;
по способу формирования заданий - детерминированные, стохастические, динамические;
по технологии проведения - бумажные, в том числе бумажные с использованием оптического распознавания, натурные, с использованием специальной аппаратуры, компьютерные;
по форме заданий - закрытого типа, открытого типа, установление соответствия, упорядочивание последовательности;
по наличию обратной связи - традиционные и адаптивные.
Поскольку пособие посвящено вопросам использования тестов в образовании, то дальше речь пойдет о тестах знаний.
Традиционные тесты
Традиционный тест обладает составом, целостностью и структурой, такой тест содержит список вопросов и различные варианты ответов. Каждый вопрос оценивается в определенное количество баллов. Результат традиционного теста зависит от количества вопросов, на которые был дан правильный ответ. По мнению, Аванесова В. С., традиционный тест - система заданий, предъявляемая в порядке увеличения сложности в одно и тоже время, с одинаковой системой оценивания для всех тестируемых.
Нетрадиционные тесты
К нетрадиционным тестам можно отнести тесты интегративные, адаптивные, многоступенчатые и так называемые критериально-ориентированные тесты.
1. Интегративные тесты
Интегративным можно назвать тест, состоящий из системы заданий, нацеленных на обобщенную итоговую диагностику подготовленности выпускника образовательного учреждения. Диагностика проводится посредством предъявления таких заданий, правильные ответы на которые требуют интегрированных (обобщенных, явно взаимосвязанных) знаний двух и большего числа учебных дисциплин.
2. Адаптивные тесты
Адаптивный тест представляет собой вариант автоматизированной системы тестирования, в которой заранее известны параметры трудности и дифференцирующей способности каждого задания. Это особый вид теста, в котором каждое последующее задание выбирается в зависимости от ответов на предыдущие задания. Последовательность заданий и их количество в таком виде теста определяется динамически. Эта система создана в виде компьютерного банка заданий, упорядоченных в соответствии с интересующими характеристиками заданий. Самая главная характеристика заданий адаптивного теста - это уровень их трудности, полученный опытным путем, что означает: прежде чем попасть в банк, каждое задание проходит эмпирическую апробацию на достаточно большом числе типичных обучающихся интересующего контингента.
Самыми значимыми преимуществами компьютерного адаптивного тестирования перед традиционным являются:
возможность адаптации под уровень знаний тестируемого (не придется отвечать на слишком сложные или слишком простые вопросы);
экономия времени и сил за счет сокращения количества заданий (длина теста может быть уменьшена до 60 %) без потери уровня достоверности.
Виды тестовых заданий
Рассмотрим наиболее популярную классификацию тестовых заданий. В рамках данной классификации тестовые задания можно разделить на две группы:
тестовые задания закрытого типа (каждый вопрос сопровождается готовыми вариантами ответов, из которых необходимо выбрать один или несколько правильных);
тестовые задания открытого типа (на каждый вопрос испытуемый должен предложить свой ответ: дописать слово, словосочетание, предложение, знак, формулу и т.д.).
Выбор типа и вида тестового задания определяется, прежде всего, целями, в соответствии с которыми проводится тестирование, характером материала, усвоение которого необходимо выявить, возрастными особенностями испытуемых. Немаловажное значение играет финансовое, кадровое и ресурсное обеспечение, а также запас времени, которым располагает разработчик.
Задания закрытого типа
Задания открытого типа
Множественный выбор
Свободное изложение
Альтернативный выбор
Дополнение
Установление соответствия
Установление последовательности
Множественный выбор - испытуемому необходимо выбрать один или несколько правильных ответов из приведенного списка.
Альтернативный выбор - испытуемый должен ответить «да» или «нет».
Установление соответствия - испытуемому предлагается установить соответствие элементов двух списков.
Установление последовательности - испытуемый должен расположить элементы списка в определенной последовательности.
Свободное изложение - испытуемый должен самостоятельно сформулировать ответ; никакие ограничения на них в задании не накладываются.
Дополнение - испытуемый должен сформулировать ответы с учетом предусмотренных в задании ограничений (например, дополнить предложение).
Преимущества и недостатки тестирования.
По сравнению с другими формами контроля знаний тестирование имеет свои преимущества и недостатки.
Преимущества:
Тестирование является более качественным и объективным способом оценивания, его объективность достигается путем стандартизации процедуры проведения, проверки показателей качества заданий и тестов целиком.
Тестирование - более справедливый метод, оно ставит всех обучающихся в равные условия, как в процессе контроля, так и в процессе оценки, практически исключая субъективизм преподавателя. По данным английской ассоциации NEAB, занимающейся итоговой аттестацией обучающихся Великобритании, тестирование позволяет снизить количество апелляций более чем в три раза, сделать процедуру оценивания одинаковой для всех обучающихся вне зависимости от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.
Тесты это более объёмный инструмент, поскольку тестирование может включать в себя задания по всем темам курса, в то время как на устный экзамен обычно выносится 2-4 темы, а на письменный - 3-5. Это позволяет выявить знания обучающегося по всему курсу, исключив элемент случайности при вытаскивании билета. При помощи тестирования можно установить уровень знаний обучающегося по предмету в целом и по отдельным его разделам.
Тест это более точный инструмент, так, например, шкала оценивания теста из 20 вопросов, состоит из 20 делений, в то время, как обычная шкала оценки знаний - только из четырёх.
Тестирование более эффективно с экономической точки зрения. Основные затраты при тестировании приходятся на разработку качественного инструментария, то есть имеют разовый характер. Затраты же на проведение теста значительно ниже, чем при письменном или устном контроле. Проведение тестирования и контроль результатов в группе из 30 человек занимает полтора два часа, устный или письменный экзамен - не менее четырёх часов.
Тестирование - это более мягкий инструмент, они ставят всех обучающихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.
Недостатки:
Разработка качественного тестового инструментария - длительный, трудоемкий и дорогостоящий процесс.
Данные, получаемые преподавателем в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов.
Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.
Широта охвата тем в тестировании имеет и обратную сторону. Обучающийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.
Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений.
В тестировании присутствует элемент случайности. Например, обучающийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.
Приведенные выше недостатки говорят о том, что абсолютизировать возможности тестовой формы измерения и контроля знаний не следует. Не все необходимые характеристики усвоения знаний и умений можно получить средствами тестирования. Например, такие показатели, как умение конкретизировать свой ответ примерами, знание фактов, умение связно, логически и доказательно выражать свои мысли, некоторые другие характеристики знаний, умений, навыков, диагностировать тестированием невозможно. Это значит, что тестирование должно обязательно сочетаться с другими формами и методами проверки и контроля знаний обучающихся.
Но несмотря на указанные минусы тестирования как метода педагогического контроля, его положительные качества во многом говорят о целесообразности использования такой технологии в учебном процессе.
Разработка теста.
Тестовые задания могут составляться с использованием разнообразных компьютерных инструментов, начиная от различных редакторов и программ для разработки презентаций и до использования языков программирования и возможностей сети Интернет.
Выделяют пять этапов разработки тестов :
Первым этапом является определение цели и задач разработки теста.
Вторым этапом является разработка заданий в тестовой форме. На втором этапе требуется подготовка в области преподаваемого предмета, знание тестовых форм, владение логикой и умение трансформировать фрагменты содержания учебной дисциплины в содержание заданий.
На третьем этапе разрабатываются тестовые задания. Для успешной деятельности на третьем этапе от разработчиков потребуется, дополнительно, некоторая подготовка в области применения статистических методов, обработки и интерпретации данных.
На четвёртом этапе отбираются задания и создают тесты, повышают качество и эффективность теста. Наличие достаточного числа тестовых заданий позволяет перейти к разработке теста как системы, обладающей целостностью, составом и структурой.
На пятом этапе уточняется содержание интересующей переменной, определяется шкала измерения, применяется компьютерная программа для определения и уточнения значений трудности тестовых заданий и уровня подготовленности испытуемых.
Разработка качественного тестового инструментария, как уже говорилось выше, - длительный, трудоемкий и дорогостоящий процесс. В его ходе необходимо учитывать некоторые моменты:
Содержание теста.
При создании теста первым делом следует определить его назначение. Если решено разрабатывать собственную методику, то нужно четко знать, для чего нужен тест и чем вас не устраивают существующие аналоги.
При разработке заданий следует руководствоваться некоторыми
Формулируйте каждое задание или вопрос на обычном и ясном (однозначность терминов) языке, понятном испытуемым.
При составлении вопросов следует особенно внимательно использовать слова "иногда", "часто", "всегда", "все", "никогда".
Вопрос должен быть четко сформулирован, избегая слова большой, небольшой, малый, много, мало, меньше, больше и т.д.
Избегайте вводных фраз и предложений, имеющих мало связи с основной мыслью, не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает.
Помните, что при увеличении количества содержащихся в тесте заданий повышается его надежность.
Тест должен включать по возможности задания различных типов и видов, так как это повышается его достоверность.
Построение ответов по принципу "да" - "нет" снижает надежность тестов.
Не включайте в текст теста прямые цитаты из книг.
Не используйте в тесте задания-ловушки, провокационные вопросы.
В тесте не должно быть задач, дающих ответы на другие вопросы.
Избегайте вопросов, ответить на которые можно на основе общей эрудиции без специальных знаний, полученных при изучении данной дисциплины.
Используйте диаграммы, таблицы, рисунки, схемы, блок-схемы и другие поясняющие задания.
Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.
Все варианты ответов должны быть грамматически согласованы с основной частью задания, используйте короткие, простые предложения, без зависимых или независимых оборотов.
Реже используйте отрицание в основной части, избегайте двойных отрицаний, таких как: "Почему нельзя не делать…?"
Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.
Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Применяйте правдоподобные ошибочные варианты, взятые из опыта.
Если ставится вопрос количественного характера, ответы располагайте по возрастанию, если ответы представлены в виде слов текста, располагайте их в алфавитном порядке.
Лучше не использовать варианты ответов "ни один из перечисленных" и "все перечисленные".
Избегайте повторения.
Используйте ограничения в самом вопросе.
Не упрощайте вопросы.
Место правильного ответа должно быть определено так, чтобы оно не повторялось от вопроса к вопросу, не было закономерностей, а давалось в случайном порядке.
Лучше использовать длинный вопрос и короткий ответ.
Проанализируйте задания с точки зрения неверного ответа наиболее подготовленных учеников.
Национальные системы ряда стран ставят специфические требования к тестовым заданиям, на которые у нас пока обращается недостаточно внимания. В качестве примера приведем требование инструкции по составлению тестов, предоставленной NEAB (Northen Examinationes and Assesment Board): "Необходимо избегать вопросов, которые в каком-либо виде дают превосходство тестируемому определенного пола".
Содержание теста можно определить, как оптимальное отображение содержания образования в системе тестовых заданий. Содержание школьного образования определяется как система знаний и опыта человечества, усвоение которой необходимо для последующего приобретения профессионального образования и для повышения качества жизни. Содержание образования задается различными образовательными программами, выбор которых осуществляется учащимися на добровольной основе. В хорошо отлаженной системе образования система тестовых заданий должна была бы, в принципе, проверять все знания, которые предлагаются обучающимся в процессе обучения. Но в силу множества причин объем проверяемых знаний всегда оказывается меньше объема знаний, предлагаемых на уроках. Проверяемые знания - это та часть содержания учебной дисциплины, усвоение которой учащимися подлежит обязательному контролю в отдельно взятом образовательном учреждении.
Некоторые элементы проверяемых знаний (преимущественно по отдельным темам) используются только в текущем контроле. Другие элементы, охватывающие знания нескольких тем, используются в рубежном контроле, например, в конце учебной четверти. И, наконец, в итоговом контроле используются задания, правильные ответы на которые требуют знания многих, а и иногда и всех тем, изученных в течение учебного года.
В инструкции по составлению тестов NEAB (Northen Examinationes and Assesment Board) записано: «При имеющемся предмете тестирования разработчик обязан убедиться, что весь предмет охвачен предлагаемыми вопросами. Содержание предмета должно полностью покрываться матрицей по всем темам. Если же имеет место тестирование по отдельным предметам, то и в этом случае необходимо, чтобы вся тема была охвачена вопросами теста. В случае, если вопрос или часть вопроса не соответствует теме, или, не полностью ясен в рамках данной темы, от вопроса следует воздержаться».
Требования к тесту .
Хорошо составленный тест должен соответствовать определенным требованиям.
Валидность - это соответствие содержания теста результатам обучения, которые зафиксированы в программе. Она отражает, что именно должен измерить тест и насколько хорошо он это делает; показывает, в какой мере тест измеряет то качество, для оценки которого он предназначен. Показатель валидности отвечает на вопрос: “А то ли, что сформулировано в назначении контрольного задания, измеряется с его помощью?” Валидность разработанного теста проверяется на основе сравнения результатов его использования с результатами проверки уровня обученности протестированных обучающихся другими методами (устный опрос, самостоятельная или контрольная работа), сопоставление этих результатов с текущей успеваемостью обучающихся.
Определенность теста означает, что при его чтении испытуемый хорошо понимает, какие задания и в каком объеме он должен выполнить, чтобы полученный результат соответствовал поставленной задаче.
Стандартизированность – единая процедура проведения тестирования и подведение его итогов.
Надежность теста – это его способность с достаточной одинаковостью характеризовать исследуемый в дидактических экспериментах показатель, как задания в целом, так и его частей, то есть в какой мере его повторение приведет к тем же результатам. Повышению надежности теста способствует его простота, строгое соблюдение условий тестирования, исключение возможности влияния посторонних факторов (подсказки, списывания и т.п.)
Прогностическая ценность теста означает, что тест должен быть таким, чтобы результаты обследования могли быть использованы в последующей деятельности, например, при повторении плохо усвоенного материала.
Простота – формулировка заданий и ответы должны быть четкими и краткими. Показателями простоты является скорость выполнения задания.
Одним из сложных и важных моментов подготовки тестовых заданий является правильная их формулировка:
По возможности, задание не должно содержать в себе вопрос, а ответ должен являться как бы продолжением задания.
Формулировка задания должна исчерпывающим образом разъяснять поставленную перед испытуемым задачу, причем язык и термины, обозначения, графические изображения и иллюстрации задания и ответов к нему должны быть безусловно и однозначно понятными обучающимся.
Формулировка всех ответов должна соответствовать формулировке вопроса. Не должно быть ответов, которые сразу заметны как невероятные.
Желательно, чтобы все задания теста были одного типа, например выбор одного ответа из пяти. Если все же использовать задания разного типа, то их необходимо очень четко разделять в тестирующей программе, выделяя например разным цветом.
Длина задания теста по возможности не должна превышать десяти слов. Длинный текст задания будет сложнее восприниматься как единое целое.
То же касается и длины ответов к заданиям.
Количество вариантов ответов должно быть оптимальным.
Электронное представление теста позволит сэкономить время при проведении и подведении итогов теста.
Уровень сложности теста .
Если педагогический тест определить кратко как систему заданий возрастающей трудности, то станет понятно, что трудность заданий является важнейшим, скажем так, тест образующим показателем. Из этого требования становится понятной обязательность предварительной эмпирической проверки каждого задания, до начала тестирования. В процессе проверки многие задания (обычно больше половины) не выдерживают предъявляемых к ним требований и потому не включаются в тест. Первое требование к тестовым заданиям: в тесте задания должны различаться по уровню трудности, что вытекает из данного ранее определения теста и рассматриваемого принципа.
Показатель трудности теста и тестовых заданий является содержательным и формальным одновременно. Содержательным показателем, потому что в хорошем тесте трудность может зависеть только от содержания и от уровня подготовленности самих испытуемых, в то время как в плохом тесте на результаты начинают заметно влиять форма заданий (особенно если она не адекватна содержанию), плохая организация тестирования, если имеются возможности списывания, утечки информации.
Формальная составляющая сторона показателя трудности возникает при рассмотрении тестирования как процесса противоборства каждого испытуемого с каждым предлагаемым ему заданием. Получаемый при этом исход полезно рассматривать как результат такого противоборства. При упрощенном истолковании каждого случая противоборства испытуемого с очередным заданием обычно рассматриваются только два исхода: победа испытуемого при правильном решении задания, где он получает один балл, или поражение, за что даётся ноль баллов. Оценка результата противоборства зависит от соотношения уровня знания тестируемого к уровню трудности задания, от избранной единицы измерения знаний и от заранее принятого правила (конвенции) - что считать "победой" испытуемого и допустима ли ничья, если говорить языком спорта.
Принцип возрастающей трудности используется при изложении содержания многих учебников и пособий, особенно по тем учебным дисциплинам, которые построены по кумулятивному принципу, что означает: знание последующих элементов курса в явном виде зависит от знания предыдущих учебных элементов. Такое построение присуще учебникам по математике, логике, иностранным языкам, статистике, техническим и многим другим наукам. В них ранее изученные понятия активно используются в последующих темах. Поэтому изучать такие дисциплины нужно только с самого начала, и без пробелов.
Часто степень трудности учебного задания не совпадает с его сложностью. Степень сложности учебного материала характеризуется реальной (объективной) насыщенностью учебного задания и формой его изложения, а степень трудности всегда предполагает соотнесение подлежащего усвоению учебного материала с ранее усвоенным учебным материалом и интеллектуальными возможностями обучающихся.
Трудность учебной задачи часто объясняется тем, что учащиеся часто не знают тех операций, которые надо производить, чтобы найти решение. Если систему операций для решения некоторого класса задач назвать методом решения, то, по его мнению, трудность связана с незнанием метода, с незнанием, как нужно думать в процессе решения, как и в какой последовательности надо действовать с условиями задачи. Возникающие затруднения объясняются тем, что педагог часто старается дать знания о содержании изучаемого и значительно меньше заботится о том, как надо думать, рассуждать. Подобное истолкование пересекается с идеей о связи сложности задания с числом операций, которые необходимо совершить для достижения успеха. Эти определения трудности и сложности являются, по большей части, психологическими; они полезны при психологическом анализе содержания тестовых заданий.
Содержание теста не может быть только легким, средним или трудным. Здесь в полной мере проявляется известная мысль о зависимости результатов применяемого метода. Легкие задания теста создают только видимость наличия знаний у обучающихся, потому что ими проверяются минимальные знания. В этой связи можно заметить, что ориентация федерального органа управления образованием на проверку минимального уровня знаний не дает, и не может, даже по определению, дать представление о реальном уровне знаний, т.е. дать ту информацию, которая давно уже нужна обществу и органам управления. Искажает результаты тестирования и подбор заведомо трудных заданий, в результате чего у большинства обучающихся оказываются заниженные баллы. Ориентация на трудные задания нередко рассматривается как средство усиления мотивации к учебе. Однако это средство действует неоднозначно. Одних трудные задания могут подтолкнуть к учебе, других - оттолкнуть от нее. Подобная ориентация искажает результаты и в итоге, снижает качество педагогического измерения.
При определении теста уже отмечалось, что все задания теста, хотелось бы подчеркнуть, независимо от содержания тем, разделов и от учебных дисциплин, располагаются в порядке возрастающей трудности. Распространенная, до недавнего времени, рекомендация включать в тест больше заданий средней трудности, оправдана с точки зрения определения надежности измерения по формулам т.н. классической теории тестов. Существующие в этой теории методы оценки надежности теста дают снижение надежности при включении в тест легких и трудных заданий. В то же время увлечение заданиями одной только средней трудности приводит к серьезной деформации содержания теста: последний теряет способность нормально отображать содержание изучаемой дисциплины, в которой всегда есть легкий и трудный материал. Таким образом, в погоне за теоретически высокой надежностью теряется содержательная валидность тестовых результатов. Стремление же поднять валидность результатов теста нередко сопровождается снижением их точности.
Оптимальное отображение содержания учебного материала в тестовые задания требуемого уровня трудности предполагает возможность выбора подходящей формы.
3. задания на установление соответствия;
4. задания на установление правильной последовательности действий.
Критерии оценки.
Методика перевода тестовой оценки в традиционную пятибалльную систему может быть разной. Приведем несколько примеров:
Допустим, тест состоит из 20 заданий, каждое имеет 4 варианта ответа, среди которых только один правильный. Вычислим вероятность угадывания: она равна ¼, т.е. из 20 предложенных заданий обучающийся может случайно угадать 5. Если оставшиеся задания распределить на три равные части, соответствующие положительным оценкам «3», «4» и «5», то мы получим распределительную таблицу:
2 балла – от 5 до 8 правильных ответов
(где 5 может быть просто угадано!)
3 балла – от 9 до 10 правильных ответов;
4 балла – от 11 до 15 правильных ответов;
5 баллов – от 16 до 20 правильных ответов.
Критерии оценок в процентном отношении:
«5»: 80 – 100 % от общего числа баллов
«4»: 70 – 75 %
«3»: 50 – 65 %
«2»: менее 50 %
Критерии оценки тестовых заданий с помощью коэффициента усвоения К:
К = А/Р, где А – число правильных ответов в тесте, Р – общее число ответов
Коэффициент К
Оценка
0,9 – 1,0
«5»
0,8 – 0,89
«4»
0,7 – 0,79
«3»
Меньше 0,7
«2»
Способы создания электронного теста.
Когда составлены вопросы для некоторого теста, то необходима программа, которая позволит провести компьютерное тестирование. Например, возможны варианты:
Программа MyTest .
Все права на программу MyTest принадлежат её автору – Башлаков Александр Сергеевич (г. Унеча, Брянской области). Программа распространяется бесплатно, разрешается бесплатное использование программы для всех образовательных учреждений, учителей и обучающихся. Тесты, созданные в данной программе, можно распространять на любых условиях. Программа MyTest распространяется «так как есть». При этом не предусматривается никаких гарантий, явных или подразумеваемых. Программа используется на свой собственный риск. Автор не гарантирует, что она не содержит ошибок, а также не несет никакой ответственности за прямые или косвенные убытки применения или не применения программы, в том числе возникшие из-за возможных ошибок или опечаток в её комплекте. Запрещается вносить какие-либо изменения в код программы.
Генератор тестов .
Тест создается в формате HTML. Можно самостоятельно задавать количество вопросов, вариантов ответов. Учитывается и сложность вопросов. Очень удобный и простой способ создания теста. Однако, предложенные варианты позволяют создавать тесты лишь стандартных типов, но иногда требуется или просто возникает желание провести тестирование в иной, нестандартной форме.
Создание тестов с использованием FPSproject .
FPSproject - это комплекс программ (модулей: Creator, Server, Client, Journal), созданный для упрощения и усовершенствования процесса тестирования.
Принцип работы комплекса заключается в следующем: с помощью модуля Creator создаются задания, затем составляются тесты на основе этих заданий, затем с помощью модуля Server запускается тест и тестируемые проходят этот тест с помощью модуля Client.
Отличительные (от других программ по созданию и проведению тестов) особенности:
Задания могут быть представлены как в виде стандартных (множественный выбор, соответствие и т.д.), так и иметь вид необходимый в данной ситуации. Так как модуль Creator имеет достаточно гибкий редактор заданий.
Количество вариантов задания практически не ограничено.
В одном тесте могут быть задания с различным количеством вариантов.
Расписание тестов упрощает процесс проведения тестирования.
Возможность проводить тесты как вручную, так и по расписанию.
В один день у одного класса можно запланировать более одного тестирования.
Составление компьютерных тестов средствами Excel . Программа Excel позволяет создавать тесты со свободным ответом (когда обучающемуся не дается варианта ответа) и с выборочным ответом (когда обучающемуся предлагаются варианты ответов, из которых он выбирает правильный).
Аванесов В. С. Композиция тестовых заданий. - М., Центр тестирования, 2002.
Аванесов, В. Определение педагогического теста. // Управление школой. – 1999. № 29
Батешов Е. А. «Основы технологизации компьютерного тестирования»: Учебное пособие. - Астана: ТОО «Полиграф-мир», 2011. - 241 с.
Беспалько, В.П. Слагаемые педагогической технологии. – М.: Педагогика, 1989. – 190 с.
Зорин С. Ф. Разработка автоматизированной системы контроля знаний студентов по дисциплине «Экономика предприятия». МГВМИ, 2007.
Кабанова Т. А., Новиков В. А. Тестирование в современном образовании. Уч. Пособие. - М.: Высшая школа, 2010.
Казиев В. М. Введение в практическое тестирование. - М.: Интуит.ру, Бином. Лаборатория Знаний, 2008.
Майоров А. Н. Теория и практика создания тестов для системы образования: Как выбирать, создавать и использовать тесты для целей образования. М: Интеллект-Центр, 2002.
Михайлычев Е.А. Технология стандартизации дидактических тестов. // Школьные технологии. – 2001. № 5. – С. 36 – 54
Морев И. А. Образовательные информационные технологии. Часть 2.Педагогические измерения: Учебное пособие. - Владивосток: Изд-во Дальневосточного университета, 2004.
Нейман Ю. М., Хлебников В. А. Педагогическое тестирование как измерение. Ч.1. - М.: Центр тестирования МО РФ, 2002.
Рапопорт И. А., Сельг Р., Соттер И. Тесты в обучении иностранным языкам: итоги двадцатилетнего эксперимента // Иностранные языки в школе. - 1989. - № 6.
Челышкова М. Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. - М.: Логос, 2002.
Примечание.
Методические материалы
«Тесты в образовательном процессе»
Методические материалы «Тесты в образовательном процессе»: Сборник методических материалов/ Десятерик Ю.Е., Марченко М.В. – Т., 2015. – 28 с.
Сборник методических материалов
Стилистическая правка – Десятерик Ю.Е.
Компьютерная верстка – Марченко М.В.
Сайт ГКОУ РО лицея-интерната «Педагогический» г. Таганрога
Отпечатано в ГКОУ РО лицее-интернате «Педагогический» г. Таганрога
Тестирование как метод педагогического контроля
Борисова Н.А., учитель русского языка и литературы
КГУ «Мироновская средняя школа», Тайыншинский район, СКО
1. Традиционные формы педагогического контроля
Методы обучения в их традиционных вариантах подразделяют на методы преподавания, методы учения и методы контроля.
Педагогический контроль выполняет целый ряд функций в педагогическом процессе:
оценочную,
стимулирующую,
развивающую,
обучающую,
диагностическую,
воспитательную и др.
Процесс контроля - это одна из наиболее трудоемких и ответственных операций в обучении, связанная с острыми психологическими ситуациями как для учащихся, так и для преподавателя. С другой стороны его правильная постановка способствует улучшению качества подготовки учащихся.
В сложившемся педагогическом процессе различают несколько видов контроля: предварительный, текущий, тематический, рубежный, итоговый и выпускной.
Систему контроля образуют экзамены и зачеты, устный опрос, контрольные работы, коллоквиумы, рефераты, семинары, лабораторные работы, отчеты. Выбор форм контроля зависит от цели, содержания, методов, времени и места.
Перечисленные методы диагностирования успеваемости учащихся имеют определенные недостатки. Рассмотрим некоторые из них. Могут возникать трудности, связанные с особенностями учительской работы:
довольно часто проявляется несовпадение требований разных преподавателей, отличия в их уровне строгости при оценке одного и того же ответа;
различие в профессиональной квалификации;
при организации текущих проверок знаний большого числа учащихся, когда оценивание проводится, главным образом, лишь по формальным критериям, наблюдается загруженность преподавателя рутинной мало творческой работой, связанной с большим объемом информации, которую требуется подготовить, обработать и проанализировать за относительно короткий промежуток времени;
возможная небеспристрастность преподавателя (по психологическим и иным причинам) к оценке ответов некоторых учащихся;
иногда оценки, выставляемые учащимся, оказываются недостоверными из-за
опасения преподавателя, что они будут использованы для оценивания работы
самого преподавателя.
Трудности, связанные со спецификой традиционной формы проверки знаний. Такие, как отсутствие четко сформулированных стандартов знаний и конкретно очерченных объемов умений, достаточных для каждой положительной оценки (часто учитель мучается с вопросом: "Какую оценку поставить - "неуд" или все же можно оценить как "удовлетворительно"?").
Трудности, связанные с учащимися: использование шпаргалок, списывание, "взаимопомощь" на экзамене, что искажает достоверность оценки знаний учащихся и мешает преподавателю объективно взглянуть на качество своей педагогической работы.
На современном этапе при оценке знаний учащихся перечисленные проблемы в большей степени решаются использованием такой формы контроля, как тестирование.
2. Тестирование как метод педагогического контроля
Для диагностики успешности обучения разрабатываются специальные методы, которые разными авторами называются тестами учебных достижений, тестами успешности, дидактическими тестами и даже тестами учителя (под последними могут также подразумеваться тесты, предназначенные для диагностики профессиональных качеств педагогов). Как утверждает А.Анастази, по численности этот тип тестов занимает первое место.
В литературе встречается следующее определение тестов достижений. Тесты - это достаточно краткие, стандартизированные или не стандартизированные пробы, испытания, позволяющие за сравнительно короткие промежутки времени оценить преподавателями и учащимися результативность познавательной деятельности учащихся, т.е. оценить степень и качество достижения каждым учащимся целей обучения (целей изучения).
Тесты достижений предназначены для того, чтобы оценить успешность овладения конкретными знаниями и даже отдельными разделами учебных дисциплин, и являются более объективным показателем обученности, чем обычная оценка.
Тесты достижений отличаются от собственно психологических тестов (способностей, интеллекта). Их отличие от тестов способностей состоит, во-первых, в том, что с их помощью изучают успешность овладения конкретным, ограниченным определенными рамками, учебным материалом. На формирование способностей (например, пространственных) влияние обучения также сказывается, но оно не является единственным фактором, определяющим уровень их развития.
Во-вторых, различие между тестами определяются целями их применения. Тесты достижений применяются для оценки успешности овладения конкретными знаниями с целью определения эффективности программ, учебников и методов обучения, особенностей работы отдельных учителей, педагогических коллективов и т.д., т.е. с помощью этих тестов диагностируют прошлый опыт, результат усвоения тех или иных дисциплин или их разделов.
Вместе с тем нельзя отрицать, что тесты достижений также могут в определенной степени предсказывать темпы продвижения учащегося в той или иной дисциплине, поскольку имеющийся на момент тестирования высокий или невысокий уровень овладения знаниями не может не отразиться на дальнейшем процессе обучения.
Для того чтобы правильно ответить на вопросы, входящие в тест достижений, необходимы знания конкретных фактов, дат и др. Старательный учащийся, обладающий хорошей памятью, без труда может найти правильные ответы в заданиях теста достижений.
Наряду с тестами достижений, предназначенными для оценки усвоения знаний по конкретным дисциплинам или их циклам, разрабатываются и более широко ориентированные тесты. Это, например, тесты на оценку отдельных навыков. Еще более широко ориентированными являются тесты для изучения умений, которые могут пригодиться при овладении рядом дисциплин, например, навыки работы с учебником, таблицами, энциклопедиями и словарями.
Существуют также тесты, направленные на оценку влияния обучения на формирование логического мышления, способности рассуждать, строить выводы на основе анализа определенного круга данных и т.д. Эти тесты в наибольшей степени приближаются по своему содержанию к тестам интеллекта и высоко коррелируют с последними. Поскольку тесты достижений предназначены для оценки эффективности обучения по конкретным предметам, то обязательным участником формулирования отдельных заданий должен стать учитель.
Отдельные тесты достижений можно объединять в тестовые батареи, что позволяет получать профили показателей успешности обучения. Обычно тестовые батареи предназначаются для разных образовательно-возрастных уровней и не всегда дают результаты, которые можно сопоставлять друг с другом для получения целостной картины успешности обучения от курса к курсу. Однако в последнее время созданы батареи, позволяющие получать и такие данные.
По форме проведения тесты могут быть индивидуальными и групповыми, устными и письменными, бланковыми, предметными, аппаратурными и компьютерными, вербальными и невербальными. При этом каждый тест имеет несколько составных частей: руководство по работе с тестом, тестовую тетрадь с заданиями и, если необходимо, стимульный материал или аппаратуру, лист ответов (для бланковых методик), шаблоны для обработки данных.
В руководстве приводятся данные о целях тестирования, выборке, для которой тест предназначен, результатах проверки на надежность, способах обработки и оценки результатов. Задания теста, сгруппированные в субтесты (группы заданий, объединенные одной инструкцией), помещены в специальной тестовой тетради (тестовые тетради могут быть использованы многократно, поскольку правильные ответы отмечаются на отдельных бланках). Если тестирование проводится с одним испытуемым, то такие тесты носят название индивидуальных, если с несколькими - групповых. Каждый тип тестов имеет свои достоинства и недостатки. Преимуществом групповых тестов является возможность охвата больших групп испытуемых одновременно (до нескольких сот человек), упрощение функций экспериментатора (чтение инструкций, точное соблюдение времени), более единообразные условия проведения, возможность технической обработки данных и др.
Основным недостатком групповых тестов является снижение возможностей у экспериментатора добиться взаимопонимания с испытуемыми, заинтересовать их. Кроме того, при групповом тестировании затруднен контроль за функциональным состоянием испытуемых, таким, как тревожность, утомление и др. Иногда для того, чтобы понять причины низких результатов по тесту какого-либо учащегося, следует провести дополнительное индивидуальное собеседование. Индивидуальные тесты лишены этих недостатков.
Тестирование широко используется в учебных заведениях для тренировочного, промежуточного и итогового контроля знаний, а также для обучения и самоподготовки учащихся.
Как уже указывалось, результаты тестирования могут выступать и как оценка качества преподавания, а также как оценка самих испытательных материалов.
Не меньший интерес представляет изучение результатов тестирования для определения качества лекции или семинара. Например, пусть в потоке у учителя несколько классов, и во всех проведено тестирование по заданному разделу курса. В тесте имеется определенное количество теоретических вопросов и практических задач. Каждый вопрос соответствует какой-либо теме. По этой же теме в тесте прилагается практическая задача. Если учащиеся во всех классах плохо справились с каким-либо теоретическим заданием и практической задачей к этому вопросу, следовательно, не уделено достаточного внимания этой теме.
В настоящее время наиболее часто используются следующие варианты тестовых контрольных мероприятий:
"автоматический", когда обучаемый выполняет задание в непосредственном диалоге с компьютером, результаты сразу переносятся в блок обработки;
"полуавтоматический", когда задания выполняются письменно, а ответы со специальных бланков вводятся в компьютер (решения не проверяются);
"автоматизированный", когда задания выполняются письменно, решения проверяются преподавателем, а в компьютер вводятся результаты проверки.
Особенностью первых двух является отстраненность учителя от проверки результатов испытаний. В этом случае, казалось бы, их объективность повышается. Однако, при этом утрачивается значительная часть информации, которую можно было бы получить при анализе результатов тестирования с использованием человеческого фактора.
В "автоматическом" режиме такой потери можно избежать. Но при использовании такого метода на сегодняшний день возможно появление некоторых специфических проблем. Не все учебные заведения могут позволить себе оснастить классы дорогостоящим компьютерным оборудованием в достаточном количестве.
Отсутствие навыков пользователя у обучаемых. Иногда приходится работать с учащимися, у которых по каким-то причинам нет достаточной компьютерной подготовки, или же они вообще никогда не общались с компьютером. Сложность и дороговизна разработки программного обеспечения. Существует проблема распознания ответов произвольной формы в открытых текстовых заданиях.
Одним из наиболее актуальных направлений развития компьютерных технологий в образовании является разработка специализированных систем проверки знаний учащихся. Их активное использование помогает поддерживать нужный образовательный уровень учащихся, предоставляет преподавателю возможность уделять больше внимания индивидуальной работе с учащимися.
3. Формирование оценочной шкалы тестового контроля
При создании тестов возникают определенные трудности в части формирования шкалы оценок правильности выполнения заданий учащимися.
Оценка знаний - один из существенных показателей, определяющих степень усвоения учащимися учебного материала, развития мышления, самостоятельности. Оценка должна побуждать учащегося к повышению качества учебной деятельности.
Очевидно, что при формировании шкалы оценок велика доля субъективизма, поскольку здесь многое будет зависеть от опыта, интуиции, компетентности, профессионализма учителя.
На сегодня еще часто встречается метод "проб и ошибок" при формировании шкалы оценок. Поэтому реальные знания учащегося не получают объективного отражения - как негативные последствия - снижается стимулирующее воздействие экзаменационной оценки на познавательную деятельность учащегося, на качество учебного процесса в целом.
4. Требования, предъявляемые к учителю при составлении тестовых заданий.
При составлении заданий теста следует соблюдать ряд правил, необходимых для создания надежного, сбалансированного инструмента оценки успешности овладения учащимися определенными учебными дисциплинами или их разделами. Так, необходимо проанализировать содержание заданий с позиции равной представленности в тесте разных учебных тем, понятий, действий и т.д. Тест не должен быть нагружен второстепенными терминами, несущественными деталями с акцентом на механическую память, которая может быть задействована, если в тест включать точные формулировки из учебника или фрагменты из него. Задания теста должны быть сформулированы четко, кратко и недвусмысленно, чтобы все учащиеся понимали смысл того, что у них спрашивается. Важно проследить, чтобы ни одно задание теста не могло служить подсказкой для ответа на другое.
Варианты ответов на каждое задание должны подбираться таким образом, чтобы исключались возможности простой догадки или отбрасывания заведомо неподходящего ответа.
Важно выбирать наиболее приемлемую форму ответов на задания. Учитывая, что задаваемый вопрос должен быть сформулирован коротко, желательно также кратко и однозначно формулировать ответы. Например, удобна альтернативная форма ответов, когда учащийся должен подчеркнуть одно из перечисленных решений.
Задачи для тестов должны быть информативными, отрабатывать одно или несколько понятий формулы, определения и т.д. При этом тестовые задачи не могут быть слишком громоздкими или слишком простыми. Это не задачи для устного счета. Вариантов ответов на задачу должно быть, по возможности, не менее пяти. В качестве неверных ответов желательно использовать наиболее типичные ошибки.
5. Достоинства и недостатки тестирования.
Одним из недостатков тестового метода контроля знаний учащихся является то, что создание тестов, их унификация и анализ - это большая кропотливая работа.
Возможно возникновение и других трудностей. Довольно часто встречается значительный субъективизм в формировании содержания самих тестов, в отборе и формулировке тестовых вопросов, многое также зависит от конкретной тестовой системы, от того, сколько времени отводится на контроль знаний, от структуры включенных в тестовое задание вопросов и т.д.
Но, несмотря на указанные недостатки тестирования как метода педагогического контроля, его положительные качества во многом говорят о целесообразности использования такой технологии в учебных заведениях.
К достоинствам следует отнести следующее:
большая объективность и, как следствие, большее позитивное стимулирующее воздействие на познавательную деятельность учащегося;
исключается воздействие негативного влияния на результаты тестирования таких факторов как настроение, уровень квалификации и др. характеристики конкретного учителя;
ориентированность на современные технические средства, на использование в среде компьютерных (автоматизированных) обучающих систем;
универсальность, охват всех стадий процесса обучения.
Отметим и другие достоинства. Тестированный опрос многофункционален. Он позволяет быстрее понять, как дальше работать с данным учащимся, а также помогает учителю скорректировать учебный курс.
В итоге следует заметить, что использование тестирования учащихся поможет объективно провести аттестацию школы, которая проводится с целью установления соответствия содержания, уровня и качества подготовки выпускников требованиям государственных образовательных стандартов.
Систематическое проведение контрольных мероприятий с помощью составленных на высшем уровне инструментов контроля позволяет формировать высококлассных специалистов в различных областях знаний, готовых применять накопленный багаж знаний в любую минуту.
Разработка качественного тестового инструментария - длительный, трудоемкий и дорогостоящий процесс. Стандартные наборы тестов для большинства дисциплин ещё не разработаны, а разработанные обычно имеют очень низкое качество. Данные, получаемые преподавателем в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов. Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания. Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы. Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений. В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.
Loading...