Мониторинг качества образования с помощью ИИП «КМ-Школа»

И.В. Шалыгина, к.п.н., ректор Университета открытых образовательных технологий ООО «Кирилл и Мефодий»

Представление о педагогическом мониторинге

Понятие «мониторинг» пришло в педагогику сравнительно недавно из экологии и социологии. В экологии мониторинг - это непрерывное слежение за состоянием окружающей среды с целью выявления очагов неблагоприятных ситуаций, отслеживания динамики изменений, интенсивности процессов и т.д. В социологии мониторинг позволяет не только получать информацию о различных сторонах жизни общества, но и вскрывать тенденции, закономерности их развития.

Современный словарь иностранных слов трактует понятие «мониторинг» как постоянное наблюдение за каким-либо процессом с целью выявления его соответствия желаемому результату или первоначальным предположениям - наблюдение, оценка и прогноз.

Мониторинг начинает осваиваться и в системе образования, где он реализуется как комплексное, динамическое, аналитическое отслеживание процессов, определяющих количественно-качественные изменения в объекте. Педагогический мониторинг можно определить также как форму организации, сбора, обработки, хранения и распространения информации о качестве образовательного процесса, обеспечивающую непрерывное слежение за ее содержанием и прогнозирование ее развития, а также как систему накопления инновационного опыта.

Мониторинг, в отличие от контроля, выявляющего рассогласование целей и результатов, исследует промежуточные состояния и выступает в определенной степени катализатором положительных изменений. Поэтому не случайно мониторинг в теории внутришкольного управления рассматривается как механизм управления развитием системы, и в этом его отличие от внутришкольного контроля.

Как использовать ИИП «КМ-Школа» для мониторинга качества образования?

Информационное пространство школы на основе использования ИИП «КМ-Школа» объединяет взаимодействия всех участников образовательного процесса и позволяет автоматизировать выполнение привычных функций.

Так, директор и завуч с помощью конструктора автоматически составляют расписание и управляют штатом сотрудников, оперативно отслеживают результаты образовательного процесса и принимают управленческие решения, поскольку со своего автоматизированного рабочего места имеют доступ к классным электронным журналам, обмениваются с вышестоящими организациями отчетной документацией, используют шаблоны, позволяющие автоматически формировать необходимые отчеты, организуют общение с родителями при момощи сервиса SMS-КМ-Школа.

Учитель назначает задания, рассылает подготовленные материалы на рабочие места учащихся в КМ-Школе или проводит урок в мультимедийном классе, проводит консультации, участвует в работе виртуальных методических объединений, отвечает на вопросы родителей при помощи сайта школы.

Ученики могут выполнять задания в режимах on- и off-line, причем результаты проверки сохраняются в электронном классном журнале и используются при выставлении итоговых оценок, консультируются, участвуют в совместных проектах, ведут рейтинг знаний, рекордов или пропусков занятий.

Родители имеют возможность следить за учебой своих детей, не выходя из дома, пользуясь SMS-сервисами и школьным сайтом: просматривать заданные им на дом уроки, а также общаться с учителями и администрацией школы, знакомиться с объявлениями.

В школе на основе использования «КМ-Школы» может развертываться единая система информационно-технологического сопровождения школьного мониторинга. Система включает в себя следующие направления:

1. оценка качества учебных программ и образовательных технологий;
2. мониторинг степени обученности учащихся по годам обучения и учебным предметам;
3. рейтинговая система стимулирования достижений учащихся;
4. диагностика качества потенциала научно-педагогического состава;
5. мониторинг качества знаний, умений, компетенностей, тематический, итоговый контроль.

Направление 1. Оценка качества учебных программ и образовательных технологий

Использование виртуального методического кабинета «КМ-Школы» обогащает образовательное пространство школы и региона, позволяет накапливать информацию, принимать решения для оптимизации выбора программ и технологий, представлять решения для ознакомления и обсуждения на методических форумах «КМ-Школы».

Вот как выглядит Методический кабинет из рабочего места Учителя:

Из Методического кабинета АРМа «Учитель» открыт доступ к статьям и форумам по ним на сайте km-school.ru. Страница форумов выглядит вот так:

Соответственно, можно качественно оценить востребованность тех или иных предложений, курсов, новаций.

База данных школы по данному направлению мониторинга может быть наполнена следующими документами:

• Устав ОУ.
• Учебный план ОУ на текущий учебный год (архивы учебных планов за прошлые годы).
• Тематические планы учителей-предметников.
• Отчеты данных мониторинга по предметам в таблицах и графиках за текущий учебный год и в динамике за несколько лет обучения.
• Бланки анкет, опросников, тестов и результаты исследований.
• Банк школьных проектов и унифицированные критерии оценки творческих заданий

Направление 2. Мониторинг успеваемости и степени обученности учащихся (СОУ) на основе отметок в электронном классном журнале

В практике работы школы активно используются следующие методики диагностики результативности работы учителя и образовательного учреждения, основанные на количественно-качественных показателях, выраженных в школьных отметках (баллах):

• успеваемость в % от общего количества учащихся;
• качество знаний по количеству "4" и "5";
• средний балл;
• степень обученности учащихся (по В.П. Симонову).

Ниже в таблице эти показатели систематизированы:

Основным достоинством этого вида диагностики является то, что для проведения исследований не надо использовать никакие дополнительные диагностические материалы, достаточно обратиться к отметкам в школьном журнале. Достоинства этой методики имеют и свою слабую сторону: отметка, выставленная в классный журнал, всегда несет развивающую, стимулирующую, воспитывающую нагрузку, а не только оценивает знания и умения ученика. Все мы знаем, что за одинаковое количество ошибок одному ученику мы поставим «объективную оценку», а другому, для которого этот результат является личным достижением, поставим более высокую (на вырост). Понятно, что вычисление среднего балла в таких условиях является столь же информативным, что и вычисление "средней температуры по больнице".

Для преодоления этого противоречия между сложившейся системой школьных отметок и необходимостью содержательного анализа результатов обучения В.П. Симонов разработал систему целей обучения и соотносимые с ней уровни усвоения.

Эта таксономия приобрела широкую известность и получила довольно широкое применение. Она содержит пять уровней усвоения:

1. Уровень узнавания.
2. Уровень запоминания.
3. Уровень понимания.
4. Деятельность в стандартной ситуации.
5. Деятельность в нестандартной ситуации (перенос).

В этой таксономии подразумевается иерархическая последовательность уровней усвоения. Для оценивания по качественным показателям В.П. Симонов предлагает использовать десятибалльную шкалу оценки степени обученности учащихся (СОУ). Но одним из препятствий, с которым можно столкнуться при введении данной шкалы, является то, что официальной в системе нашего образования считается пятибалльная шкала оценивания, фактически являющаяся трехбалльной. Выходом из сложившейся ситуации может стать рассматриваемая В.П. Симоновым «cуррогатная» шкала. В широкой практике используется формула степени обученности учащихся (СОУ) В.П. Симонова:

СОУ= (АХ+ВУ+СZ) : NP, где А,В, С - коэффициенты обученности (смотри таблицу), X, Y, Z - общее количество отметок, соответственно «5», «4», «3», N - количество учащихся в классе, P - число изучаемых предметов.

Данную методику оценки эффективности учебно-образовательного процесса можно использовать на каждом занятии и при этом наблюдать за динамикой изменения качественных показателей с первого по итоговое занятие, оценивая каждый уровень усвоения.

Вот формула для СОУ, которая автоматически обсчитывает отметки в электронном классном журнале «КМ-Школы»:

СОУ = (кол-во «5»х100 + кол-во «4»х64 + кол-во «3»х36 + кол-во «2»х16 + кол-во «н/а»х7)/ общее кол-во учащихся.

Если в школе систематически заполняется электронный классный журнал, ИИП «КМ-Школа» поможет учителю, классному руководителю, завучу в течение минуты сформировать необходимые отчеты. Для этого из своего АРМа надо перейти к модулю «Классный журнал», активизировать ссылку «Сформировать отчет» и далее ссылку «Загрузить шаблон отчета». На экране появится окно со списком доступных шаблонов отчетов, выберем «Отчет по успеваемости». Далее алгоритм общий для формирования всех отчетов в «КМ-Школе»: задаем период, за который формируется отчет, выбираем один класс или несколько, мы можем так же составить отчет по отдельным учащимся класса, и по окончании не забудем кликнуть на кнопку «Построить отчет».

Вот так, например, будет выглядеть отчет по 11 классу за 3 четверть:

Таким образом, мы сразу получаем данные по степени обученности учащихся (СОУ), качеству обученности учащихся (КОУ), средний балл по каждому учащемуся и по классу в целом. Этот отчет можно вывести на печать через принтер, подключенный к данному компьютеру, можно сохранить на жестком диске компьютера или на любом съемном носителе, отчет сохраняется в формате Excel. Этот формат удобен для построения диаграмм и графиков, с помощью которых можно наглядно представить данные отчета.

Направление 3. Рейтинговая система стимулирования достижений учащихся

Для проявления и стимулирования личностного потенциала всех участников образовательного процесса в школах все чаще прибегают к составлению рейтингов учащихся на основе их учебных достижений.

Рейтинговая система оценки знаний особенно хорошо работает в средних и старших классах средней школы, когда школьники начинают рассматривать учебу как способ проявить себя, выделиться, обратить на себя внимание. С помощью рейтинга всегда виден «статус-кво» данного ученика на фоне всего класса, и легко определить, как «близко» или «далеко» в данный момент времени до оценки в четверти или в году, на которую ученик рассчитывает.

Такая система оценки стимулирует соревновательность в учебном процессе. В отечественной педагогике этот метод завоевывает все больше и больше популярности и используется не только в школе, но и во многих вузах.

Демократизация и гуманитаризация современного образования требует отказа не от контролирования и оценивания знаний, умений, а от рутинных форм побуждения к учению. Поиск новых способов стимулирования учебного труда учащихся, принцип личной выгоды, набирающий силы в обучении и воспитании, определяют иные подходы. Дополняясь принципом добровольности обучения (а значит, и контролирования), оценка может превратиться в способ рационального определения личного рейтинга - показателя учебных успехов ученика.

С помощью конструктора отчетов «КМ-Школы» классный руководитель и учитель-предметник могут получить рейтинг учащихся класса и школы. Очевидно, что при этом будут учитываться оценки, занесенные в электронный классный журнал. Из модуля «Классный журнал» по ссылке «Сформировать отчет» переходим к конструктору отчетов. В меню по ссылке «Загрузить шаблон отчета» переходим к перечню шаблонов отчетов, которые автоматически формируются в «КМ-Школе» на основе оценок электронного классного журнала. Перед нами открывается окно «Выберите шаблон отчета», выбираем «Рейтинг уровня обученности» и не забываем нажать на кнопку ОК.

Теперь нам необходимо задать период, за который составляется рейтинг (можно выделить дату на всплывающем календаре, либо в строке ниже выбрать даты, заданные как основные учебные периоды или четверти). Далее выбираем классы или отдельных учащихся, участвующих в рейтинге. Обратите внимание, что учителю-предметнику доступны только классы, которые ему назначены в расписании, классному руководителю доступен так же журнал класса, который ему назначен для классного руководства, отчеты может формировать завуч, которому доступны все журналы всех классов.

Ниже приведен отчет «Рейтинг учащихся 11-а класса».

Вот так будет выглядеть рейтинг учащихся 9, 10, 11 классов. Как видим, в отчете представлен средний балл за указанный период обучения, список учащихся представлен по классам. Если вас устраивает такая форма предоставления отчета, выводим его на печать, для этого активизируем ссылку «Распечатать отчет». Эта функция работает, если к вашему компьютеру подключен принтер. Если вам необходимо сохранить отчет в файл для того, чтобы распечатать его с другого компьютера, если вы хотите изменить вид отчета, например, создать рейтинг не по классам, а по всему списку учащихся, то вам необходимо воспользоваться ссылкой «Сохранить отчет». Ваш отчет сохранится как файл.

Направление 4. Диагностика качества потенциала научно-педагогического состава

Объектом диагностики деятельности учителя могут быть уровень его профессиональной компетентности, степень коммуникабельности и другие, социально значимые для педагога качества, уровень рефлексии, степень технологической грамотности и др.

Базовыми данными внутришкольного мониторинга педагогической деятельности могут быть:

• Оперативные данные результатов мониторинга;
• Сравнительный анализ показателей образовательного процесса по контрольным точкам и их динамика (по данным «Результативности в переводных/выпускных классах по предмету»);
• Карточка педагогического работника и сведения о повышении квалификации;
• Самоанализ педагогической деятельности по итогам года или к аттестации педагогического работника;
• Анализ результатов итоговых, аттестационных, срезовых работ по предмету;
• Анализ результативности участия в конкурсах для учителей и активности работы в городском методическом объединении или в творческих группах учителей;
• Результаты анкетирования учащихся, родителей (например, анкета «Учитель глазами ученика»);
• Результаты психологических тестов.

При подготовке самоанализа педагогической деятельности педагог может оперативно получить данные об успеваемости СОУ, КОУ и среднему балу по своему предмету в классах, в которых он преподает. Например, учитель преподает в 9а, 10а, 11а классах физику. Формируем отчет типа «Обучение по предмету», выбираем предмет из списка, назначенного данному учителю в нагрузке, и формируем отчет. Такой отчет может сформировать сам учитель, а также директор и завуч.

Направление 5. Мониторинг качества знаний, умений, компетентностей, тематический, итоговый контроль

В этом разделе мы рассмотрим подходы к качественному анализу результатов обучения. О формализме школьной оценки мы говорили выше. Дело, конечно, не в самих баллах, а в том, подлежит ли анализу та педагогическая реальность, которая стоит за школьными отметками. Речь идет о предметных и надпредметных знаниях и умениях, компетентностях, которыми владеет ученик. Поэтому система мониторинга, в первую очередь, зависит от педагогически грамотных контрольно-измерительных материалов. Нельзя было ожидать качественных КИМов, когда разработка системы мониторинга была возложена на образовательное учреждение. Ситуация стала выравниваться по мере того, как возникали центры мониторинга, расширялся опыт ЕГЭ и практика участия в международных исследованиях качества.

Сегодня уже оформилось общее представление о требованиях к контрольно-измерительным материалам:

• Содержание предмета должно быть представлено материалом содержательных линий, которые могут иметь различное значение в учебном процессе: основной материал, ознакомительный дополнительный и т.д. При отборе заданий для контроля следует использовать принцип пропорциональности представленного содержания учебного предмета (темы), т.е. в контрольной работе должен быть представлен материал всех основных содержательных линий в объеме, пропорциональном объему их представления в стандарте и их значимости.
• Одинаковое содержание предмета (стандарт) может быть освоено учениками на разных уровнях. В терминологии, используемой в спецификации контрольно-измерительных материалов единого государственного экзамена (ЕГЭ), эти уровни получили название базовый, повышенный и высокий. Эти уровни освоения предметного содержания являются инструментом, диагностирующим развитие ученика.
• Современные контрольно-измерительные материалы должны включать задания, позволяющие выявить не только предметные знания и умения, но и умения более высокого порядка, к которым относятся:
  • Общеучебные умения - умения, связанные с освоением приемов общей (внешней) организации учебной деятельности (умение использовать справочники, учебную литературу и т.д.)
  • Общепредметные умения - специфические умения, формируемые при обучении по конкретному предмету.
  • Деятельностные умения - умения управлять учебной деятельностью (мотивация, целеполагание, планирование, самоконтроль, самокоррекции.).
  • Интеллектуальные умения - овладение и оперирование представлениями, понятиями, суждениями, умозаключениями, мыслительными операциями (сравнение, обобщение, классификация, анализ, синтез и т.д.).
• Стандартизованность контрольно-измерительных материалов, т.е. наличие определенных норм его выполнения (среднее, стандартное отклонение и т.д.) позволяет интерпретировать результаты измерений применительно к учащимся из различных выборок.

Система диагностики по предмету включает конкретный набор инструментов (тесты, карточки, задания, анкеты…) для регистрации учебных результатов отдельного ученика или по параллели, по классу, по предмету в целом. До недавнего времени учителя вынуждены были самостоятельно разрабатывать диагностические материалы. Однако, с формированием региональных Центров качества образования и других структур, призванных поставить на научную основу систему педагогических измерений, образовательные учреждения используют готовые диагностические материалы, предоставляемые ученикам, как правило, на бумажных носителях.

ИИП «КМ-Школа» предоставляет возможность проводить внутришкольный мониторинг на основе компьютерного тестирования, оперативно обрабатывать результаты компьютерного тестирования, формировать отчеты и наглядно представлять результаты исследования.

Результаты мониторинга могут быть представлены и в «бумажном», и в электронном виде. Для компьютерного проведения диагностики, презентации результатов мониторинга можно использовать:

1. возможность создавать собственные многовариантные контрольные работы и уроки, состоящие из тестовых заданий;
2. возможность сохранять диагностические материалы и обмениваться ими в сообществе пользователей "КМ-Школы", используя функции экспорта и импорта уроков и контрольных работ;
3. возможность компьютерной обработки результатов диагностических работ и занесения оценок в электронный журнал;
4. возможность создавать на основе электронного классного журнала отчеты и экспортировать отчеты в Microsoft Excel, представлять результаты в графическом виде, как на электронных, так и на бумажных носителях.

На примере исследования естественнонаучной подготовки покажем, как могут быть использованы возможности «КМ-Школы» для проведения мониторинга и анализа его результатов.

Шаг 1. Контрольно-измерительные материалы, предоставленные Владимирским ИПК, мы представили в виде электронных тестов, в формате kma, используя шаблоны тестовых заданий «КМ-Школы». Для этого мы использовали возможность создания в «КМ-Школе» собственных уроков, содержащих тестовые задания, и многовариантных контрольных работ. В ходе этой работы мы еще раз убедились, что существующие в «КМ-Школе» шаблоны тестовых заданий позволяют полностью реализовать замысел разработчиков контрольно-измерительных материалов. Мы использовали практически все 10 шаблонов тестовых заданий, а так же возможность вставлять задания в форме рисунков, графиков. Важно, что учитель может использовать разработанные нами контрольные работы в готовом и виде, используя функцию «импорт». При необходимости учитель может редактировать готовую контрольную работу.

Шаг 2. Проведем пробное сетевое компьютерное тестирование, в ходе которого учащиеся выполнят двухвариантную контрольную работу. Для этого используем ссылку «Провести урок в классе», далее назначаем учащимся по списку класса варианты.

Учащиеся каждый в своем автоматизированном рабочем месте отвечают на вопросы тестов.

Шаг 3. Для проверки результатов контрольной работы мы использовали возможности «КМ-Школы». Раскрыли вкладку «Меню», кликнув по пиктограмме «Результаты урока», раскрыли окно результатов тестирования. Эти результаты обрабатываются автоматически, что существенно сокращает время на проверку. Знаком «+» обозначаются правильные ответы, знаком «-» — неправильные.

Шаг 4. Интерпретация результатов. Используя Спецификацию к данному исследованию, выявляем уровень предметной подготовки. Для этого обратимся к таблице «Распределение заданий в зависимости от предметного материала».

Анализ проводим по такой схеме. Количество заданий по предмету умножить на количество участников тестирования, произведение есть 100% результат. Например, в тесте было 8 интегрированных заданий (№1,2,3,6,7,9,10,15), тестировалось 2 ученика, значит, всего может быть 16 правильных ответов, это 100% результат. Теперь изучаем результаты урока, т.е. считаем «+» в заданиях №1,2,3, 6,7,9,10,15, получаем 9 правильных ответов, это 56% от максимального значения. Покажем результаты по другим предметам: химия — 50%, физика — 100%, биология — 75%, география — 50%. Итак, наибольшую трудность вызвали задания, требующие интеграции естественнонаучных знаний.

Рассмотрим более детально, какие темы, и по каким учебным предметам вызвали у учащихся наибольшие затруднения. Для этого выпишем номера заданий, которые имеют больше всего «минусов». Далее обратимся к таблице «Распределение заданий проверочной работы по содержанию и уровням сложности». Можно сделать вывод, что ученики слабо усвоили материал тем «Биология человека» (11 вопрос), структура и свойства вещества (10 вопрос), химические, физические изменения (8 вопрос). Все эти вопросы относятся к среднему уровню сложности и требуют проявления умений описания, объяснения, прогнозирования естественнонаучных явлений.

Посмотрим, как распределятся правильные ответы по уровню сложности. Для этого обратимся к таблице «Распределение заданий по уровням сложности». «Низкий» - 4 задания, «средний» - 11 заданий, «высокий» - 3 задания.

Нижнему уровню шкалы естественнонаучной грамотности соответствуют задания, проверяющие умения:

• воспроизводить простые знания (термины, факты, простые правила);
• приводить примеры и использовать основные естественнонаучные понятия для формулирования выводов (узнавание правильных выводов);
• определять правильность уже сформулированных выводов.

К этому уровню относятся задания №1,4,17,16, максимальное количество правильных ответов - 8. Посчитаем процент правильных ответов на задания этого уровня, количество «плюсов» по заданиям №1,4,17,16 - 7, что составляет 92% от максимального значения. Также мы посчитали процент правильных ответов на задания среднего уровня - 95%, высокого уровня - 50%.

Итак, используя Спецификацию к данной контрольной работе и результаты автоматической обработки тестирования, мы можем сделать следующие выводы об уровне естественнонаучной подготовки участников исследования. Учащиеся продемонстрировали естественнонаучную грамотность на среднем уровне, в дальнейшем следует обратить внимание на развитие умений прогнозирования естественнонаучных явлений, а так же развивать способность использовать предметные знания для описания и объяснения явлений и процессов, имеющих комплексный, интегрированный характер.

Безусловно, использование возможностей «КМ-Школы» существенно сократило время на проверку и интерпретацию результатов.

Шаг 5. Подсчет баллов и занесение отметок в классный журнал. С помощью «КМ-Школы» мы можем подвести итоги, для этого активизируем ссылку «Пересчитать баллы», результаты тестирования будут автоматически представлены в 5-балльной системе. Нажав на ссылку «Занести все оценки в журнал», мы сохраним результаты работы. Теперь можно завершить контрольную работу, для этого кликнем на иконку «Завершить урок в классе».

Особенности использования или подбора заданий тестовой формы для контрольно-измерительных материалов

Многие контрольно-измерительные материалы составлены на основе тестовых заданий. Тестовые задания имеют ряд преимуществ и дают возможность проверить большой объем материала и отследить успешность ученика по нескольким параметрам.

К несомненным достоинствам тестов, которые не оспариваются даже их противниками, относится возможность более полного охвата содержания предмета (минимум 30 заданий в тесте против 2-5 вопросов в традиционной контрольной работе) и технологичность, особенно при компьютерной обработке результатов. При тестировании экономятся время и силы, как преподавателя, так и учащихся.

При традиционных формах контроля оценки заведомо субъективны, поскольку основаны на предъявлении нестандартизированных заданий и зависят, в конечном счете, от квалификации и добросовестности преподавателя или комиссии, выставляющих оценку. В силу этого оценки, полученные учащимися в разных образовательных учреждениях одного профиля и даже у разных преподавателей, не могут быть сопоставлены. Пятибалльная шкала (а на самом деле она трехбалльная, ведь оценка «1» при аттестации не выставляется вообще никогда, а оценку «2» преподаватели стараются не выставлять по мере сил), принятая при проведении традиционных испытаний позволяет лишь грубо ранжировать учащихся, не предоставляя возможности сравнить уровень учащихся с одинаковыми оценками, диагностировать их затруднения. Применение такой шкалы имеет далеко идущие последствия, а именно вынужденное дублирование экзаменов за среднюю школу и вступительных при поступлении в вуз.

С помощью тестов, используя специальные шкалы, можно объективно оценить и сопоставить уровень подготовки, можно выявить структуру полученных знаний (т.е. выявить затруднения в усвоении учебного материала), а также оценить качество преподавания.

Что же такое тест и тестирование применительно к оценке уровня подготовки? Педагогический тест — это система заданий определенной формы, расположенных по возрастанию трудности, которая дает возможность измерить уровень подготовки испытуемых и оценить структуру этой подготовки. Соответственно тестирование (от англ. — опыт, проба) — метод диагностики уровня подготовки испытуемых и способ оценки структуры подготовки, использующий стандартные вопросы и задачи (тесты), имеющие определенную шкалу значений. Ключевым здесь является слово «измерить», которое приписывает тесту свойства измерительного инструмента. Неслучайно наборы тестов стали называть контрольно-измерительными материалами.

Создание теста, который бы отвечал требованиям, содержащимся в определении, — задача простая лишь на первый взгляд. Эта обманчивая простота во многом способствовала дискредитации тестирования, породив появление, в том числе и в печати, огромного количества заданий, большинство из которых в лучшем случае можно назвать лишь «тестоподобными», «псевдотестовыми» контрольными материалами. Результат применения таких продуктов для контроля знаний вызывает недоверие. Причины этого различны, например, при тестировании разные по уровню подготовки испытуемые могут получить одинаковые баллы, велика вероятность угадывания правильного ответа и т.д.

Тестовое задание должно содержать инструкцию по его использованию. Инструкция тестового задания — словесные указания испытуемому, связанные с выполнением тестового задания (выбором правильного ответа из нескольких вариантов; решением математической задачи и т.п.). Указывается способ записи правильного ответа (что, каким образом и где надо отметить, вписать и т.д.). Инструкция может быть единой для нескольких заданий теста, если эти задания однотипны по действиям.

Следует сразу оговориться, что любые виды и формы контроля, помогающие преподавателю в его работе, имеют право на существование, но не следует опрометчиво считать их тестами.

Как всякий хороший измерительный инструмент, тест должен отвечать определенным требованиям.

Требования к тестовым заданиям:

1. Содержательная валидность - соответствие содержания теста проверяемому содержанию.
2. Уровневая валидность - соответствие уровня задания проверяемому уровню.
3. Определенность - обеспечение общепонятности формулировок заданий всеми учащимися.
4. Однозначность - создание эталона ответа, соответствующего полному и правильному решению заданий.
5. Надежность теста - показатель точности и устойчивости результатов измерения с помощью теста при его многократном применении. Характеризует степень адекватности отражения тестом соответствующей генеральной совокупности заданий.
6. Стандартизованность - наличие определенных норм его выполнения (среднее, стандартное отклонение и т.д.) для интерпретации результатов применительно к испытуемым из различных выборок. Стандартизованный тест - тест, прошедший апробацию на репрезентативной выборке.

Работа над подбором тестовых заданий или созданием теста начинается с определения цели использования теста и отбора содержания предмета в соответствии с этой целью (требование содержательной валидности). При планировании содержания теста следует заранее предусмотреть количество заданий по каждой из контролируемых тем (в соответствии с образовательным стандартом), их оптимальную форму, желательный уровень трудности каждого из них, количественное соотношение заданий разной трудности (уровневая валидность), расчетное время их выполнения. Необходимо следить за соблюдением пропорций содержания теста и тем стандарта; не перегружать тест малозначимым, необязательным материалом, который не вносит заметного вклада в определение уровня подготовки. Результатом этого этапа работы является спецификация теста.

Далее составляются или подбираются задания, которые предполагается включить в тест. На этом этапе обычно руководствуются не только требованиями государственного образовательного стандарта, но и также интуицией, здравым смыслом и опытом педагогической работы. Очевидно, что задания должны быть ясными, точно и четко сформулированными, оптимально краткими, определенными и нетривиальными.

Выбор формы тестовых заданий диктуется целями тестирования и особенностями содержания контролируемого предмета. Задания одной формы или уровня объединяются в блоки и снабжаются стандартной инструкцией выполнения. Составитель теста определяет правило оценивания заданий, систему подсчета тестового балла, способ предъявления результата выполнения теста испытуемыми т.д. Все это, во избежание неопределенностей и двусмысленностей, затрудняющих выполнение теста и интерпретацию его результатов, должно быть отражено в инструкциях для испытуемых и проводящих тестирование преподавателей.

Пока задания не предъявлены выборке испытуемых и не имеют никаких эмпирических и статистических характеристик, они не могут считаться тестовыми. Результатом этого этапа является создание системы так называемых предтестовых заданий, т.е. инструмента, которым предположительно можно измерять. Предтестовые задания, чтобы стать тестом, должны пройти экспертизу, при которой априорно оцениваются их параметры, и при необходимости пройти коррекцию. Наконец, выполнены все предварительные шаги, и можно попробовать применить тест, чтобы получить его эмпирические и статистические характеристики, определить нормы и иметь уверенность в их устойчивости. Для этого необходимо проведение выборочного исследования (апробации теста на репрезентативной выборке).

В наших методических рекомендациях мы используем контрольно-измерительные материалы, которые прошли представительную апробацию на выборке достаточного объема при проведении исследований школах нескольких городов и районов Владимирской области. Это дает возможность говорить о том, что основные признаки генеральной совокупности были бы представлены. Результаты, полученные на такой выборке, могут быть заведомо распространены (генерализуемы) на всю генеральную совокупность школ Владимирской области. В ряде случаев создание представительных выборок было проведено в рамках методических объединений учителей-предметников области. Генерализуемость результатов такого исследования является непременным условием стандартизации теста.

Еще одна проблема использования тестов связана с необходимостью составления нескольких вариантов одного и того же теста. В идеальном случае должна быть обеспечена параллельность вариантов, т.е. тесты в целом и каждое из их заданий должны иметь одинаковые характеристики (в том числе, и трудность). Если это не соблюдается, то необходим достаточно основательный анализ тестового набора материалов, привлечение для анализа математического аппарата исследования, необходимость делать компьютерную обработку результатов, что в наших условиях не всегда возможно. Чтобы избежать подобных сложностей, в приведенных в сборнике контрольно-измерительных материалах, как правило, реализован принцип параллельности заданий в разных вариантах.

Используя материалы этого раздела, учитель вправе изменить контрольно-измерительных материалы, однако, чтобы не нарушить требование стандартизации следует оставаться в рамках приведенной спецификации, т.е. менять задания на аналогичные.

Литература:

1. В. В. Гузеев. Планирование результатов образования и образовательная технология. М.; Народное образование, 2000.
2. Беспалько В.П. Слагаемые педагогической технологии. - М.: Педагогика, 1989.
3. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: "Логос", 2002. - 432 с.
4. Мангейм Дж. Б., Рич Р. К. Политология. Методы исследования. М.: "Весь Мир", 1997. - 544 с.
5. Под ред. В.А. Болотова. Единый государственный экзамен. Научные основы, методология и практика организации эксперимента. Сб. статей. М.: "Логос", 2002. - 207 с.
6. Кабанова Т.А. Тестирование. Проблемы и перспективы
7. Отраслевой стандарт Министерства образования РФ. Педагогические тесты. Термины и определения.

Обсудить на форуме