6. Создание тестов различного уровня

1) быть содержательно валидными;

2) быть функционально валидными;

3) задания должны быть общепонятными и содержать в явном виде вопрос;

4) быть простыми.

Требование содержательной валидности теста, как выше уже не раз подчёркивалось, состоит в том, что можно контролировать только то знание, которому учащийся был обучен.

128

-е-

Bespalkol.qxd 28.02.2008 16:15 Page 12^0

Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты

тельствует о нарушении учителем содержательной валидности контроля знаний учащихся. Происходит это не по злому умыслу учителя или его желанию во что бы то ни стало поставить учащегося в тупик неожиданностью вопроса. Скорее всего, учитель просто не замечает, когда он переступает грань между своим знанием предмета, позволяющим ему «догадываться», и знанием предмета учащимся, кому такие догадки не по силам. Чтобы избежать ошибок содержательной валидности теста, необходимо содержание обучения представить в виде логической структуры или таблицы учебных элементов, а затем уже строить тесты, сопоставляя предлагаемые в них задания с наличием в содержании обучения соответствующей информации о тестируемых УЭ (свойствах объектов, сущности явлений, алгоритмах и методах деятельности).

Не могу здесь не отметить сущую вакханалию на лицензионных экзаменах в США (врач, медицинская сестра, сварщик, слесарь, инженер и сотни других), где каждому претенденту на получение профессиональной лицензии (от пекаря до лекаря) приходится делать многократные попытки, чтобы, наконец, преодолеть экзаменационный тестовый барьер.

Под функциональной валидностью теста понимают его соответствие тому уровню деятельности, который тестируется. Ниже,

129

Вевра1ко1.дх<С 28.02.2008 16:15 Раде 1К)

130-

В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА

рассматривая конструирование тестов разного уровня, будет показано, при каких обстоятельствах нарушается это требование

к тесту.

О требовании к заданию теста быть общепонятным и однозначным ранее уже неоднократно упоминалось. Это требование направлено против таких авторов тестов, которые стремятся создавать задания тестов с неясными требованиями: «Догадайся, мол, сама, что я хочу». Задание теста должно быть «прозрачно»!

Требование простоты теста состоит в том, что каждый тест должен состоять только из одной задачи данного уровня усвоения. Трудно объяснить почему, но часто наблюдается, вероятно, неосознанное стремление создателя теста усложнить его, соединяя несколько задач в одном тестовом кадре.

Школьная математика, как и грамматика родного языка пользуются печальной славой наиболее трудных учебных предметов. По признанию одного из руководителей проекта ЕГЭ, В. Болотова, 20% школьников получили в 2006 году двойки по математике. Одной из веских причин такого печального явления может быть нарушение требования простоты теста. Как это может произойти? Предположим проверяется знание школьником теоремы Пифагора.

Если это делается с использованием такой задачи (см. рис. 13) , то двоек могло бы быть ещё больше: «В прямоугольной призме АВСВ — А1 В1 С1В1

ЛВ = АО = 2;

ОС = 2^3;

АА1 = л/3;

АО _1_ ОС; АС _1_ ВО и основанием перпендикуляра служит точка Е.

Доказать, что: ББ _1_ А1С;

1) найти угол между плоскостями А1ББ и БС1Б;

2) найти угол между линиями АБ и БС1».

Рис. 13

130

Bespalkol.qxd 28.02.2008 16:15 Page 1:KL

Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты

-е-

В этой задаче многократно используется формула теоремы Пифагора, что само по себе является грубым нарушением требования простоты теста. Кроме того, чтобы её применить, учащемуся необходимо обладать недюжинным пространственным воображением. А если оно у него очень среднее, то будет сделан вывод о его слабой математической подготовке, что неверно. Данный тест, таким образом, ещё и содержательно инвалиден: из математики переходит в психологию, изучающую явление пространственного воображения человека. Традиционная педагогика, к сожалению, к этим нюансам учебного процесса, часто судьбоносным для учащегося, совершенно нечувствительна.

Если бы проверка осуществлялась с использованием следующей простой задачи (см. рис. 14), то, вероятнее всего, двойки бы полностью исчезли:

«В прямоугольном треу- д гольнике ABC: AB = 3; BC = 4.

Определите длину АС».

Экзаменаторы, по-видимому, самоутверждаются, предлагая испытуемым «непроходимые» задачки.

С учётом названных требо- B I-C

ваний к тестам перейдём к пра- Рис.

вилам их конструирования.

-Q-

6.1. Тесты первого уровня

По определению, первый уровень усвоения — это деятельность по узнаванию ранее изученной информации при повторном её восприятии. Следовательно, тесты первого уровня должны предъявлять учащемуся ранее изученный учебный материал в различных видах для узнавания. Различают три наиболее типичных способа конструирования задания для тестов первого уровня: опознание, различение и классификация (соотнесение).

Самый простой способ — это задание на опознание, когда учащемуся необходимо лишь подтвердить (да — нет) узнавание. Вот примеры тестов на опознание:

1) Задание (З): Является ли педагогика наукой о педагогических системах?

Эталон (Э): Да.

131

Bespa1ko1.qxd 28.02.2008 16:15 Page 1^ ^2

В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА

Число существенных операций (р): 1.

2) З: Можно ли сказать, что учебник является техническим средством обучения?

Э: Можно. Р: 1.

3) З: Является ли формула КТ = Тпр / Туч коэффициентом усвоения?

Э: Нет. Р: 1.

Заметьте: В этом тесте напрашивается продолжение: «Что означает эта формула?» Включение этого продолжения в тест немедленно нарушит его функциональную валидность (продолжение преобразует тест во второй уровень) и проигнорирует требование простоты теста — появляется вторая задача.

4) З: Можно ли по результатам тестирования на первом уровне судить о качестве усвоения деятельности на втором уровне?

Э: Можно. Р: 1.

Легко установить содержательную и функциональную ва-лидность этих тестов: они построены на изложенном выше материале, значит, содержательно валидны. Деятельность по их разрешению является узнаванием ранее изученного материала, т.е. деятельностью первого уровня. Тесты сопровождаются эталоном, и в них указано число существенных операций.

Не будут содержательно валидны следующие тесты, построенные на таком материале:

1) Может ли учащийся самостоятельно преодолеть сложный тест?

2) Может ли учащийся самостоятельно преодолеть трудный тест?

Не будет функционально валиден первому уровню и следующий тест, поскольку для его разрешения требуется применить деятельность более высокого уровня:

Усвоил ли учащийся предмет, если в батарее тестов с 22 существенными операциями он допустил 6 ошибок?

В этом тесте нечего опознавать.

132

ВеБра1ко1.дхсС 28.02.2008 16:15 Раде

Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты

виде в самом задании. Этот тест функционально не валиден тесту первого уровня.

Тесты, похожие по внешнему виду на тесты опознания, но содержательно или функционально не валидные им, называют псевдо-тестами на опознание.

Тесты различения также являются тестами первого уровня. В них требуется выполнить многократное действие опознания. Вот пример теста на различение:

З. Укажите, по какой формуле вычисляется коэффициент усвоения:

а) Ка = п/р; б) КР = п/р; в) Кт = Тпр / Туч; г) Кя = а/Ь.

Эталон этого теста при его предъявлении в виде «бумага — карандаш»:

Э. а) + б) — в) — г)— . Р = 4.

При использовании компьютера для тестирования: Э. а) + Р = 1.

В тестах на различение следует учитывать метод предъявления теста учащемуся: бумажный ли это вариант или машинный. При бумажном варианте предъявления теста студенту обычно выдаётся страница с написанными на ней тестами и таблица (матрица), в которой он заштриховывает клетки, соответствующие правильным ответам. Затем на таблицу накладывается специальный шаблон с отверстиями, в которых будут видны клетки, подлежащие штрихованию. Подсчитав число заштрихованных клеток, находят число правильных ответов — «п». Если в этом варианте работы с тестом считать существенными операциями теста на различение только правильные выборы, то возможно искажение оценки знаний учащихся. Первый вариант искажения получится, если учащийся, кроме правильного квадрата, заштриховал ещё и неправильный и его ошибка никак не учитывается. Возможен и второй вариант, найденный самими учащимися: заштриховываются все квадраты, и учащийся получает высший балл.

133

Bespa1ko1.qxd 28.02.2008 16:15 Page 1^ ^4

В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА

При машинном тестировании существенной операцией считается выбор правильного ответа, поскольку после любого выбора, правильного или неправильного, экзаменатор отключается. Общее число существенных операций в батарее тестов (р) в этом случае равно сумме всех правильных ответов в батарее тестов. Вот ещё пример теста на различение: З. Что является предметом педагогической науки:

а) процесс воспитания подрастающих поколений;

б) процессы, происходящие в голове человека при обучении;

в) система взаимодействия учителя и ученика;

г) педагогическая система;

д) образовательная система;

Э. (бумажный): а) — ; б) — ; в) — ; г) +; д) — . Р = 5.

Э. (машинный): г) + . Р = 1.

При создании тестов различения также возможны ошибки, ведущие к конструированию псевдо-тестов первого уровня. Например:

З. Каков коэффициент усвоения знаний учащимся, если в батарее тестов с 22 существенными операциями он допустил 6 ошибок?

а) 3/11; б) 11/3; в) 8/11; г) 11/8.

Объясните, усвоил ли учащийся предмет?

Этот тест, кроме своей функциональной «инвалидности» первому уровню усвоения, ещё и не является простым тестом: в нём содержатся две задачи второго уровня. Псевдо-тестами первого уровня вперемешку с функционально валидными тестами первого уровня пестрят все без исключения тестовые сборники на сегодняшнем тестовом рынке. Всё бы ничего, но никаких корректных суждений ни о знаниях учащихся, ни о качестве процесса обучения по таким тестам вынести нельзя, а следовательно, нельзя и принимать правильные решения о необходимых направлениях совершенствования педагогических систем.

Тесты классификации (сопоставления)

Их смысл понятен из приведённого ниже примера теста сопоставления (классификации):

З. Укажите соответствие понятий и их обозначений:

134

ВеБра1ко1.дхс1 28.02.2008 16:15 Раде 1Ы5

Лекция № 4. Инструменты диагностики качества знаний учащихся. Тесты

1) уровень усвоения;а) К,

2) число УЭ;б) \|/,

3) степень освоения; в) а,

4) осознанность. г) т. Э. 1 — в; 2 — а; 3 — г; 4 — б.

Р = 4.

Деятельность учащегося в тестах классификации является многократным узнаванием, и число существенных операций равно числу соответствий, которые надо распознать. Более кропотливый анализ деятельности учащегося покажет, что на самом деле он выполняем намного больше сканирований задания теста, чем мы считаем в нём операций. Последнее, однако, много проще и определённее для суждения, и мы принимаем число существенных операций равным числу соответствий. Некоторые авторы тестов классификации добавляют в одну из колонок избыточную альтернативу, которую не с чем сопоставлять. Эта альтернатива ничего не меняет в структуре деятельности учащегося, но иногда вызывает недоумение учащегося и искусственно провоцирует его на ошибку. По-видимому, подобное стремление запутать учащегося — это следствие недостаточной педагогической этики составителя тестов.