авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 |   ...   | 3 | 4 || 6 | 7 |   ...   | 15 |

«Bespalko1.qxd 28.02.2008 16:15 Page 1 В.П. БЕСПАЛЬКО ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА ...»

-- [ Страница 5 ] --

Первым из этих условий является разработка и помещение в учебнике всех тестов, отображающих цель обучения и содержа щих все изученные УЭ. Учение по такому учебнику позволяет уча щемуся проводить систематический самоконтроль качества сво ей учебной работы и осознанно управлять ею. Могут быть созда ны специальные сборники тестов, обладающие той же полнотой представления всех УЭ, входящих в состав учебного предмета и соответствующих цели обучения.

Вторым из этих условий является включение в экзаменацион ные испытания только таких тестов, которые содержатся в учебни ке, или таких, которые подобны им. Это условие соответствует тре бованию содержательной валидности теста. Известное стремление экзаменаторов отклоняться от содержательной валидности теста и включать на экзаменах тесты по ранее не изученным УЭ, оправ дываясь тем, что учащийся должен уметь ориентироваться в нео жиданных ситуациях путём переноса усвоенных умений в новые условия, ничем не оправдано. Если такое случится в будущей практике учащегося и ему встретится задача, не похожая на изу ченные, то это будет, как минимум, тест третьего уровня, для раз решения которого он может привлечь самым широким образом ли тературу и помощь экспертов, что в экзаменационных условиях невозможно. Тесты третьего и четвёртого уровней совершенно не уместны в условиях общеобразовательной школы и могут исполь зоваться только при итоговой аттестации в высшем профессио нальном образовании. Наконец, предоставление в распоряжение учащегося в самом учебнике полного набора тестов по предмету для текущего самоконтроля может поставить под вопрос необхо димость экзамена, как такового вообще. И последнее, наиболее противоречивое с точки зрения традиционного образования требо вание, — это предоставление учащемуся полной свободы (демо кратия!) пользования во время экзамена всеми возможными ис точниками информации: учебниками, монографиями, конспекта ми, шпаргалками и пр., моделируя таким путём будущую деятель ность учащегося, когда использование различных источников ни кем и ничем, кроме их наличия, не будет ограничено. Кроме того, устоявшееся в традиционном обучении требование полного и бе зусловного запоминания всей информации, содержащейся в учеб Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА ном предмете (2), игнорирует и противоречит естественным свойствам человеческой памяти, подверженной забыванию и вос становлению после кратковременного подкрепления. Регулиро вать степень достигнутого учащимся мастерства можно с помощью параметра автоматизации, минимального (К 0,5) на первом уровне и постепенно повышаемого (К 0,5) на последующих уровнях усвоения. Предоставление испытуемому возможности «заглянуть» в источник в рамках требования автоматизации ни сколько не исказит суждения о его подготовке, но существенно снизит традиционно игнорируемый экзаменационный стресс.

Нельзя в этой лекции обойти молчанием и традиционно мас совое заблуждение по поводу возможности применения тестов для проверки качества подготовки учащихся в так называемых «творческих» учебных предметах: литературе, истории, других гуманитарных дисциплинах. Типичная позиция противников применения тестов в этих дисциплинах состоит в том, что уважа емые профессора — гуманитарии допускают использование тес тов в естественно научных и прикладных науках, но резко возра жают против их применения в гуманитарных. В поддержку своей позиции они приводят специально подобранные невежественно составленные тесты первого уровня типа:

Кто потерпел поражение во второй мировой войне?

а) Ленин;

б) Сталин;

в) Наполеон;

г) Хрущёв;

д) Гитлер.

Нечего и говорить, что ни один школьный учитель такого те ста не предложит своим учащимся, и пример этот является про дуктом педагогически безграмотного ума.

Педагогически неэтично также вступать в спор о применимо сти или неприменимости тестов для контроля качества знаний учащихся, имея за душой столь ограниченное знание об их сущ ности. Впрочем, ещё долго педагогические решения будут прини мать властные дилетанты, поскольку, во первых, они пребывают в завидной уверенности в своей педагогической компетентности, а во вторых, у них просто не хватает времени, да и потребности на то, чтобы изучать педагогику: ведь за последние 15 лет образова нием управляло уже полдюжины министров временщиков!

Будем надеяться, что в будущем мы не встретим на общест венных и телевизионных форумах уважаемых профессоров учё ных, не прочитавших этой лекции и тем самым ставящих себя в смешное положение своим педагогическим невежеством отно сительно понятия «ТЕСТ».

Bespalko1.qxd 28.02.2008 16:15 Page Лекция № ПЕДАГОГИЧЕСКИЙ АНАЛИЗ НЕКОТОРЫХ ЗАРУБЕЖНЫХ ТЕСТОВЫХ СИСТЕМ Не всё то золото, что блестит.

1. Можно ли доверять тестам?

2. Методика педагогического анализа тестовых систем.

3. Анализ тестовой системы SAT.

3.1. Тест SAT I.

3.2. Тест SAT II.

4. Тестовая система TOEFL.

4.1. Фактическая справка.

4.2. TOEFL как он есть.

4.3. Конструкция тестов TOEFL.

4.4. Педагогический анализ TOEFL.

5. Общие выводы и конкретные предложения.

Некоторые публикации по теме лекции.

Синопсис Очень часто при обсуждении педагогических проблем прихо дится слышать: « А вот в Америке…» и далее следует, что уж, ес ли в Америке что то делается, то это эталон качества и право ты. Чаще всего использование ссылок на Америку для аргумента ции своих сомнительных идей не имеет ничего общего с действи тельным положением дел в американском образовании, которое вот уже почти полвека находится в глубоком кризисе. Об этом свидетельствуют с треском провалившиеся его реформы, пред принятые последовательно приходившими к власти администра циями разных президентов в 1983, 1998, 2003 годах, а также ин тенсивный и ежегодный «ввоз мозгов» («Brain Drain»), которым США пытается компенсировать неспособность своего собствен ного образования обеспечить квалифицированными кадрами страну. Природа непреодолимого кризиса в американском образо вании объясняется многими факторами, среди которых одним из наиболее существенных является порочная система тестирова ния успехов школьников и студентов. В состоянии всё углубляю Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА щегося образовательного кризиса хвалёная американская система тестирования не может дать ответ на вопрос: «В чём состоит причина кризиса образования в стране». Она только фиксирует некоторые баллы, которые якобы характеризуют успеваемость, но не может объяснить ни их происхождения, ни что означает их величина. К сожалению, сегодняшние подражатели американско му тестированию, создатели его отечественного суррогата под названием «Единый государственный экзамен», то ли по недомыс лию, то ли по причине педагогического невежества, то ли в погоне за «длинным» рублём (что в сегодняшней российской рыночной экономике не исключается) не замечают педагогической дефек тивности американской методологии тестирования. Они не только слепо переносят её пороки в Россию, но и делают это ме роприятие обязательным в масштабе всей страны, претендуя на «объективность» оценки успеваемости российских школьников.

Почему я называю методологию американского тестирования «порочной», излагается в этой лекции. А почему не надо её заим ствовать и что получается, если это делать, рассказывается в следующей.

Lecture № 5. Analysis of some foreign testing systems Not all that glitters is gold.

1. Whether it is possible to trust tests?

2. Technique of analyzing test systems.

3. Analysis of the test system SAT.

4. Analysis of the test system TOEFL.

5. General conclusions and concrete proposals.

Some publications on a theme of this lecture Synopsis Very often, at discussions on pedagogical problems, it is common to hear, when there are no firm arguments: «And there is, in America…»

and further follows that if in America something is done it is the unques tionable standard of quality and correctness. More often use of refer ences to America, for argumentation of doubtful educational ideas have nothing in common with the real state of affairs in the American edu Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем cation, which is already almost half a century in a deep crisis. Its failed reforms undertaken by consistently coming to power administrations of different presidents in 1983, 1998, 2003 testify to it with their crashes.

The most testifying event of the weakness of the American Educational System is the permanent necessity of brains import («Brain Drain»), with which America unsuccessfully tries to compensate the inability of own education to provide the country with qualified personnel. The nature of the educational crises can be explained by the role of differ ent factors, the most important of which is the already discredited and vicious methodology of testing student performance in education. In the conditions of a going even deeper educational crisis, the renowned American system of testing cannot answer vital questions: «In what the reason of the educational crisis in the country consists?» It only fixes some points which, ostensibly, characterize progress or failure, but can not explain their origins and what their size means. Unfortunately, today's imitators to the American testing, the founders of its domestic substitute under the name «Uniform State Examination», whether on thoughtlessness, or owing to pedagogical ignorance, or in pursuit for a «long» ruble (that in today's Russian «market economy» it is not excluded) do not notice pedagogical defectiveness of the American methodology of testing. They not only blindly transfer its defects to Russia, but also do this action obligatory on scale of all country, apply ing on «objectivity» of assessing the performance of Russian school boys.

Why I name the methodology of American testing «vicious», is stat ed in this lecture. And why it is harmfully to borrow it for use in Russia, it is told in the next one.

1. Можно ли доверять тестам?

Ответ на поставленный вопрос — задача этой лекции. И крат ким ответом на него является следующий: «Смотря каким…»

Вопрос этот далеко не прост. Так, в США он начал обсуждаться вместе с появлением тестов. Среди множества публикаций на эту тему выделяется книга известного тестового эксперта А.Д. Стре нио (A.J. Strenio, Jr.) под устрашающим названием «Тестовая за падня» (The Testing Trap, NY, 1981). Основной пафос книги состо ит в том, что тестовые оценки стали в Соединённых Штатах, по существу, судьбоносным критерием отношения к человеку, оп ределяя его жизненные возможности. На богатом материале и ре Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА альных примерах А. Стренио показывает, что вполне компетент ные люди очень часто относятся по результатам теста к недоста точно подготовленным или даже безграмотным индивидам. При чиной этому, считает автор, является инвалидность применяемых тестов.

Почти двадцать лет спустя вышла ещё одна подобная книга под тем же названием. Её автор Джордж Хиллокс (George Hillocks, Jr.) сосредоточился на том, чтобы показать существен ные расхождения между тем, что представляет собой умение пи сать (Writing), и тем, что тестируется как умение писать. Двухсот страничный анализ тестирования умения писать в пяти амери канских штатах привёл автора к убедительному выводу об абсо лютной содержательной и функциональной инвалидности приме няемых с этой целью тестов.

К сожалению, ни та, ни другая книга не возымели действен ного влияния на практикуемые тестовые испытания в США и в странах, где также используется подобное тестирование. При чиной этому является не вредоносное упрямство авторов сущест вующей тестовой западни и нежелание избавиться от неё, а не конструктивная критика обоих авторов, которые прекрасно ра зоблачили все пороки тестовой западни, но не предложили ника кого реального выхода из неё.

Несмотря на более чем столетнюю историю использования тестов в различных экзаменационных процедурах в США, до сих пор не стихают протесты против их использования как для школьников, так и для целей лицензирования различными про фессиональными ассоциациями и комитетами («Бордами» — Boards). Эти протесты особенно обострились с введением адми нистрацией Президента США Дж. Бушем Финального экзамена в 12 летней школе, необъяснимым образом оставляющего без дипломов до 70% выпускников, дошедших до экзамена, и ведуще го к отсеву более четверти учащихся ещё до экзамена. И снова та же картина: протесты без альтернативы. Возврат же к субъектив ному оцениванию — ещё хуже.

Кроме того, корпорации зарабатывают на тестовой индуст рии миллиарды долларов, и поскольку применение даже очевид но непригодных тестов не угрожает жизни испытуемых, борьба с неадекватной оценкой качества знаний учащихся ведётся «ни шатко ни валко». Похоже, никому дела нет до личных трагедий учащихся и их семейных трагедий.

Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем Критикам тестов противостоят их защитники, усилия кото рых, по всей вероятности, неплохо компенсируются заинтересо ванными фирмами: ведь тесты — это многомиллиардный и возоб новляемый бизнес. Показательна в этом отношении книга тесто вого эксперта Ричарда П. Фелпса (Richard P. Phelps). В своей кни ге под выразительным названием «В защиту стандартизованно го тестирования» (Defending Standardized Testing, NY, 2005) Р. Фелпс, почти 25 лет спустя после А. Стренио (кстати, даже не упоминая его) и современник Д. Хиллокса (которого он также игнорирует) пытается объяснить многочисленные упрёки в адрес стандартизованного тестирования недостаточно грамотным его использованием и низким качеством образования.

Представляется, что для такого вывода у Фелпса есть доста точно оснований: сразу после появления в педагогическом мире тестов стали публиковаться краткие методики и «фундаменталь ные» труды, детальнейшим образом рассматривающие каждую операцию создания, применения и интерпретации результатов теста. Только за последние полвека были изданы четыре практи чески идентичные 800 страничные «библии» тестирования под одним и тем же названием «Educational Measurement». Каждая из этих «библий», сохраняя преемственность с предыдущей, бы ла подготовлена отдельным коллективом из двух и более десят ков наиболее квалифицированных авторов, возглавляемых изве стными учёными психологами.

Первая из этих «библий» была подготовлена 20 авторами и издана между 1951 и 1966 годами шестью изданиями под редак цией Е.Ф. Лингквиста (E.F. Lingquist).

Вторая подготовлена 22 другими авторами и издана в 1971 го ду вторым изданием под редакцией Роберта Л. Торндайка (Robert L. Thorndike).

Третья была издана в 1989 году под редакцией Р. Л. Линна (R. L. Linn).

Наконец, четвёртая, только что опубликованная (2006) объё мистая аналитическая работа представляет собой последнее сло во зарубежного опыта тестирования. Она опубликована под ре дакцией Роберта Л. Бреннана (Robert L. Brennan). В создании этой обобщающей работы приняли участие около сорока извест ных американских специалистов в области педагогических изме рений, профессоров престижных университетов и сотрудников ведущих фирм, специализирующихся на педагогических измере Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА ниях, таких, к примеру, как Educational Testing Services (ETS).

В 22 х объёмных статьях, посвящённых узловым проблемам со здания и применения тестов лишь одна короткая статья посвяще на исследованию когнитивных процессов в связи с оценкой зна ний учащихся. Но и она повисает в воздухе, поскольку стремле ние автора проанализировать психологические основания оцен ки знаний учащихся «на кончике его математического пера» ни к чему, кроме бессодержательных математических упражнений, построенных на абстрактных допущениях, не приводит. Не по этому ли ни в одной из остальных 21 статей их авторы не в состо янии опереться на выводы Р. Д. Мислеви (автор статьи — R. J. Mislevy) в аргументации своих разработок.

Анализируя далее статьи теоретического раздела последней «библии» тестирования, обращает на себя внимание общая тен денция рассматривать проблемы так называемой «тринитарной»

(trinitarian) модели валидности теста (содержательной, конструк тивной и критериальной) с такой кажущейся глубиной и тщатель ностью, что полученная суперабстрактная модель полностью те ряет хоть какой то прикладной смысл. Нельзя не провести в свя зи со сказанным некоторые параллели с процессами диагностики из других областей человеческой деятельности. К примеру, в ме дицине обилие симптомов не обеспечивает точности диагноза, по ка не формируется синдром, построенный лишь на существенных признаках болезни. В машиностроении точность измерения раз мера и чистоты поверхности имеет естественные технологические ограничения. Требовать от тестирования той точности измерения, какая закладывается увлечёнными математиками в их «краси вые» модели, это значит никогда не получить работоспособной и аргументированной методики оценки знаний учащихся. Как это и произошло уже в американской затеоретизированной науке пе дагогических измерений: за последние 55 лет (1951–2006) публи каций названных выше «библий» педагогических измерений эта гора словесных спекуляций и математических манипуляций не родила даже полевой мышки в виде простой, валидной и надёж ной методики тестирования качества знаний учащихся. До сих пор здесь господствует первобытная эмпирика, которой, по види мому, дела нет до опубликованных многостраничных формаль ных упражнений университетских профессоров.

Нельзя также не упомянуть здесь и пять изданий Стандар тов педагогического и психологического тестирования (Standards Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем for Educational and Psychological Testing, 1954–1999), подготовлен ных под эгидой таких авторитетных организаций, как Американ ская ассоциация педагогических исследований (AERA), Американ ская психологическая ассоциация (APA) и Национальный совет пе дагогических измерений (NCME). В «Стандартах», соответствен но их названию, содержатся требования к разработчикам и поль зователям тестов различного назначения: для школы, профессио нальной аттестации, профессионального отбора и пр. Требования эти имеют настолько формальный характер, что даже американ цы, обожающие всё лицензировать (даже забивание гвоздя в стенку), пока не решились придать названным стандартам силу закона, и стандарты в основном существуют сами по себе, а тесты творятся, «как бог на душу положил» их автору.

Кроме упомянутых тестовых «библий» и «стандартов», име ется огромная литература прикладного характера по методике написания конкретных тестов и их использования в учебном про цессе. Поразительным является наличие огромной пропасти, раз деляющей названные выше «библии» и стандарты со всей осталь ной прикладной тестовой литературой. Пока первые парят где то в заоблачном математическом поднебесье, создавая формальные математические модели валидности, надёжности, нормирования и шкалирования, вторые предпочитают ползучий эмпиризм умо зрительных и приземлённых рекомендаций по созданию и при менению тестов. И наиболее вероятной причиной этого разрыва теории и практики является тот факт, что, увлекаясь математиче ским моделированием процессов педагогических измерений, ав торы достигли результатов, о которых лучше, чем говорится в со ответствующей поговорке, не скажешь: «Гладко было на бумаге, да забыли про овраги, а по ним ходить!».

Видимо, это несоответствие теории и практики американско го тестирования и дало основание Р. Фелпсу считать, что отрица тельное отношение к тестам, как учёных, так и испытуемых мо жет быть объяснено неквалифицированным тестированием.

Но ещё более вероятно, что в самих основаниях создания и при менения тестов в Америке что то противоречит человеческой природе, что вызывает спонтанное и неосознанное их неприятие.

И в данной лекции мы покажем, что современное тестирование, как оно утвердилось в США, — это наиболее выразительный ан типод известному призыву великого Яна Амоса Коменского сде лать школы «храмом радости, удовольствия и успеха». К сожале Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА нию, российские создатели ЕГЭ перенесли все пороки американ ского тестирования в свои разработки и процедуры, но об этом впереди.

2. Методика педагогического анализа тестовых систем Знакомясь с сегодняшним зарубежным рынком тестов, на первый взгляд может показаться, что существует множество тестовых систем и их анализ может превратиться в очень гро моздкое предприятие. Но если присмотреться к исходным по сылкам (упомянутые «библии»), лежащим в основе создания и использования этих тестовых систем, то оказывается, что все они построены по одной и той же методической схеме, при незна чительных вариациях в своей эмпирической части. Это особенно характерно для тестовых систем, используемых в США и скопи рованных Россией в виде пресловутого ЕГЭ, которым мы и уде ляем наше основное внимание. В данной лекции будут рассмот рены две наиболее широко представленные в образовании США тестовые системы: SAT и TOEFL.

Данный анализ зарубежных тестовых систем проводится с позиций, изложенных в предыдущих лекциях. В наших работах, подводящих итог полувековому поиску объективных содержа тельных показателей протекания педагогических процессов, от крывается возможность переходить в анализе педагогических яв лений с феноменологических позиций на позиции качественной, а затем и адекватной количественной теории.

В данном анализе тестовых систем мы вооружены следую щими методиками объективного анализа их педагогической сущности:

1) теорией разделённых параметров (N,,,, ) качества знаний учащихся;

1) требованием содержательной валидности теста;

2) требованием функциональной валидности теста;

3) требованием простоты теста;

4) требованием общепонятности и однозначности задания теста;

5) требованием надёжности теста;

6) требованием корректности скоростного теста;

7) 12 балльной шкалой оценки, сопряжённой с процессом фор мирования знаний.

Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем Теория разделённых параметров качества знаний уча щихся изложена в предыдущей лекции (см. Лекцию № 4).

Содержательная валидность теста, как упоминалось выше, означает, что все задания теста могут быть разрешены на основе ранее изученного в предмете учебного материала. «Что должно было быть изучено, о том и спрашивают» — афористическое пра вило содержательной валидности теста. Казалось бы, вполне про стое и очевидное требование. Однако, если при создании теста, когда не используется формализованная методика анализа соот ветствия теста содержанию учебного материала, отклонения от содержательной валидности становятся систематической ошиб кой. Ниже при анализе конкретных систем эти отклонения будут наглядно продемонстрированы, но заключение о возможной со держательной инвалидности теста может быть вынесено сразу же, как только будет установлено, что в содержании предмета не выделены учебные элементы, с опорой на которые строятся тес ты. Незаметно для себя составители тестов отклоняются от кажу щейся им ограниченности содержания предмета и строят тесты на «догадку», которая кажется им такой «простой». Наличие гра фа учебного предмета с наглядным представлением структуры и номенклатуры учебных элементов в предмете позволяет прак тически полностью избежать ошибок в содержательной валидно сти теста. И это не умозрительный, а аналитический подход.

Функциональная (конструктивная) валидность теста оз начает, что тесты построены с ориентацией на некоторый, чётко и точно сформулированный диагностируемый признак качества деятельности по тестируемому предмету. Сопоставляя сконстру ированный тест с требуемой деятельностью по его выполнению, приходят к выводу о функциональной валидности теста.

В теории разделённых параметров чётко выделен такой диа гностируемый признак функциональной валидности теста, как способ выполнения деятельности при решении задания теста:

репродуктивно с подсказкой, репродуктивно по памяти, эвристи чески и творчески. Соответственно любой тест, составленный для диагностики усвоения знаний и умений учащимися, может быть однозначно отнесён к одной из названных выше категорий дея тельности и сделан вывод о валидности его использования отно сительно данной цели обучения.

По способу описания деятельности в тесте судят о его кри териальной валидности. Существенным признаком критери Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА альной валидности теста является ступень абстракции или науч ный язык теста, который должен в точности совпадать с языком описания содержания обучения в учебном предмете.

Афоризм конструктивной и критериальной валидности теста может быть сформулирован, перефразируя излюбленное изрече ние диктаторов: «Цель обучения определяет средства диагности ки качества усвоения знаний».

Конечно, этот афоризм уместен только в том случае, когда цель задана диагностично. Функциональная валидность теста не может быть установлена, если цель обучения не поставлена диа гностично. К примеру, если цель обучения поставлена: «Научить учащихся читать на английском языке», то можно предлагать лю бой тест, но ни его содержательную, ни функциональную, ни кри териальную валидность доказать нельзя. Перефразируем цель:

«Научить учащихся самостоятельно читать литературные тексты на английском языке, составленные на основе базовой (800 единиц) лексики». При такой формулировке цели обучения функционально валидным будет тест на чтение (узнавание по па мяти — 2) английского текста, не выходящего за пределы, огра ниченные обусловленными целью восьмьюстами учебными еди ницами (содержательная валидность). Критериально валидным он станет, если это текст литературный (1), а не какой либо спе циальный. К критериальной валидности следует отнести и соот ветствие теста цели по осознанности усвоения ().

Общепонятность и однозначность описания задания теста означает, что учащемуся ни о чём не надо догадываться, читая за дание теста: оно понятно ему сразу.

Простота теста — это чисто функциональное требование, предотвращающее ошибки оценивания из за склонности соста вителей тестов усложнять их содержание путём наслоения в од ном кадре нескольких тестов, да ещё и разного уровня. В этом случае природа ошибки, если она случается, часто не может быть объяснена.

Требование надёжности теста состоит в том, что оценива ние должно производиться батареей тестов с надёжностью, допу стимой для данной цели контроля качества обучения.

Иногда говорится о скоростных тестах: это те же тесты до стижений с ограничением времени на тестирование. Ограниче ние времени превращает тест достижений в скоростной тест до стижений. Всегда, задавая ограниченное время на выполнение те Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем ста, его превращают в скоростной тест. Необходимость скорост ного теста всегда должна быть доказана и, в случае необходимос ти такового, его требования должны быть соотнесены с индиви дуальным темпом учащегося. Индивидуальный темп учащего ся — это психологическая характеристика учащегося, она должна содержаться в личном деле ученика в разделе, содержащем опи сание его темперамента.

Оценка качества знаний ученика должна выставляться в за висимости от достигнутого им места на траектории процесса ус воения деятельности и по шкале, соответствующей природе оце ниваемого признака. Мы везде используем 12 балльную шкалу отношений, соответствующую процессу восхождения ученика по уровням усвоения деятельности. Оценка по 12 балльной шкале однозначно показывает позицию ученика по качеству его знаний на полном диапазоне возможной человеческой деятельности в данном предмете: от ученической (1) до творческой (4).

Таким образом, изложенная в лекциях № 2–4 дидактическая теория измерения и оценки качества знаний учащихся становится базой для анализа педагогической корректности применяемых в США и России тестовых систем.

3. Анализ тестовой системы SAT Тестовая система SAT — самая распространённая в мире: её услугами пользуются более 200 стран, а тираж её тестов достига ет 12 миллионов. Кроме того, многие страны, включая Россию, создают (копируют) свои тестовые системы под большим влия нием методики, разработанной для SAT.

Главной организацией, разрабатывающей и производящей те сты достижений SAT, является частная корпорация Educational Testing Service, известная с 1947 года по своей аббревиатуре ETS.

Наиболее известные продукты ETS — тесты SAT I и SAT II.

3.1. Тест SAT I Аббревиатура SAT I расшифровывается как Scholastic Aptitude Test, что в относительно свободном переводе означает тест учебных способностей. Авторы этого теста предполагают, что каждый человек в процессе обучения, в зависимости от его врождённых способностей, приобретает некоторые обобщённые Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА навыки учебной работы (понимать прочитанное, находить реше ние проблем, излагать свои мысли и т.п.). При этом прямо указы вается, что эти навыки не обязательно усвоены в процессе обуче ния в школе, они могут быть приобретены самыми разными пу тями, которые предоставляются человеку его реальной жизнеде ятельностью. Для выявления таких обобщённых навыков и их уровня создаётся данный трёхчасовой тест. В него включается материал из различных предметов, не обязательно изучаемых в школе, но который, по утверждению авторов теста, хорошо ди агностирует речевые и математические способности учащихся и таким образом предсказывает их будущие успехи в вузовском обучении. Испытуемый в подавляющем числе предлагаемых тес том заданий должен догадываться, не опираясь на конкретные знания предмета, в чём состоит правильное решение или ответ.

Обоснованием такого типа тестирования его авторы считают тот факт, что в США много школ с низким уровнем образования.

Талантливые дети из этих школ не могут соревноваться на при ёмных экзаменах в вузы по уровню усвоения конкретных знаний с выпускниками «хороших» городских школ. Но они, обладая хо рошими учебными способностями, могут стать достойными сту дентами. Задача теста SAT I — выявление таких способностей.

Никакой психолого педагогической теории способностей, на ко торую опирается построение данного теста, в литературе не при водится. Таким образом, этот тест, хотя и называется тестом до стижений, но «подпольно» переводится в категорию известных тестов интеллекта, отражающих умозрительную позицию их ав торов.

Утверждается, что SAT I надёжно предсказывает будущие ус пехи студента вуза на первом, критическом году обучения. Это утверждение авторов теста входит в катастрофическое противо речие со всей системой школьного образования: если можно ус пешно учиться в вузе только за счёт общих способностей, то для чего вообще необходимо всё 12 летнее общее среднее образова ние? Надо попросту сосредоточиться на развитии этих общих способностей, идти в вуз и получать высшее образование. Широ ковещательные обещания теста привлекли внимание вузов, и тест одно время считался популярным мерилом подготовлен ности студентов к обучению в вузе. Каждый год более миллиона абитуриентов американских вузов соревновались по этому тесту за право обучаться в престижных вузах США.

Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем В то же время сами вузы не получали подтверждения пред сказаний теста, а даже наоборот — успешность обучения приня тых в вуз по этому тесту оставляла желать лучшего. Наиболее точное исследование этой проблемы было предпринято в Кали форнийском университете, где было достоверно установлено, что предсказательная сила теста SAT I (21%) не превышает тако вой по обычному тесту достижений SAT II, диагностирующему качество усвоения школьниками учебных предметов. Калифор нийский университет выступил с инициативой отказаться от те ста SAT I как вступительного испытания к поступлению в уни верситет. За этим последовало значительное сокращение его ис пользования в США. На первое место стал выдвигаться пред метный тест SAT II, который даётся всего на один час и исполь зуется вузами не столько как приёмный критерий, а скорее как материал для распределения студентов по направлениям подго товки.

Педагогический анализ тестов SAT I и II опирается на содер жание многочисленных пособий (Ebel R.L.;

Childs R.A.), излага ющих некоторый набор правил и рекомендаций построения это го типа тестов. Материал этих пособий со всей наглядностью по казывает, что тесты SAT являются примитивными творениями житейского эмпиризма, так как не имеют под собой никакой пси холого педагогической базы, которой бы постулировался некий процесс усвоения опыта человеком, и следствием которого была бы строгая и однозначная методика тестирования состояния это го процесса. Так, тест SAT I направлен в основном на лингвисти ческие и математические способности испытуемых, но оставляет в стороне многие другие их способности, важные для обучения в вузе.

Если учесть, кроме того, что оценивать одним и тем же тестом и «артистов», и «мыслителей» не имеет никакого смысла, так как и те, и другие по SAT I могут быть зачислены в один и тот же вуз, к которому у них диаметрально противоположные способности.

Не это ли обстоятельство повлекло за собой недовольство вузов прогностическими возможностями теста. Понятно, что при от сутствии какой либо членораздельной теории общих способнос тей и представления об их природе и процессе развития невоз можно определить ни содержательную, ни функциональную ва лидность предлагаемых SAT I тестов. Их создание и применение опирается на волюнтаристские «придумки» авторов, а результа Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА ты не сопоставимы ни с какими объективными характеристика ми человеческого опыта, а поэтому ничего, кроме как качество разгадки самого теста испытуемым, о тесте сказать нельзя. В этой же роли могли бы выступить любые наборы загадок, которыми богат народный фольклор. Подобными загадками наполнены все три части теста: его лексическая, математическая и аналитичес кая части.

В лексической части проверяется владение учащимся англий ским языком, но каким английским? Не современным, общеупо требительным литературным английским, а специально подоб ранной смесью из редко употребляемых, архаичных и жаргонных слов, значение которых часто неизвестно даже взрослому и обра зованному носителю языка. В этом нам удалось убедиться в есте ственном мини эксперименте. В пособии для учащихся, готовя щихся к тесту, опубликован список из 100 «трудных слов» («dif ficult words»), которые могут встретиться учащимся в тесте. Мы показали эти слова полудюжине образованных американцев.

В среднем смысл 25% этих слов оказался для них неясным. Ког да же мы сделали небольшую выборку этих неясных американ цам слов и стали показывать их более широкой американской публике, то только «чемпионы» давали смутное объяснение смысла не более чем половине этих слов. Вот эти слова:

Garrulous — Assuage — Buttress — Desiccate — Diatribe — Guile — Aberrant — Prevaricate — Propitiate — Aver — Culpability — Turpitude — Obviate — Occlude — Abscond — Wheedle — Harangue — Insipid — Inchoate — Rarefy — Неудивительно, что более половины выпускников американ ской старшей школы (high school) проваливают лексический тест. Это объясняется тем, что школьные предметы не содержат эту лексику, а следовательно, тест является содержательно инва лидным. Авторы утверждают, что тест SAT I выявляет талантли вых абитуриентов, но не объясняют, какой талант выявляется при угадывании значений ранее незнакомых слов родного языка.

При полуторамиллионном английском словаре совсем не сложно найти две три четыре сотни редко употребляемых или вовсе вы шедших из употребления слов, чтобы поставить в тупик рядово го гражданина страны. С таким же успехом можно было бы пред Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем ложить для угадывания и выявления «лексического таланта»

язык племени Мумбо Юмбо или язык инопланетян со звезды Тау — Кита.

Не случайно в пособии «Cracking the NEW SAT» на почти 40 страницах приводится примерный перечень слов английского языка, которые испытуемый может встретить в тесте, но которые не встречались ему в процессе 12 летнего обучения в школе! Что это, если не беспардонное издевательство над принципом содер жательной валидности теста?

А о чём говорит такое предупреждение в пособии по преодо лению теста?

ETS has gone out of its way to make critical reading questions hard to understand. Therefore, before you go searching for answers to any question, put the question in «English» so you know what you are being asked.

Что в буквальном переводе на русский означает:

«Фирма ETS из кожи вон лезла, чтобы сделать вопросы по кри тическому чтению трудно понимаемыми. Поэтому, прежде чем искать правильные ответы на любой вопрос, переведите вопрос на «английский», чтобы вы поняли, о чём вас спрашивают».

Если к этому ещё добавить многозначность теста, то неудиви тельно, что по показаниям такого теста утверждается, что амери канские школьники не умеют читать. На самом деле тест не отве чает требованию однозначности и общепонятности.

Как, к примеру, ответить на следующее задание теста?

Most of Rick’s friends think his life is unbelievably _, but in fact he spends most of his time on _ activities.

Дальше предлагаются следующие пары слов для заполнения пропусков (псевдо тест подстановка):

(A) fruitful …productive (B) wasteful …useless (C) scintillating …mundane (D) varied …sportive (E) callow …simple Какой вариант вы изберёте и почему? Я не случайно задаю вопрос «почему?»: потому что во всей школьной программе обу чения английскому языку нет правила, по которому можно было бы сделать однозначный выбор ответа в этом тесте. Так, вполне уместен ответ (A), как и ответ (D) или (E). Но создатели теста на стаивают на ответе (C), поскольку он содержит редкие слова.

Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА Математическая часть теста также изобилует загадками, видимо, для выявления математических талантов, но это делает математическую часть теста также содержательно инвалидной.

В пособии по преодолению теста говорится: Always keep in mind that the math tested on the SAT is different from the math taught in school. Думаю, что перевод не требуется даже читателю с мини мальным объёмом английского, усвоенного в школе на первом уровне с К1 ~ 0,3. Такое чёткое подтверждение содержательной инвалидности математической части теста делает его обыкновен ной ловушкой для незадачливых абитуриентов.

В батарею SAT I включаются тесты логического мышления, ко торые авторы теста также расценивают как диагностический ин струмент для выявления талантливых абитуриентов. Не вдаваясь в психологические софизмы и спекуляции о том, что такое логи ческое мышление, авторы этого вида тестов формулируют много ходовые загадки, называя их решение признаком развитого логи ческого мышления.

Вот типовая загадка:

Произошло восемь событий: А, Б, В, Г, Д, Е, Ж, З. Укажите их последовательность, если: Е является третьим;

Ж не было чет вёртым;

Е и Ж являются соседними в последовательности;

два со бытия произошли перед А;

А совершилось перед Г.

Какое отношение эта и подобные завихрённые загадки, пред лагаемые тестом, имеют к нормальному человеческому логичес кому мышлению, необходимому для успешного обучения в вузе?

Это ни компанией ETS, ни в изданных различными компаниями (Kaplan, Arco, Princeton Review и др.) пособиях по натаскиванию абитуриентов на преодоление теста не объясняется. Более того, наличие таких пособий и рекламные утверждения об эффектив ности излагаемых в них тренингов для преодоления теста начис то перечёркивают весь тест. Действительно, если можно натас кать любого выпускника школы на успешное преодоление теста, то утверждение его создателей о том, что он выявляет талантли вых, а не знающих, полностью опровергается, поскольку талант — врождённое качество, которое ни подавить, ни создать на пустом месте невозможно.

И, наконец, последнее. Если можно натаскать на этот тест слабоуспевающих выпускников провинциальных, запущенных школ, то тем успешнее на него натаскаются успешные выпускни ки из школ больших и развитых городов и в итоге исходная по Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем сылка этого теста — уравнять шансы и тех, и других тестом, не за висящим от школьного образования, терпит сокрушительное по ражение. Что и происходит сейчас на практике, но тестовый биз нес не сдаётся. Скомпрометированный тест SAT I переиздаётся под другими названиями аббревиатурами (CAT, GRE, GMAT), но педагогическая их несостоятельность от этого не меняется.

Не снижаются и многомиллионные барыши таких компаний, как ETS, KAPLAN, BARONS и пр., которые спекулируют на педаго гической некомпетентности как родителей, которые платят за те стирование, так и вузовских и школьных администраторов, под вергающих миллионы выпускников школ ненужным и иезуит ским испытаниям.

Означает ли наша критика теста SAT I, что оценка общих способностей учащегося к обучению в вузе — это пустая и наду манная затея? Безусловно. Если обратиться к рисунку 7, то ста нет понятным, что испытуемые с интеллектами А М и М А мо гут получить одинаковые баллы по данному тесту, но как раз личны должны быть рекомендации по направленности их даль нейшей специализации. Тест, однако, не различает этой направ ленности, почему его предсказания и не оправдали ожиданий вузовских преподавателей.

3.2. Тест SAT II Перейдём теперь к анализу предметных тестов достижения SAT II.

Эти тесты, как утверждают их создатели, строятся на базе школьных учебных программ и соответствуют их предметному содержанию: математике, биологии, химии, английскому языку и другим учебным предметам. Другими словами, авторы тестов гарантируют их содержательную валидность. Знакомясь с этими тестами, об их содержательной валидности можно говорить лишь с большой осторожностью и в определённой степени. Почему «осторожно и в определённой степени»? Потому что их содержа тельная валидность не доказывается создателями тестов, а поэто му велика вероятность её нарушения.

Что же касается их функциональной валидности, то здесь, вне всяких сомнений, не было сделано никаких усилий для её обеспе чения. Из за недиагностичности целей обучения в американской Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА общеобразовательной школе не представляется возможным со блюдать требование функциональной валидности теста.

Что измеряет SAT II тест? Он измеряет степень усвоения зна ний учащимися, но как?

В тестовой системе SAT тесты разделяются на «лёгкие», «сред ние» и «трудные», но никаких психолого педагогических различи тельных признаков трудности или лёгкости тестов не приводится.

О трудности лёгкости судят по числу учащихся, преодолевших данный тест. Но это уже зависит не от теста, а от качества обуче ния: при изменении качества обучения трансформируется принад лежность тестов к категории «лёгкий — трудный».

К категории легких тестов относятся такие тесты, на которые большинство студентов отвечают правильно. К категории тестов средней трудности относят тесты, на которые только около поло вины учащихся отвечают правильно. И, наконец, к трудным от носят тесты, на которые большинство студентов отвечают непра вильно. Такая категоризация тестов не имеет ничего общего с корректной методикой измерения и оценки качества знаний учащихся, так как при соблюдении требований содержательной и функциональной валидности тестов, при их соответствии це лям обучения и при успешном учебном процессе, все тесты долж ны быть лёгкими и посильными для всех учащихся. В этом со стоит задача разумного обучения. Если же половина или боль шинство учащихся не в состоянии преодолеть тест, то это не оз начает, что тест слишком труден и надо снижать его трудность.

Это абсолютно точно указывает, что цель обучения ещё не до стигнута, и надо продолжать процесс обучения.

Посмотрим, как критерии лёгкости и трудности тестов при меняются в реальных тестах SAT. Вот два теста, представляющие собой примеры этих разновидностей. Для большей наглядности и точности они приводятся на языке оригинала:

Easy (лёгкий): If 20% of p is 10, then 10% of p is:

А)2;

В) 4;

C) 5;

D) 8;

E) 14.

Hard (трудный): If 200% of 40% of X is equal to 40% of Y, then X is what percent of Y?

A) 10%;

B) 20%;

C) 30%;

D) 50%;

E) 80%.

В чём различие между этими тестами? Оба они — тесты вто рого уровня, представленные в виде псевдо тестов первого уровня. Оба содержат одно и то же число существенных опера ций (две: 1) усмотреть различие;

2) вычислить разницу) и даже Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем относятся к одному и тому же УЭ — вычисление процентов. По чему же первый тест отнесён к категории «лёгкий», а второй к категории «трудный»? Ответ на этот вопрос очевиден: учащи еся плохо подготовлены в элементарной арифметике, что к УЭ «проценты» отношения не имеет. Следовательно, «трудный»

тест содержательно инвалиден. Этот способ создания трудных тестов (нарушение валидности) сплошь и рядом используется авторами тестов SAT. Вот как создаётся «очень трудный» тест по математике (опять на языке оригинала для большей нагляд ности):

Graham walks to school at an average speed of 3 miles an hour and jogged back along the same route at 5 miles an hour. If his total travel ing time was 1 hour, what was the total number of miles in the round trip?

a) 3;

b) 3 1/8;

c) 3 3/4;

d) 4;

e) 5.

Опять тест второго уровня, представленный в виде псевдо те ста первого уровня. Тест содержательно инвалиден, поскольку относится к предмету «Физика», а не «Математика». Чтобы ре шить этот тест, учащиеся должны знать формулу связи пути, ско рости и времени в равномерном движении из курса физики, где эта формула изучается. А если они эту формулу ещё не изучали или не усвоили должным образом? Тогда получается «очень трудный» тест по… математике, поскольку, по предположению автора теста, испытуемый должен «угадать» правильный ответ, а не вычислять его. Вот как, по предположению автора, должен протекать этот процесс «угадывания» (буквальный перевод из «Cracking the NEW SAT»):

Джо (имеется в виду средне успевающий американский школь ник) изберёт ответ «d» на этот вопрос, потому что ответ «4»

кажется ему правильным ответом. Джо думает (?), что тест требует от него вычисления средней скорости движения Грехама и 4 — это среднее между 3и 5. Но Джо не догадывается (?), что он должен учитывать, что Грехам перемещался с разной скоростью в каждом направлении. Его путь в школу длился дольше, чем путь обратно домой. Ответ будет «4», только если Грехам шёл полча са в школу со скоростью 3 мили в час и бежал полчаса обратно до мой со скоростью 5 миль в час, но это не так. Ответ «d» — это ло вушка: авторы тестов ETS включают их среди ответов, посколь ку они знают, что такие ответы будут казаться правильными среднему студенту. Они включают ловушку среди ответов, что Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА бы сделать тест трудным, а не лёгким. (Правильный ответ, меж ду прочим, это «с».) Грехам тратит больше времени пешком при 3 милях в час, чем бегом, при 5 милях в час, поэтому ответ должен быть несколько меньше, чем 4.

Значит, данный «трудный» тест является трудным, посколь ку ученик должен догадываться, а не вычислять правильный от вет. Что же тогда проверяется этим тестом: знание предмета или изворотливость ума? Ведь с этой же логикой рассуждений, без вычислений, «Джо» мог бы выбрать и ответ «b», который не существенно отличается от ответа «с».

Таким образом, тесты SAT не проверяют степень усвоения предмета, а ставят ловушки учащимся, из которых нет метода благополучного выхода на базе знания предмета.

Если показанный тест считается трудным, то как же выгля дит лёгкий тест? В цитированном пособии показывается, как можно сделать этот тест лёгким. Вот как выглядит тот же тест, но в «лёгком» варианте:

Graham walks to school at an average speed of 3 miles an hour and jogged back along the same route at 5 miles an hour. If his total traveling time was 1 hour, what was the total number of miles in the round trip?

a) 0,1;

b) 1;

c) 3 3/4;


d) 1,000;

e) 10,000.

И далее, вполне серьёзно, утверждается, что тест из трудного преобразуется в лёгкий «by writing different answer choices (путём изменения вариантов ответа)». Вот и вся педагогическая теория, стоящая за тестами SAT!

Читатель ещё больше удивится, если узнает, что в инструк ции по оценке знаний учащихся говорится: «Каждый правильный ответ оценивается одним баллом, независимо от того, лёгок ли тест или труден». Возникает комическое недоумение: к чему же тогда вообще «огород городить» из понятий «лёгкий — трудный», если преодоление трудных тестов не даёт никаких преимуществ испытуемому?

В США и ряде стран мира, включая Россию, тестирование похожими тесто подобными материалами приняло огромный размах и превратилось в очень прибыльный бизнес. Целые кор порации производят тесты типа SAT, TOEFL, GRE, ими наводнён тестовый рынок и потребителю не оставляется выбора в море этой сомнительной продукции. Не отстают от своих американ ских учителей и российские предприниматели — благо ни учите Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем ля, ни родители не понимают педагогической невежественности и психологического вреда, сопровождающих такое тестирование.

Все зарубежные тестовые системы в настоящее время имеют один и тот же монопольный источник и построены по одному и тому же принципу: запутать ученика, чтобы он не мог угадать правильный ответ. Но что же тогда ученику делать, если от него требуется угадывать, а не знать предмет? И выход остаётся один:

в сторону предмет, в сторону систематическое изучение предме та, все силы и средства — на натаскивание на возможные ловуш ки и загадки одиозного вопросника под названием SAT или лю бой другой трудно расшифровываемой аббревиатуры. И возни кает море коррумпированных возможностей для ловкачей и кри минальных бизнесов, питающихся педагогическим невежеством деятелей образования.

В названных тестах также используются задания различной конструкции, которые, на первый взгляд, могут напоминать тес ты лестницы. На самом же деле они ничего общего с тестами ле стницами (в нашем смысле этого слова) не имеют, так как эти те сты созданы безо всякой ориентации на обоснованную систему иерархически построенных параметров качества обучения. Если даже по некоей случайности, благодаря авторской интуиции, предлагаемый набор тестов и содержит некоторую иллюзорную иерархию тестов, типа «лёгкий — трудный», то всё равно эта ие рархия не строится осознанно и не принимается в расчёт при оценке работы испытуемого. Общая сумма баллов, которой оце нивается качество исполнения теста, абсолютно некорректна из за отсутствия аддитивности в наборе тестов и абсолютно неин формативна.

Такая оценка знаний испытуемого не только не отражает чёт ко выраженного понятия «качество обучения», но и не даёт до стоверной информации о направлении совершенствования про цесса обучения в случае неудовлетворительных показаний тес тов. Так, собственно, и обстоит дело сегодня как в американской, так и в российской школе: итоговые тесты показывают неудовле творительное качество знаний учащихся, но никто ничего толко вого не может сказать, в каком направлении совершенствовать образование, кроме как: «Того же и побольше!» Полученные пока затели характеризуют только тест, а не качество образования. Пе дагоги не смогли сделать правильные выводы о направлении со вершенствования процесса обучения и пошли по проторенному, Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА но заведомо бесперспективному пути: в США — долларовый впрыск, в России — «увеличить, усилить, навалиться!» То есть всё та же «Эх, дубинушка, ухнем!»

Информация, полученная с помощью волюнтаристски пост роенных итоговых тестов, оказалась столь же бесполезной, как если бы бюро прогнозов погоды объявило, что на завтра ожидает ся изменение погоды, но не объяснило, в чём это изменение со стоит: будет дождь или усилится жара или мороз или наступит оттепель с гололёдом. Также и тесты показали, что учащиеся не удовлетворительно выполнили итоговый тест, но какое это име ет отношение к качеству обучения, выяснить невозможно, так как тест и цель обучения между собой не сопряжены. Не случайно ус пехи учащегося по тестам SAT характеризуются абстрактной суммой баллов, не отражающей никакой известной шкалы оцен ки. Это баллы за искусственно созданный тест, а не за реальное качество знаний.

Подтверждает этот вывод и статья в газете «USA TODAY», в которой выражается общее недоумение резким падением оце нок абитуриентов по новому тесту SAT, введённому College Board в 2005 году. И это недоумение понятно: не может же резко, в течение одного года измениться качество знаний учащихся, обучающихся в тех же самых школах, у тех же самых учителей и по тем же самым программам! А тест показывает резкое ухуд шение, и все недоумевают, почему бы это? Здесь уместна старая российская присказка: «А ларчик просто открывался!» И его «от крывалкой» опять становятся понятия содержательной и функ циональной валидности теста.

В новом тесте ретивые его составители ещё дальше ушли от валидности тестирования и получили желаемый результат: уча щиеся, натасканные на прежний тест, стали проваливать его но вый вариант. Как ответят учителя на это событие? Точно так же, как они уже неоднократно отвечали на причуды прежних SAT:

они начнут «натаскивать» учащихся на этот новый тест, оставив в стороне систематическое обучение содержанию учебных пред метов. Провал в успеваемости учащихся показывает, что они (учителя) попросту ещё не успели перестроиться под него. Это для них единственный выход: когда цель обучения не поставлена диагностично, тогда целью обучения становится диковинным об разом составленный тест. К примеру, школьники Техаса пожало вались, что у них проводится до двадцати тестовых тренингов Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем в неделю! Не отстают от Техаса и другие штаты. Они натаскива ют на тест, не изучая предмет.

Есть в этих манипуляциях валидностью теста и хорошо зама скированный «гангстерский» смысл: вводя «новый» тест якобы повышенной трудности под благовидным предлогом «повыше ния качества образования», на самом деле создаются благоприят ные условия для оживления рынка массовой литературы по ме тодике преодоления теста, а это многомиллиардные дивиденды известных компаний, управляющих тестированием в стране и во многих зарубежных странах. На ум приходят стандартные мето ды гангстеров и бандитов всех стран и народов, особенно чётко отточенные в опыте известного чикагского мафиози Аль Капоне:

бизнесмену предлагают «крышу», он отказывается, считая, что его бизнесу ничего не угрожает. На следующую же ночь помеще ния его бизнеса нещадно громят и сжигают. Ему ничего не оста ётся, как принять предложение бандитов и выплачивать назна ченную ими сумму за «услуги».

И что же в этом случае можно сказать об образовании в вели кой державе США? Оно находится в перманентном кризисном тоннеле, выход из которого даже не просматривается, несмотря на реформаторские усилия очередных президентов и долларовый дождь, падающий на крыши школьных зданий. Здесь не случай но указано «на крыши», поскольку именно образовательные «крыши» (департаменты, борды, многочисленные чиновники от образования) поглощают львиную долю этого дождя, оставляя школе жалкие крохи щедрого финансирования и перманентный тупик.

В противоположность этому любой тест лестница, пост роенный так же, как и цель обучения, на чёткой критериальной основе и сопряжённая с ней 12 балльная шкала точно укажут, каково качество знаний учащихся, а также в чём состоят недо статки обучения. Отсюда несложно сделать действенные выво ды о единственно эффективных путях совершенствования учеб ного процесса и, если надо, точном адресе его финансирования.

4. Тестовая система TOEFL Эта система называется The Test of English as a Foreign Language, в аббревиатуре TOEFL. Уже почти полвека эта система обслуживает нужды американских и канадских учебных заведе Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА ний в отборе иностранных абитуриентов по степени владения ими английским языком. Предполагается, что чем лучше буду щий студент выполнит тест TOEFL, тем лучше он будет учиться в вузе, так как у него будет меньше языковых затруднений. Исхо дя из этой задачи предсказания, построено содержание тестовых проб TOEFL.

Мы нашли нечто созвучное в названии этой системы с име нем одного из главных героев бессмертной поэмы И.В. Гёте «Фа уст», сатаны Мефистофелем и дали системе псевдоним MephisTOEFL. Оказалось, что это не просто созвучие имён. Ког да мы проанализировали сущность этой системы, то уверенно до бавили ей ещё и подзаголовок: «Сатанинские измерения». А те перь судите сами.

Мефистофель — легендарная фигура, порочный искуситель, персонаж средневекового эпоса — дьявол от рождения и сатана по действиям. Ему, согласно легенде, респектабельный учёный, но слабый человек по имени Фауст продал свою душу в обмен на познание сомнительных удовольствий и таинств потусторон него мира. Детали этой очень старой, захватывающей легенды подробно описаны в бессмертной поэме «Фауст» великим не мецким поэтом Иоганном Вольфгангом Гёте и представлены в одноимённой опере французским композитором Чарльзом Франсисом Гуно.

Подобно Фаусту, многие нынешние выпускники школы меч тают увидеть и познать мир сомнительных удовольствий и та инств американских университетов. Для этого они готовы выло жить «круглую сумму», чтобы подвергнуться малообоснованно му экзамену, якобы открывающему им двери в американский вуз.

Как и Фауст, они будут глубоко разочарованы. «Старые» россий ские университеты, те, что по доброй российской традиции учат, а не продают дипломы, намного предпочтительнее американских.

А что касается «сомнительных» удовольствий, то, выражаясь языком известной поговорки: «свинья везде грязь найдёт».


4.1. Фактическая справка Тестовая система TOEFL разработана той же фирмой ETS для оценки качества усвоения английского языка иностранцами, желающими учиться в американских высших учебных заведени ях. Она используется по всему миру миллионами абитуриентов Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем и приносит её владельцам солидную прибыль, которая умножает ся примитивным манипулированием требованиями содержа тельной и функциональной валидности тестов, а также запутан ной шкалой оценки.

Несмотря на то, что эта система тестирования используется во всём мире (180 стран) в течение почти 50 лет, изложения её пе дагогических основ автору этой лекции не удалось обнаружить ни в одной из известных публикаций по проблеме измерения ка чества знаний учащихся. Не обнаружились также отчёты о про верке этой системы в корректном педагогическом эксперименте.

Мои запросы по этому поводу в ETS остались безответными.

Имеющиеся публикации имеют скорее информационный, чем исследовательский характер и не затрагивают педагогического фундамента системы: её валидности, надёжности и предсказа тельности результатов.

Лишь в 2004 году был опубликован отчёт об исследовании состоятельности содержания тестовых заданий TOEFL по раз делам разговорного и письменного экзамена под названием:

Analisis of the TOEFL 2000 Spoken and Written Academic Language Corpus. До этого момента, как указывается в исследовании, ни каких, сколько нибудь значимых исследований TOEFL не про водилось. Результаты этого исследования представляют лишь академический интерес и на содержании тестов TOEFL пока не отражаются.

4.2. TOEFL как он есть Одна из многочисленных публикаций, излагающих сущность системы тестирования ТOEFL, содержится в периодически пере издаваемой книге Master the TOEFL test, издаваемой IDG Books Worldwide, Inc.

Как пишут авторы книги, «цель теста состоит в оценке каче ства знаний английского языка иностранцами, которые хотят учиться в колледжах и университетах, где обучение осуществля ется на английском языке». Соответственно этой цели испытуе мым предлагается четыре набора тестов:

1) Listening — слушание (аудирование);

2) Structure — структура (элементы грамматики);

3) Reading — чтение и понимание текста;

4) Writing — сочинение на свободную тему.

Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА В упомянутой книге даётся следующее разъяснение смысла каждого из тестов:

«…тесты слушания проверяют вашу способность понимать английский язык, употребляемый в США и Канаде. Структур ные тесты проверяют вашу способность распознавать правиль ность написания на стандартном английском. Тесты чтения про веряют способность понимать тексты общего (не специального) содержания. Письменный тест проверяет вашу способность пи сать на стандартном литературном английском». Все четыре на бора тестов, содержащих задания (от 150 до 230), даются испыту емому на три часа с одним перерывом на 10 мин.

После выполнения теста ученику выставляется общая оценка (балл), которая якобы характеризует его знание английского.

Предполагается, что чем выше балл, тем лучше знание языка.

Но ведь один и тот же бал можно набрать при разном знании язы ка. Эту возможность создатели теста игнорируют. По общей оценке учебное заведение должно решать, принимать данного абитуриента или не принимать. Никакого критерия для такого решения не существует: понятно, что одни колледжи требуют на ивысшего балла, а другие, не понимая конкретного смысла этого балла, могут принять абитуриента и без TOEFL с последующим изучением английского в самом колледже. В каждом конкретном случае абитуриенту рекомендуется обращаться в колледж для справки, какой вступительный балл по тесту TOEFL в данном колледже установлен.

4.3. Конструкция тестов TOEFL Тесты аудирования предлагаются в трёх вариантах: в виде краткого диалога, развёрнутого диалога (несколько фраз) и ко роткой лекции.

Например, краткий диалог (в переводе на русский):

А: Вы звонили Пете?

Б: Я позвоню ему, как только вернусь домой.

Текст этот зачитывается только один раз (с экрана компьюте ра или с магнитофона) и далее таким же образом предлагаются один или несколько тестов первого уровня на английском языке!

Вопрос: Что имеет в виду Б?

Ответы для выбора:

1) Б позвонит Пете до возвращения домой;

Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем 2) Б позвонит Пете по возвращении домой;

3) Б позвонит Пете домой;

4) Б позвонит Пете завтра.

А вот тест слушания в оригинале.

Разговор двух студентов, который испытуемый слышит и на блюдает на экране компьютера (приводится в оригинале для точ ности последующего анализа):

Female: That statistics exam was really difficult.

Male: I’ll say! I studied for it, but I hardly knew any of the answers.

Затем, опять же с экрана компьютера даётся следующий тест первого уровня:

What does the man mean?

1) Although he studied, he did not take the test.

2) He was sure about the answers on the test.

3) He hardly made any mistakes on the test.

4) Although he studied, he did not do well on the test.

Четвёртый ответ предполагается правильным.

Структурные тесты предлагаются в виде псевдо тестов под становки и тестов распознавания ошибки. И те и другие выпол няются в виде тестов первого уровня.

Вот пример псевдо теста подстановки:

An instant camera can produce a photograph almost immediately after the picture_ 1) had been taken;

2) is taken;

3) is taking;

4) took.

Тест распознавания ошибки требует от испытуемого найти ошибку в предложении, написанном на стандартном английском.

Например:

Three of the most important qualities of a safe driver are experi ence, attitude, and to concentrate.

В обоих типах тестов деятельность ученика не превышает первого уровня мастерства, поскольку в тестах подстановки пра вильный ответ содержится в предлагаемых вариантах и его надо только распознать. В тесте распознавания ошибок ошибки толь ко распознаются, но не исправляются.

В тестах чтения испытуемому предлагается для чтения пять коротких текстов по 120–250 слов каждый. После прочтения каждого текста испытуемый выполняет 12 тестов распознавания, Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА ответы на которые надо искать в самом тексте. Задача усложня ется тем, что в составе предлагаемых текстов содержится множе ство редких и специальных слов и ученик должен не только пере вести текст, найти необходимый ответ на вопрос, но и распознать скрытый в тексте смысл.

В тестах сочинениях необходимо показать владение языком для изложения своих мыслей. Необходимо в ограниченном по объёму сочинении (200–300 слов) на свободную тему показать свою способность критически мыслить, оригинальность вообра жения и богатство словаря.

4.4. Педагогический анализ ТОЕFL Итак, система тестов ТОЕFL создана для оценки способнос ти иностранных абитуриентов американских и канадских вузов читать и понимать стандартный устный и письменный англий ский язык, владеть его грамматикой и уметь им пользоваться для выражения своих мыслей.

Возникает вопрос: достаточно ли адекватна предлагаемая эк заменационная процедура цели экзамена?

Исходя из изложенной в лекциях № 3 и № 4 теории педаго гических измерений, всякое измерение качества знаний учащих ся должно удовлетворять следующим педагогическим требова ниям:

1) быть содержательно валидным, т.е. осуществляться на ранее изученном множестве УЭ (чему учили, то и надо прове рять);

2) быть функционально валидным, т.е. соответствовать це ли изучения заданных УЭ;

3) быть простым, т.е. содержать одну задачу данного уровня;

4) быть надёжным для точных суждений.

А. Прежде всего содержательно ли валидны тесты ТОЕFL? Чтобы ответить на этот вопрос, надо сопоставить содер жание тестируемого знания с содержанием применяемых тестов.

К сожалению, такое сопоставление сделать невозможно, посколь ку система ТОЕFL не ограничивает себя ни лексическим, ни грам матическим минимумом, на котором строятся тесты. Поэтому про возглашённая цель понимать английский язык и уметь им пользо ваться безразмерна даже для носителя языка. Не случайно амери канцы с молодых ногтей и до седых волос изучают свой язык, как Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем это делают и русские, и немцы, и французы, и представители лю бой другой национальности. И происходит это оттого, что любой национальный язык состоит из миллионов несчитанных лексичес ких единиц, моделей, правил и исключений. Даже лучшие нацио нальные писатели и поэты используют в своём творчестве ничтож ную долю национального языкового богатства. Что же говорить об абитуриенте иностранце, который готовится в специализирован ный вуз чужой страны, где даже самый речистый профессор ис пользует в своём лексиконе две три тысячи стандартных для дан ного предмета лексических единиц? Изучению языка в его неизме римом богатстве посвящают целую жизнь поколения учёных, и они уходят из жизни, так и не завершив изучение этой вечно раз вивающейся материи. Можно ли требовать от иностранного абиту риента безразмерного знания чужого языка? Безразмерная по объ ёму УЭ цель порождает и безразмерное содержание экзамена, и ни о какой содержательной валидности тестов системы TOEFL гово рить не приходится. Экзамен вырождается в примитивную лоте рею ловушку с огромной вероятностью провала испытуемого в каждом тесте. Трудно себе представить, чтобы авторы TOEFL не были знакомы с требованием содержательной валидности теста, поскольку об этом говорится даже в самых примитивных и рецеп турных пособиях по разработке тестов достижения.

Напрашивается вопрос: не по коммерческим ли соображени ям авторы этой тестовой системы преднамеренно и грубо нару шают это требование? На этот вопрос наводит также и подозри тельное нововведение: корпорация ETS, являющаяся разработ чиком и владельцем ТОЕFL, начала публикацию пособия под на званием «Test Prep From Test Maker», что означает «Подготовка к экзамену по пособию от изготовителя тестов». Теперь уже фирма ETS будет продавать доверчивым абитуриентам не только сам тест, но и пособие по его преодолению, монополизируя таким путём весь рынок обучения английскому языку за рубежами США. Игнорируя требование содержательной валидности тестов и каждый раз варьируя тест на неизмеримом массиве языка, экза менаторы лишают испытуемых законной возможности целена правленно подготовиться к экзамену, и им остаётся лишь наде яться на знаменитый русский «авось». Не поэтому ли даже хоро шо подготовленные выпускники средней школы неизменно по лучают довольно низкие оценки по TOEFL? Вряд ли поможет и новое пособие при инвалидности экзамена.

Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА Вряд ли захотят исправления этой педагогической ошибки в тестовой системе ТОЕFL его авторы, но если бы у них такое же лание появилось, то необходимо:

а) точно определить и задать тот лексический минимум, ко торый используется преподавателями в типичном американском учебном заведении и авторами соответствующих учебников. Ис следования показывают, что 3–4 тысячи лексических единиц в прикладных науках и Огденовские (Ogden, C.K.) 800 единиц общежитейской лексики являются хорошим базисом для разви тия языкового сознания учащегося и его дальнейшего языкового развития. В специальном исследовании, проведённом профессо ром Hirsch, E.D., и результаты которого опубликованы в моногра фии под названием «Cultural Literacy» (1987), показано, что куль турная просвещённость образованного американца состоит в зна нии всего 8500 «консептов». Под консептами (concept) понимает ся то же самое, что ранее было названо нами учебными элемента ми (УЭ): объекты, предметы, явления, процессы и методы дея тельности людей. В связи со сказанным, естественным является требование создания словаря минимума, который по всем педа гогическим принципам образования должен быть доступен уча щимся для подготовки к экзамену;

б) точно так же должны быть определены типовые грамма тические формы, используемые в соответствующих науках, и мо дели языка, которые учащиеся должны усвоить.

Эти исходные данные, доступные для учащихся, могут повы сить содержательную валидность ТОЕFL. В противном случае тест превращается в неожиданную ловушку для учащегося. Ведь в обучении всегда у учащегося было законное оправдание незна ния, если он утверждал: «А мы этого не изучали…». Учитель инту итивно придерживается содержательной валидности испытания.

Содержательная же инвалидность ТОЕFL сознательно усугубля ется ещё и тем, что его авторы по тем же соображениям, что и в системе SAT, искусственно усложняют тесты, каждый год включая в них новые специально подобранные 300 слов нестан дартной и редко используемой лексики. Как выше показано, это может поставить в тупик и носителя языка, а не только абитури ента. При этом авторы ТОЕFL неоднократно подчёркивают, что их тесты построены на базе стандартного английского, исполь зуемого в США и Канаде. Что это? Лицемерие или незнание соб ственного продукта?

Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем При анализе структуры тестов ТОЕFL всплывает ещё одна несуразность: студент переводит английские тексты с английско го на английский, а не на свой родной язык, на котором он может точно и полно показать своё понимание иностранного языка. Где гарантия, что при таком «дубль тестировании» не накапливают ся ошибки высказывания при двойном переводе: с английского на русский и с русского на английский?

Существенным нарушением содержательной валидности тес тов понимания английской лексики является требование не столь ко перевода того, о чём говорится в тесте, а логической интерпре тации тщательно завуалированного смысла или вовсе бессмыс ленного тестового высказывания. В приведённом выше примере теста, где обсуждается экзамен по статистике, в альтернативах возможного ответа испытуемому не предлагаются варианты пе ревода, что было бы содержательно валидным для чтения на ино странном языке, а вопрос и варианты ответа на угадывание скры того смысла в высказывании студента. И тест мгновенно транс формируется из языкового в тест проверки логического мышле ния испытуемого. Действительно, вопросом What does the man mean? (Что студент имеет в виду?), а не естественным в этой си туации вопросом What did the man say? (Что студент сказал?) радикально подменяется деятельность испытуемого в тесте: вме сто перевода — логический анализ высказывания при недостатке информации, и тест становится инвалидным относительно про возглашённых целей экзамена. Приведённый в тесте краткий ди алог ничего не говорит переводчику относительно того, экзаме новался ли студент или не экзаменовался. Его фраза: «I’ll say! I studied for it, but I hardly knew any of the answers», в переводе зву чит только так: «Не скажи! Я готовился к экзамену, но не знаю от ветов на вопросы». Из высказывания студента вовсе не следует, что: Although he studied, he did not do well on the test (Несмотря на то, что он готовился, он провалил тест). Вполне может быть, что, несмотря на плохое знание ответов на вопросы теста, он чудом его выполнил или, что, плохо зная ответы (I hardly knew any of the answers…), он вообще не пошёл на экзамен. Тогда не четвёртый, а первый вариант из предлагаемых ответов будет верен.

В любом варианте ответа испытуемый попадёт в расставлен ную для него ловушку содержательной инвалидности теста и сде лает ошибку, вызванную не его незнанием языка, а недостатком данных для принятия однозначного логического вывода. Подоб Bespalko1.qxd 28.02.2008 16:15 Page В.П. Беспалько. ПРИРОДОСООБРАЗНАЯ ПЕДАГОГИКА ная подмена предмета тестирования и сползание в другие облас ти знания (психологию, логику, историю и пр.) разрушает содер жательную валидность теста и ведёт к ложным суждениям о ка честве знаний учащегося по предмету экзамена.

Б. Теперь рассмотрим, насколько функционально валид ны тесты ТОЕFL Для этого сопоставим деятельность, задаваемую тестами TOEFL, с реальной деятельностью студента в американском ву зе. Эта деятельность состоит в слушании лекций, чтении учеб ной литературы, общении на занятиях и вне их, написании кур совых и дипломных работ, пользуясь ограниченной и точно опре деляемой лексикой учебных предметов. Выполняя все эти виды деятельности, студент не получает ни от кого ни помощи, ни под сказки, а действует на основе информации, содержащейся в его памяти. Это значит, что студент должен обладать способностью читать, понимать, общаться и писать на английском языке как минимум на втором уровне усвоения. Соответствует ли деятель ность, задаваемая тестом, этому очевидному требованию? Ниче го подобного. TOEFL не делает различий между тестами разных уровней и оценивает их одинаковым баллом. Тесты слушания, грамматики и чтения — все первого уровня и функционально ин валидны реальной деятельности студента в вузе.

Продолжая анализ TOEFL, представляется весьма странным условие выполнения теста слушания: «Вы прослушаете диалог только один раз. Их не будут повторять, и вам не разрешается делать заметки». Оба ограничения противоречат естественной ситуации общения. В любой момент диалога не будет бестакт ным переспросить: «Простите, не понял». Запрещение повто рить высказывание, которое должно быть понято испытуемым, во первых, вносит ненужную дополнительную нервную напря жённость в экзаменационную процедуру, а во вторых, превраща ет тест достижения в функционально инвалидный тест памяти и внимания.

Запрещение делать заметки и вовсе странно, поскольку соб ственные исследования работников корпорации TOEFL (Hale and Courtney, 1991) показывают, что, делая заметки, испытуемые получают дополнительные знания, лучше запоминают, находят более точные определения. Вот почему даже профессиональные переводчики делают заметки в процессе синхронного перевода.

Почему же абитуриента этого лишают?

Bespalko1.qxd 28.02.2008 16:15 Page Лекция № 5. Педагогический анализ некоторых зарубежных тестовых систем Анализ функциональной валидности тестов понимания уст ной речи приводит к выводу, что все они выполнены на первом уровне усвоения в виде тестов различения. Следовательно, тесты на понимание устной речи функционально не валидны будущей деятельности абитуриентов, качество которой они призваны оце нить. Они ориентируют преподавателей языка и студентов на за ниженный уровень усвоения языка, чем создают для последних затруднённые условия адаптации в англо говорящей среде и воз можную перспективу академической неуспеваемости по этой причине.

В тестах распознавания правописания тесты подстановки све дены к первому уровню деятельности на различение правильно го ответа из четырёх предлагаемых вариантов.

Тесты по нахождению ошибки в предложении можно отожде ствить с типовой задачей, т.е. они валидны второму уровню усво ения только в том случае, если потребуют от испытуемого не только распознать ошибку (первый уровень), но и исправить её.

Тесты на чтение и понимание прочитанного требуют логичес кой и семантической интерпретации текста для выявления их глубинного смысла. Это делает эти тесты валидными третьему уровню усвоения, что излишне усложняет тесты для абитуриен тов, не нацеленных на филологические отделения университетов.



Pages:     | 1 |   ...   | 3 | 4 || 6 | 7 |   ...   | 15 |
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.