авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 | 2 ||

«СОЗДАНИЕ ПИСЬМЕННЫХ ТЕСТОВЫХ ВОПРОСОВ ПО БАЗИСНЫМ И КЛИНИЧЕСКИМ ДИСЦИПЛИНАМ Сьюзан М. Кейс Дэвид Б. Свэнсон ...»

-- [ Страница 3 ] --

Пример блока по диагностике A. Аневризма брюшной аорты K. Панкреатит B. Аппендицит L. Перекрут органа C. Воспалительный процесс в малом тазе M. Пиелонефрит D. Грыжа N. Прободная язва E. Дивертикулит O. Рак толстого кишечника F. Запор P. Тромбоз артерий брыжейки G. Камень в почке Q. Холецистит H. Киста яичника - разрыв R. Эктопическая беременность - разрыв I. Кишечная непроходимость S. Эндометриоз J. Мезаденит T. Язвенная болезнь Для каждого больного с болью в брюшной полости подберите наиболее вероятный диагноз.

1. У 25-летней женщина внезапно появилась постоянная усиливающаяся боль в нижнем правом квадранте живота. Наблюдается тошнота без рвоты. Непосредственно перед началом болей у нее была нормальная дефекация. При осмотре определяется резкая болезненность и напряжение в правой подвздошной области без симптомов раздражения брюшины;

выслушиваются кишечные шумы. При гинекологическом осмотре - резко болезненное образование размерами около 7 см справа. Гематокрит - 32%. Количество лейкоцитов 18000/мм3. Активность амилазы сыворотки в пределах нормы. Анализ кала на скрытую кровь отрицателен.

Ответ: В 2. Мужчина 84 лет в доме для престарелых жалуется на нарастающие боли в нижнем левом квадранте живота, возникающие каждые 3-4 часа в течение последних 3 дней. У него нет тошноты и рвоты;

время последней дефекации неизвестно. При осмотре - мягкий живот с пальпируемым, слегка болезненным образованием в левой подвздошной обаслти. Гематокрит - 40%. Количество лейкоцитов 10000/мм3. Активность амилазы сыворотки в пределах нормы. Анализ кала на скрытую кровь отрицателен.

Ответ: О ГЛАВА 6. ТЕСТОВЫЕ ЗАДАНИЯ РАСШИРЕННОГО ВЫБОРА -R-ТИП Пример блока по ведению больных: тактика A. Наблюдение в приемном покое G. Назначить ЯМР исследование B. Госпитализация для хирургического H. Назначить компьютерную томографию вмешательства C. Госпитализация для терапевтического лечения I. Назначить ультразвуковое исследование D. Госпитализация для эндоскопии J. Отправить домой, назначить анальгетики E. Госпитализация для лапароскопии K. Отправить домой для последующего F. Назначить контрастные исследования наблюдения лечащим врачом Для каждого из следующих больных выберите наиболее подходящий следующий шаг в ведении больного.

Тестовые задания могут представлять больных с аппендицитом, внематочной беременностью, эндометриозом, болезнью Крона, дивертикулитом, абсцессом таза, кризисом при серповидно-клеточной анемии, мочекаменной болезнью, перекрученной кистой яичника или другими распространенными неотложными состояниями. Другие блоки, касающиеся тактики, могут фокусироваться на принятии решения о тактике ведения “по телефону”, принятии решения о переводе/выписке из больницы и т.д.

Пример блока по ведению больных: диагностическое обследование A. Анализ кала на скрытую кровь H. Уровень глюкозы крови натощак B. Пальцевое исследование простаты I. Уровень железа сыворотки C. Рентгенограмма грудной клетки J. Уровень простата-специфического антигена D. Сигмоидоскопия K. Уровень холестерина сыворотки E. Спирометрия L. Функциональное исследование щитовидной железы F. Тест с физической нагрузкой M. ЭКГ G. Уровень гемоглобина Для каждого больного, обратившегося к врачу с целью профилактического осмотра, выберите наиболее подходящее диагностическое исследование.

1. Мужчина 22 лет весом 89 кг (196 фунтов) и ростом 175 см (69 дюймов) выкуривает по одной пачке сигарет в день в течение 8 лет;

физическими упражнениями не занимается. Последний раз обследовался 5 лет назад. Отец перенес инфаркт миокарда в возрасте 48 лет. При физикальном обследовании патологии не выявлено.

Ответ: К 2. Женщина 28 лет весом 70 кг (154 фунта) и ростом 173 см (68 дюймов) выкуривает одну пачку сигарет в день в течение 12 лет;

физическими упражнениями не занимается. Последний раз обследовалась 5 лет назад, хотя сдавала мазок 9 месяцев назад, с нормальными результатами. У отца был инфаркт миокарда в возрасте 48 лет. У бабушки был диагностирован рак толстой кишки в возрасте 62 лет. При физикальном обследование патологии не выявлено.

Ответ: К Пример вариантов ответа для нарушений электролитного баланса A. Гипокалиемия E. Гиперкалиемия B. Гипокальцемия F. Гиперкальцемия C. Гипомагниемия G. Гипермагниемия D. Гипонатриемия H. Гипернатриемия Для каждого из следующих больных, выберите наиболее вероятное нарушение электролитного баланса.

ГЛАВА 6. ТЕСТОВЫЕ ЗАДАНИЯ РАСШИРЕННОГО ВЫБОРА -R-ТИП Пример Вариантов Ответа по Бихевиоризму в Педиатрии Познавательные/ Общие Социальные Языковые навыки двигательные навыки навыки A. Норма Норма Норма B. Норма Норма Задержка C. Норма Задержка Норма D. Норма Задержка Задержка E. Задержка Норма Норма F. Задержка Норма Задержка G. Задержка Задержка Норма H. Задержка Задержка Задержка Для каждого ребенка выберите наиболее подходящее описание развития.

Пример вариантов ответа по питанию/биохимии A. Витамин I. Биотин Витамин B1 (тиамин) J.

. Железо B.

C. Витамин B2 (рибофлавин) K. Йод D. Витамин B6 L. Магний E. Витамин C M. Медь F. Витамин D N. Ниацин G. Витамин E O. Фолаты H. Витамин K P. Цинк Для каждого ребенка с нарушением обмена веществ выберите витамин или минерал, вероятнее всего имеющий отношение к данному состоянию.

ОРГАНИЗАЦИЯ КОМАНДЫ ДЛЯ НАПИСАНИЯ КЛИНИЧЕСКИХ БЛОКОВ R-ТИПА Следующие шаги могут быть полезны, чтобы организовать команду для написания клинических блоков R-типа. Некоторые команды встречались за обедом;

следовали перечисленным ниже этапам и в результате появлялся черновик дюжины или более тестовых заданий от каждого присутствующего.

1. Определите область тематики экзамена. Например, разрабатывая экзамен для проверки способностей диагностировать распространенные клинические проблемы, Вы можете определить тематику списком основных жалоб, таких как:

Анемия Желудочнокишечное кровотечение Обморок Асцит Задержка развития Образование в брюшной полости Боль в груди Зуд Одышка Боль в животе Изменения веса Поражения кожи Боль в спине Кашель Свистящие хрипы Боль в суставах Кровавая рвота/Мелена Сексуальная дисфункция Головная боль Легкое появление синяков Сердцебиение Головокружение Лимфаденопатия Спутанность сознания Диарея Лихорадка Тошнота Желтуха Нарушения движения Утомляемость 2. Подготовьте группу преподавателей, которые будут составлять тестовые задания. Подготовка должна включать краткое обсуждение целей экзамена, несколько примеров тестовых заданий и последовательность, которую необходимо соблюдать при написании тестового задания.

3. Разделите группу на пары для написания тестовых заданий. Каждой паре предлагается написать вопросы и задачи для двух-трех основных жалоб;

они создают список диагнозов для каждой из жалоб и пишут одно или более описание больных соответственно диагнозам, включенным в список вариантов ответа. Ожидается, что производительность будет 20-60 условий заданий от каждой пары (10-20 на каждую жалобу).

ГЛАВА 6. ТЕСТОВЫЕ ЗАДАНИЯ РАСШИРЕННОГО ВЫБОРА -R-ТИП 4. Подчеркните следующие основные моменты для написания условий задания. Каждое тестовое задание должно описывать больного с одним из диагнозов, перечисленных в списке вариантов ответа, начиная с возраста больного, пола, основной жалобы и места оказания помощи, затем анамнез жизни, семейный анамнез (если имеет значение), затем физикальное обследование и данные лабораторных исследований (если включены). В зависимости от задачи блока ситуации могут быть короткими, схематичными презентациями или более полными описаниями, которые предлагают тестируемым определить ключевую информацию. Каждое описание больного должно быть схоже по структуре с другими в данном блоке. Например, если расовая и этническая принадлежность или профессия включены в одно тестовое задание, такие же данные должны включаться во все остальные;

если данные лабораторных исследований включаются в одно тестовое задание, включите их и во все остальные.

5. Для просмотра и анализа тестовых заданий объединяйте пары в более крупные группы. Автор читает свои тестовые задания вслух;

остальные пытаются найти правильный ответ. Группа также проверяет список вариантов ответа и изменяет тестовое задание или список вариантов ответа таким образом, чтобы избежать двусмысленности.

6. Печатайте, редактируйте и предлагайте тестовые задания к анализу независимым экспертам.

Тестовые задания следует анализировать без указания правильного ответа.

7. Конструируйте тест. Выберите образцы тестовых заданий по каждой из жалоб;

сохраните оставшиеся для последующих экзаменов. Такие тестовые задания можно превратить в формат с одним лучшим ответом путем добавления вводного вопроса и использования пяти лучших вариантов ответа из списка.

ФОРМА ДЛЯ НАПИСАНИЯ БЛОКОВ R-ТИПА Тема: (например, представляемая жалобы) Вводный вопрос: (например, для каждого больного с лихорадкой выберите наиболее вероятный диагноз) Варианты ответа A. N.

B. O.

C. P.

D. Q.

E. R.

F. S.

G. T.

H. U.

I. V.

J. W.

K. X.

L. Y.

M. Z.

(Пишите тестовые задания на отдельных страницах) ГЛАВА 6. ТЕСТОВЫЕ ЗАДАНИЯ РАСШИРЕННОГО ВЫБОРА -R-ТИП ПРИМЕР АЛГОРИТМА SPSSX ДЛЯ ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ТЕСТОВ С ВОПРОСАМИ МНОЖЕСТВЕННОГО ВЫБОРА, ВКЛЮЧАЯ ТЕСТОВЫЕ ЗАДАНИЯ РАСШИРЕННОГО ВЫБОРА Представленный ниже алгоритм SPSSX можно использовать в качестве модели для оценивания результатов гипотетического теста, в который входит до 100 тестовых заданий множественного выбора;

каждое тестовое задание имеет до 26 вариантов ответа, но только один из них правильный. Не представляет труда изменить алгоритм для теста любой длины.

Принято, что:

• код ответов записан в файле KEY.DAT (формат: восьмизначный идентификационный номер экзамена, за которым следует пробел и 100 правильных ответов);

• ответы экзаменуемых записаны в файле RESPONSE.DAT (формат: номер социального страхования или любой другой девятизначный индентификационный номер экзаменуемого, пробел, восьмизначный идентификационный номер экзамена, ответы экзаменуемого на 100 тестовых заданий);

• итог анализа тестовых заданий показывает распределение ответов на каждое тестовое задание, плюс коэффициент достоверности (альфа-коэффициент);

и • результат представляется вместе с идентификационным номером экзаменуемого, плюс процент правильных ответов и стандартный результат (записаны в файле REPORT.LIS). Файл REPORT.LIS можно импортировать в текстовый редактор “Word” для улучшения внешнего вида информации.

Опытные пользователи SPSSX должны легко понять данный алгоритм. SPSSX предоставляет определенные возможности для работы с файлами, которые несколько напоминают реляционные базы данных (показаны в командах AGGREGATE и MATCH FILES);

они обеспечивают присоединение ключа ответов к индивидуальной записи каждого экзаменуемого, рассчитывают среднее значение и SP и присоединяют их к индивидуальной записи каждого экзаменуемого.

Достаточно очевидно, как обобщить алгоритм для обработки части результатов, обработки более сложных алгоритмов подсчета и т.д.

TITLE SAMPLE SPSSX FOR SCORING A HYPOTHETICAL 100-ITEM SUBTITLE MULTIPLE CHOICE TEST - DAVE SWANSON, SEPTEMBER 6, SET LENGTH=64/WIDTH= COMMENT READ IN AND SAVE THE ANSWER KEY FILE HANDLE KEYDAT/NAME='KEY.DAT' DATA LIST FILE=KEYDAT/ EXAMCODE,KEY1 TO KEY (A8, 1X, 100A1) FILE HANDLE KEYSYS/NAME='KEY.SYS' SAVE OUTFILE=KEYSYS COMMENT READ IN EXAMINEE RESPONSE STRING RECORDS FILE HANDLE RESPDAT/NAME='RESPONSE.DAT' DATA LIST FILE=RESP/ SSN,EXAMCODE,RESP1 TO RESP (F9.0, 1X, A8, 1X, 100A1) COMMENT ADD THE ANSWER KEY TO RESPONSE STRING RECORDS MATCH FILES FILE=*/TABLE=KEYSYS/BY EXAMCODE COMMENT COMPARE THE ANSWER KEY TO RESPONSES AND CREATE A 0/1 VECTOR OF COMMENT INCORRECT/CORRECT ANSWER VECTOR SCORE(100,F1.0) DO REPEAT K=KEY1 TO KEY100/R=RESP1 TO RESP100/S=SCORE1 TO SCORE COMPUTE S= IF (K EQ R) S= END REPEAT COMMENT PRINT A CROSSTABULATION OF RESPONSES FOR EACH ITEM TABLES FORMAT=CWIDTH(10,3) NSPACE LIGHT/ TABLE=RESP1+ RESP2+... + (you'd actually need to type all of these in) RESP100 BY (LABELS)/ STATISTICS=COUNT((F3.0) `') COMMENT GENERATE RELIABILITY STATISTICS RELIABILITY VARIABLES=SCORE1 TO SCORE100/ SCALE(TOTAL)=SCORE1 TO SCORE100/ STATISTICS=DESCRIPTIVE, SCALE, ANOVA/ SUMMARY=ALL COMMENT CALCULATE A PERCENT CORRECT SCORE FOR THE TOTAL TEST COMPUTE PCSCORE=100*MEAN(SCORE1 TO SCORE100) COMMENT CALCULATE A STANDARD SCORE FOR THE TOTAL TEST FILE HANDLE MEANSD/NAME='MEANSD.TMP' AGGREGATE OUTFILE=MEANSD/BREAK=EXAMCODE/ PCMEAN=MEAN(PCSCORE)/PCSD=SD(PCSCORE) MATCH FILES FILE=*/TABLE=MEANSD/BY EXAMCODE COMPUTE STDSCODE=500+100*(PCSCORE-PCMEAN)/PCSD COMMENT WRITE OUT A SCORE REPORT FILE HANDLE REPORT/NAME='REPORT.LIS' WRITE OUTFILE=REPORT/ SSN,PCSCORE,SDSCORE (3F9.0) EXECUTE FINISH ГЛАВА 6. ТЕСТОВЫЕ ЗАДАНИЯ РАСШИРЕННОГО ВЫБОРА -R-ТИП СРАВНЕНИЕ ТЕСТОВЫХ ЗАДАНИЙ ФОРМАТОВ ПЯТИ ВАРИАНТОВ ОТВЕТА И РАСШИРЕННОГО ВЫБОРА В некоторых исследованиях по определению оптимального числа вариантов ответа для тестовых заданий множественного выбора мы выяснили, что при прочих равных условиях большее число вариантов лучше, чем меньшее. Основываясь на анализе заданий, используемых в лицензионных экзаменах NBME, тестовые задания расширенного выбора имеют лучшую разрешающую способность, чем любой другой формат. За ними следуют 5-вариантные вопросы А-типа, а различные формы тестовых заданий формата верно/неверно являются худшими. Этот же вывод подтвердился в контролируемых исследованиях, сравнивавших эквивалентные в иных отношениях 5-вариантные задания и задания расширенного выбора.

Сравнимые уровни воспроизводимости достигаются при использовании на одну треть меньше тестовых заданий расширенного выбора, чем 5-вариантных тестовых вопросов. Также было найдено, что тестовые задания расширенного выбора более сложны, чем параллельные по содержанию 5-вариантые, так как меньше вероятность простого угадывания правильного ответа;

также авторы тестовых заданий не всегда в состоянии выбрать наиболее функциональные дистракторы при уменьшении количества вариантов до 5.

Приведенная ниже таблица показывает ответы экзаменуемых на тестовое задание, представленное в 5 вариантном и 15-вариантном форматах. Изначально оно было написано в формате с 15 вариантами ответа;

затем автор уменьшил число вариантов до 5, выбрав, по его мнению, лучшие дистракторы (B, F, G, J, N).

Задание оказалось значительно легче в 5-вариантном формате (р-величина 81 против 59), а разрешающая способность значительно ниже (не показана). Вероятность выбора студентами правильного ответа в 5 вариантном формате возрастает особенно потому, что авторы заданий не единообразно определяют наиболее привлекательные дистракторы (например, вариант D). Тесты, составленные из тестовых заданий расширенного выбора, имеют тенденцию к лучшему распределению студентов с низкими способностями;

расширенный список вариантов ответа дает им больше возможностей продемонстрировать то, что они не знают.

Ответы экзаменуемых Формат A B C D E F G H I J K L M N O 5-вариантов 81 * 4 0 14 * 15-вариантов 2 59 2 13 1 2 1 0 1 7 2 2 3 0 Case SM, Swanson DB, Ripkey DR. Comparison of items in five-option and extended-matching format for assessment of diagnostic skills. Academic Medicine.

1994;

69 (suppl):S1-S3.

Case SM, Swanson DB. Extended-matching items: a practical alternative to free-response questions. Teaching and Learning in Medicine. 1993;

5(2):107-115 Swanson DB, Case SM. Trends in written assessment: a strangely biased perspective. In: Harden R, Hart I, Mulholland H, eds., Approaches to Assessment of Clinical Competence. Norwich, England: Page Brothers;

1992:38-53.

ГЛАВА 7 ТЕСТОВЫЕ ЗАДАНИЯ ВЫБОРА N ВАРИАНТОВ:

РАСШИРЕНИЕ ФОРМАТА РАСШИРЕННОГО ВЫБОРА Формат Выбора N вариантов сходен с форматом тестовых заданий расширенного выбора;

основная разница заключается в том, что экзаменуемому предлагается выбрать 2, 3, 4 или даже 5 вариантов из предложенного списка. Как и в блоках расширенного выбора, список вариантов ответа может включать до единиц. Формат был разработан с целью замены тестовых заданий с отрицаниями (“не”, “кроме”) или с двойными вариантами ответа, особенно в таких областях, как Поддержание Здоровья и Профилактика Заболеваний. Тестовые задания могут фокусироваться на различных больных с разнообразными факторами риска, которые приходят на обычное обследование. Тестируемого просят выбрать лабораторные исследования или прививки, которые необходимо провести каждому пациенту. Такой формат также приемлем для тестовых заданий по неотложным состояниям, где несколько действий выполняется одновременно;

экзаменуемого просят выбрать определенное число действий из списка вариантов ответов.

Правила по написанию этих тестовых заданий такие же, что и для блоков расширенного выбора.

Варианты ответа должны быть короткими (обычно одно слово или очень короткая фраза);

клинические ситуации могут быть длинными. Если блок требует принятия решения по ведению больных, каждая клиническая ситуация должна содержать весь относящийся к проблеме анамнез и данные физикального обследования. Как и блоки расширенного выбора, формат хорошо срабатывает в тестовых заданиях, которые кажутся крайне легкими. Следует избегать использования запутанных или неоправданно сложных клинических ситуаций.

Формат выбора N вариантов предполагает определение точного количества ответов, которые надо выбрать. Мотив такого решения обуславливается основной разницей между тестовыми заданиями форматов верно/неверно и с одним лучшим ответом, при которой тестовые задания формата верно/неверно требуют от тестируемого указать все подходящие ответы, а задания с одним лучшим ответом - конкретный ответ.

Указание числа вариантов ответа, подлежащих выбору, изменяет задачу от выбора верных/неверных ответов к выбору наилучших ответов.

ГЛАВА 7. ТЕСТОВЫЕ ЗАДАНИЯ ВЫБОРА N ВАРИАНТОВ: РАСШИРЕНИЕ ФОРМАТА РАСШИРЕННОГО ВЫБОРА A. Болезнь Вернике F. Латеральный медуллярный синдром B. Болезнь Паркинсона G. Медуллобластома C. Болезнь Хантингтона H. Свинцовая энцефалопатия D. Глиома варолиева моста I. Спинная сухотка E. Диабетическая полинейропатия J. Рассеянный склероз У мужчины 50 лет наблюдается постепенное появление спутанности сознания, дезориентация и потеря краткосрочной памяти. При осмотре - свисающаяся левая стопа. В мазке крови микроцитоз и базофильная зернистость эритроцитов. (Выберите два наиболее вероятных диагноза) В приведенном выше примере могло бы возникнуть разногласие в отношении вероятных диагнозов, но задача становится более четкой, если экзаменуемому предложить выбрать два наиболее вероятных диагноза. Варианты выбора можно определить следующим образом.

J F G H E B D C Наименее вероятный диагноз Наиболее вероятный диагноз Пример блока выбора N вариантов A. Витамин А G. Витамин E B. Витамин B1 (тиамин) H. Железо C. Витамин B6 I. Кальций D. Витамин B12 (цианокобаламин) J. Фолиевая кислота E. Витамин C K. Фтор F. Витамин D Для каждого ребенка подберите наиболее подходящий витамин или минеральную добавку.

1. Младенца в возрасте 1 месяца принесли к врачу на профилактический осмотр. Ребенок находится исключительно на грудном вскармливании, при обследовании все данные в пределах нормы.

(ВЫБРАТЬ 2 ДОБАВКИ) Ответ: К, F 2. Девочка 6 лет страдает муковисцидозом. Она не принимает никаких медикаментов. (ВЫБРАТЬ ДОБАВКИ) Ответ: A, F, G Пример блока выбора N вариантов A. Анализ кала на лейкоциты F. Посев крови B. Анализ мочи G. Посев мочи C. Анализ и посев спинномозговой жидкости H. Рентгенография брюшной полости D. Общий анализ крови.

I Рентгенография грудной клетки E. Определение уровня электролитов в сыворотке Для каждого ребенка с лихорадкой выберите наиболее подходящие первоочередные диагностические исследования.

1. Ранее здоровая девочка в возрасте 1 года поступила в приемное отделение по поводу лихорадки на протяжение 1 дня. Температура 41°С (105,8°F). Других симптомов нет. При физикальном исследовании патологии не обнаружено. (ВЫБРАТЬ 4 ИССЛЕДОВАНИЯ) Ответ: F, D, G,I 2. Ранее здоровый 10-дневный новорожденный поступил в приемное отделение с температурой в течение 2 часов. Рожден в срок. Беременность протекала без осложнений. Температура 39°С (102,2°F). При физикальном исследовании патологии не обнаружено. (ВЫБРАТЬ ИССЛЕДОВАНИЙ) Ответ: C, F, D, E,G,I 3. Мальчик 7 лет с серповидно-клеточной анемией поступил в приемное отделение с температурой в течение 1 суток и болью в груди на протяжение 1 часа. Температура 39,5°С (103,1°F). Дыхание слегка ослаблено в правой нижней части легкого, дыхательной недостаточности нет (ВЫБРАТЬ ИССЛЕДОВАНИЯ) Ответ: F, D, I ГЛАВА 7. ТЕСТОВЫЕ ЗАДАНИЯ ВЫБОРА N ВАРИАНТОВ: РАСШИРЕНИЕ ФОРМАТА РАСШИРЕННОГО ВЫБОРА РАЗДЕЛ IV ДОПОЛНИТЕЛЬНЫЕ ТЕМЫ Данный раздел охватывает дополнительные темы, имеющие отношение к тестированию.

ГЛАВА 8 ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ АНАЛИЗА ТЕСТОВОГО ЗАДАНИЯ Многие школы предоставляют преподавателям итоговый анализ тестовых заданий после каждого экзамена с применением тестовых заданий множественного выбора. Этот анализ является превосходным источником информации о тестовых заданиях и полезен для оценки их качества, а также оценки точности ответов-ключей.

В качестве примера ниже приведены результаты анализа 4-х тестовых заданий, отражающие распространенную ситуацию. Тестируемые студенты были разделены на лучшую (Hi) и худшую (Lo) группы, основываясь на их результатах по всему тесту. Если у вас небольшое число экзаменуемых, включите в группу Hi 50% лучших студентов, а оставшиеся 50% включите в группу Lo. Если число экзаменуемых большое, в группу Hi можно включить 25% студентов с лучшими результатами, а в группу Lo - 25% с худшими.

Обычно, итоговый анализ отдельного тестового задания показывает процент студентов в каждой из групп, выбравших тот или иной вариант ответа. Часто в него также включаются некоторые показатели уровня сложности тестового задания (например, "р-величина" или процент студентов, выбравших правильный ответ), а также степени дискриминации (например, бисериальную или точечную). При итоговом анализе мы рекомендуем обращать больше внимания на характер ответов, а не на уровнь сложности или индекс дискриминации.

ГЛАВА 8. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ АНАЛИЗА ТЕСТОВОГО ЗАДАНИЯ В приведенных ниже примерах для каждого варианта ответа показан процент студентов, выбравших данный ответ в качестве правильного. Итоговый ряд в этой таблице содержит проценты ответов по всей группе тестируемых. Например, в тестовом задании #1 в группе Hi ответ А выбрали 1% студентов, ответ B тоже 1%, C - 94%, D - 4%, E - 1%, F - 2%. В том же задании по группе Lo ответ А выбрали 21% экзаменуемых, ответ В - 6% и т.д. Звездочкой отмечен ответ В, который подразумевался, как правильный.

Тестовое задание # Группа A B* C D E F 1 94 4 1 Hi 21 53 15 6 Lo Все 9 2 77 8 3 р-величина: 2 индекс дискриминации: -0, Интерпретация: Это типичный пример тестового задания с некорректно выбранным правильным ответом: если правильный ответ - Вариант В, то задание является очень сложным с отрицательным индексом дискриминации, а количество студентов, правильно ответивших на него, равно только 2%.

Напрашивается предположение, что правильным ответом является ответ С, но в этом можно убедиться только после анализа данного тестового задания экспертом по предмету. Если правильным окажется ответ С, то р-величина становится равной 77, а индекс дискриминации 0,46. Оба эти значения являются исключительно хорошими с точки зрения статистики, и нет смысла изменять тестовое задание.

Тестовое задание # Группа A B C* D E F 0 1 4 4 Hi 0 1 29 8 Lo Все 0 1 76 15 7 р-величина: 76 индекс дискриминации: 0, Интерпретация: 91% тестируемых из группы Hi и 61% группы Lo выбрали правильный ответ. Это отличные статистические данные. Следовало бы переписать ответы А и В перед тем, как снова использовать данное тестовое задание, поскольку лишь отдельные студенты выбрали их.

Тестовое задание #3 Группа A B C* D E F 45 1 2 1 Hi 21 15 23 20 Lo Все 33 7 34 15 11 р-величина: 34 индекс дискриминации: 0, Интерпретация: 51% тестируемых из группы Hi и 21% группы Lo выбрали правильный ответ. Это очень сложное тестовое задание и, вероятно, С НИМ НЕ ВСЕ В ПОРЯДКЕ. Слишком много тестируемых из группы Hi выбрали вариант А;

возможно, тестовое задание плохо сформулировано. Проверьте также, насколько хорошо изложен ответ А и убедитесь, не является ли он в равной степени правильным.

Тестовое задание # Группа A B C D E F 19 10 17 2 Hi 25 24 26 4 Lo Все 23 17 34 23 3 р-величина: 34 индекс дискриминации: 0, Интерпретация: Ответы на вариант С по группам Hi и Lo разделились, как в тестовым задании #3, но с данным заданием может быть ВСЕ В ПОРЯДКЕ. В отличие от задания 3 тестируемые, не знающие правильного ответа, распредилились по дистракторам. Конечно было бы желательно проанализировать варианты А, В и D на правильность и ясность формулировки.

ГЛАВА 8. ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ АНАЛИЗА ТЕСТОВОГО ЗАДАНИЯ 104 ГЛАВА 9 КАК УСТАНОВИТЬ КРИТЕРИЙ СДАЛ/НЕ СДАЛ ОПРЕДЕЛЕНИЯ И ОСНОВНЫЕ ПРИНЦИПЫ.

Критерии могут быть классифицированы как относительные и абсолютные. Относительный критерий основывается на результатах, показанных группой, сдающей тест. Экзаменуемые “сдают” или “не сдают” тест в зависимости от того, насколько хорошие результаты они показали относительно других участников тестируемой группы. Приведем примеры относительных критериев:

Набравшие менее среднего результата минус 1,2 стандартного отклонения считаются несдавшими тест.

Несдавшими считаются 20% худших из группы.

В отличие от относительного, для определения абсолютного критерия не проводится сравнение результатов одного экзаменуемого относительно других, принимавших участие в тестировании. Решение “сдал” или “не сдал” в этом случае определяется только результатом экзаменуемого, независимо от результатов остальных тестуемых. При этом все экзаменуемые могут сдать тест или все могут не сдать его.

Приведем пример абсолютного критерия:

Несдавшими считаются те, которые ответили правильно менее чем на 60% вопросов.

Если нет веских причин “отсеять” заданное количество экзаменуемых, то абсолютный критерий (основанный на результатах каждого экзаменуемого) предпочтительнее относительного (основанного на определенном проценте отсева).

Основные принципы установки критериев.

• Независимо от используемой процедуры, установка критериев требует экспертного заключения.

Установка критериев всегда произвольна, но не должна быть чьей-либо прихотью.

• Если нет определенной причины отсеять заданное количество экзаменуемых (например, имеется фиксированное число вакантных мест), то критерий, основанный на уровне овладения предметом, предпочтительнее критерия, основанного на определенном проценте отсева.

ГЛАВА 9. КАК УСТАНОВИТЬ КРИТЕРИЙ СДАЛ/НЕ СДАЛ • К процессу установки критериев разумно привлекать разносторонне информированных экспертов.

При этом неизбежно появляются различные мнения, что уменьшает эффект ястреба/голубки.

• На определенном этапе установления критериев экспертам должны быть предоставлены данные об успеваемости экзаменуемых. Установка критериев без учета таких данных может привести к неинформативным критериям и необоснованным результатам.

Полезную информацию, как установить критерии, можно найти в:

Livingston SA, Zieky MJ. (1982) Passing Scores: A Manual for Setting of Perfomance on Educational and Occupational Tests. Princeton: Educa tional Testing Service.

ДВА МЕТОДА УСТАНОВКИ КРИТЕРИЕВ, ОСНОВАННЫЕ НА ЭКСПЕРТНОМ ЗАКЛЮЧЕНИИ О ТЕСТОВЫХ ЗАДАНИЯХ Модифицированная процедура Эбеля.

• Группа экспертов обсуждает характеристики "пограничного экзаменуемого" - экзаменуемого, навыков которого как раз достаточно, чтобы сдать экзамен.

• Эксперты подразделяют тестовые задания на “Необходимые”, “Важные” и “Индикаторные”.

• Эксперты определяют число тестовых заданий в каждой категории, на которые должен правильно ответить по"граничный экзаменуемый".

• Критерий сдал/не сдал расчитывается как суммарный процент возможных баллов "пограничного экзаменуемого".

Модифицированная процедура Ангоффа.

• Группа экспертов обсуждает характеристики "пограничного экзаменуемого".

• По каждому тестовому заданию эксперты оценивают возможный процент пограничных экзаменуемых, которые ответят на него правильно.

• Критерий сдал/не сдал вычисляется, как среднее значение прогнозируемых процентов по каждому тестовому заданию.

Типичные варианты процедуры Ангоффа.

• Экспертам могут предоставляться или не предоставляться правильные ответы на вопрос.

• Экспертам может предоставляться или не предоставляться информация о проценте экзаменуемых, правильно ответивших на каждое тестовое задание.

• После подготовки эксперты могут работать как в группе, так и индивидуально.

ГЛАВА 9. КАК УСТАНОВИТЬ КРИТЕРИЙ СДАЛ/НЕ СДАЛ ОТНОСИТЕЛЬНЫЕ И АБСОЛЮТНЫЕ КОМПРОМИСНЫЕ КРИТЕРИИ: МЕТОД ХОФСТИ В последнее время было разработано несколько так называемых "компромисных моделей", которые используют положительные стороны как относительных, так и абсолютных процедур установки критерия.

Один из таких методов - метод Хофсти - описан ниже.

1. Эксперты просматривают копию экзамена.

2. Затем эксперты устанавливают следующие значения, которые определяют приемлемые критерии:

• Наименьший приемлемый процент экзаменуемых, не сдавших экзамен (минимальная “норма”! провалов).

• Наибольший приемлемый процент экзаменуемых, не сдавших экзамен (максимальная “норма” провалов).

• Наименьший результат, позволяющий сдать экзамен (минимальный проходной балл).

• Наибольший результат, который можно потребовать от экзаменуемых для сдачи экзамена (максимальный проходной балл).

3. После тестирования строится кривая процента несдавших, как функция от проходного балла (процента правильных ответов). (На приведенном графике кривая поднимается слева направо).

4. Четыре значения, полученные в #2, формируют % прямоугольник. Часто для этого используются н средние значения по группе кспертов. В нашем е примере соответствующий уровень отсева по с д между а оценкам экспертов находится в значениями 0 и 20% (горизонтальные пунктиры ш 30и на графике), а соответствующая точка сдал/не х сдал находится между значениями 50% и 60% (вертикальные пунктиры).

5. Строится диагональ от верхнего левого угла 50 55 60 65 70 75 80 прямоугольника к нижнему правому. Точка % правильных ответов пересечения диагонали с кривой дает численное значение критерия (т.е. в нашем примере несколько выше 55 % правильных ответов).

Полезную информацию о компромисных методах можно найти в::

de Gruijter D. Compromise models for estadlishing examination standards& Journal of Educational Measurement. 1985;

22:263-269.

ГЛАВА 10 О НЕКОТОРЫХ АСПЕКТАХ ТЕСТИРОВАНИЯ Мы предлагаем вам свои размышления по достаточно разнородным темам. В целом высказанные идеи гипотетичны и базируются скорее на отдельных случаях, а не на доказательствах. Поэтому они отражают наши домыслы, а не являются результатом строгих научных исследований.

Многоэтапные экзамены (напр., практические экзамены, “стипльчез”, OSCEs - Objective Struc tured Clinical Examinations - Объективные Структурированные Клинические Экзамены).

Многоэтапные экзамены, несмотря на то, что они более сложны для подготовки и проведения, являются очень полезными в фундаментальных дисциплинах, особенно при оценке манипуляционных навыков, которые не могут быть оценены при бланковом тестировании (например, умение работать с микроскопом, выполнение лабораторных процедур). Кроме того, воспроизведение некоторых тестовых материалов ( радиологические изображения, цветные иллюстрации) обходится очень дорого. В такой ситуации многоэтапный подход к проведению теста может снизить организационные расходы.

Домашние экзамены.

Домашние экзамены могут являться эффективным учебным методом для студентов, заставляя студентов читать много и глубоко вникать в важные разделы. К сожалению, студенты стремятся исписать ответами целые тома, и не всегда понятно, являются ли эти ответы их собственной работой. Такие же преимущества могут быть достигнуты путем распространения тестовых заданий заранее (в большем количестве, чем будет на экзамене), а сдача экзамена (части предварительно распространенных вопросов) будет производиться в течение фиксированного времени.

Экзамены с открытой книгой Такие экзамены могут быть очень хороши тем, что влияют на типы вопросов, подготавливаемых преподавателями. В экзаменах с открытой книгой бессмысленно задавать вопросы об отдельных фактах, которые можно быстро найти на одной странице учебника, поэтому при разработке тестовых заданий для таких экзаменов внимание уделяется пониманию ключевых концепций и принципов в проблемных ситуациях.


Что лучше: частые короткие опросы или редкое тестирование?

Редко проводимое тестирование делает каждый экзамен важным событием;

студенты могут даже прекратить посещение занятий для подготовки к тестированию, что кажется нежелательным. Кроме того, редко проводимое тестирование приводит к тому, что студенты не могут определить, изучают ли они необходимый материал, и достаточного ли глубоко он изучается. Поэтому хотя частое тестирование занимает ГЛАВА 10. О НЕКОТОРЫХ АСПЕКТАХ ТЕСТИРОВАНИЯ больше времени у преподавателей, оно снижает важность каждого отдельного экзамена и помогает студенту лучше оценить свой прогресс. В целом, частое тестирование кажется более предпочтительным, хотя студенты склонны жаловаться независимо от предлагаемого подхода.

Хранить ли тесты “в секрете” или позволять студентам знакомиться с ними ?

Поскольку тесты могут оказывать значительное направляющее воздействие на процесс изучения материала, то ознакомление студента с тестовыми заданиями безусловно помогает ему концентрировать внимание на ключевых темах, способствует достижению целей курса и освоению учебного плана (если, конечно, тестовые материалы отражают их). Однако подготовка хороших экзаменационных вопросов является очень длительной процедурой и со временем качество тестовых материалов может снизиться, если преподаватели вынуждены каждый раз разрабатывать новые тестовые материалы к началу курса. Возможно, наилучшим подходом является ознакомление студентов с примером качественных тестовых материалов с целью воздействия на процесс обучения, но при этом сохранять банк “секретных” заданий для повторного использования. Однако следует помнить, что секретность будет невысокой, поскольку обычно студенты запоминают вопросы и обмениваются друг с другом.

Использование накопительных тестов.

Накопительные тесты, которые требуют от тестируемых знания всего пройденного на данный момент учебного материала, обращают внимание студентов на взаимосвязи между темами, особенно если тестовые вопросы требуют понимания как ранее пройденного, так и нового материала. Использование тестов, которые включают только материал, усвоенный после предыдущего тестирования, способствуют тому, что студенты изучают темы как бы изолированно, теряя между ними взаимосвязь. Поскольку иногда студенты плохо справляются с серией экзаменов из-за того, что они так и не изучили базовый материал, этот подход может также побуждать студентов восполнить пробелы в знаниях.

Использование интегрированных межпредметных экзаменов.

Подобно использованию накопительных тестов, интегрированные межпредметные экзамены способствуют осмыслению студентами взаимосвязи между дисциплинами и темами. Это оказывается очень полезным для прочного усвоения материала и для успешного применения знаний фундаментальных наук в клинической практике. Вообще говоря, такие экзамены должны готовиться совместно преподавателями фундаментальных и клинических кафедр. Несмотря на затраты времени, такие обьединенные усилия в результате могут дать значительно лучшие тестовые материалы, а также способствовать полезной дискуссии между преподавателями о том, какие материалы должны включаться в учебный план.

ПРИЛОЖЕНИЕ КЛАДБИЩЕ ФОРМАТОВ ТЕСТОВЫХ ЗАДАНИЙ NBME Первый экзамен Национального Совета был проведен в 1916 году. Это был 5-ти дневный экзамен, состоящий из письменного, устного, лабораторного и клинического тестов. После Первой Мировой войны Национальный Совет создал комиссию, которая должна была посетить Англию, Шотландию и Францию для ознакомления с методами оценки, используемыми для медицинского лицензирования. В 1922 г Национальный Совет провел новый экзамен: Часть I - трехдневный письменный (в форме эссе) экзамен по фундаментальным дисциплинам;

Часть II - двухдневный письменный (в форме эссе) экзамен по основным клиническим наукам;

и Часть III - однодневный устный экзамен, проходивший у постели больного. В таком виде экзамены проводились до начала 50-х годов, когда стало популярным тестирование с помощью вопросов множественного выбора. В 1951 г Национальный Совет в сотрудничестве с Образовательной Службой по Тестированию начали трехгодичное исследование по сравнению письменных (в форме эссе) тестов с тестами множественного выбора. Итогом явилось решение об изменении в 1953 г I и II Частей с экзамена в виде письменного эссе на тестирование множественного выбора. С введением новых форматов Часть III была пересмотрена в начале 60-х годов и упразднена. Первый экзамен состоял главным образом из тестовых заданий А-типа, требующих вспоминания фактов, как в следующем примере:

Начиная с 40-х годов, когда был впервые проведен экзамен с вопросами множественного выбора, Национальный Совет Из ниже перечисленного наиболее расширил сферу применения тестовых заданий А-типа для эффективным профилактическим проверки навыков рассуждения и умения решать проблемы средством для предотвращения путем введения клинических ситуаций в большинство рецидивов ревматизма является:

условий заданий. В настоящее время А-тип остается A. ацетилсалициловая кислота наиболее широко используемым форматом в лицензионных B. парааминобензойная кислота экзаменах. Применение многих других форматов тестовых C. адренокортикотропный гормон заданий, которые были разработаны на протяжении этого D. кортизон периода, было прекращено. Эти форматы, пронумерованные E. сульфадиазин буквами в порядке разработки, описаны ниже.

Тестовые задания, представленные в этой части взяты из Hubbard JP & Clemens WV(1961), Mulyiple-Choice Examinations in Medicine. Lea & Febiger, Philadelphia. Критика изложенных форматов взята из Hubbard JP, Measuring Medical Education. Lea & Febiger, Philadelphia, PA, 1971;

Hubbard JP, Levit EJ. The National Board of Medical Examiners: The First Seventy Years. NBME, Philadelphia, PA, 1985, и из различных статей Мортона, опубликованных в Federation Bulletin в 1985 и 1986 гг.

Тестовые задания B-типа ПРИЛОЖЕНИЕ. КЛАДБИЩЕ ФОРМАТОВ ТЕСТОВЫХ ЗАДАНИЙ NBME Тестовые задания B-типа являлись заданиями соответствия, которые состояли из списка названий, обозначенных буквами, и списка пронумерованных слов или фраз. Экзаменуемый должен был выбрать название, которое больше всего подходит для каждого слова или фразы. Поскольку каждый ответ мог использоваться более одного раза или не использоваться вообще, тестовые задания B-типа не могли быть решены методом исключения. Предполагалось, что тестовые задания B-типа расширят применимость тестов множественного выбора, позволяя оценить несколько связанных предметов в одном блоке тестовых заданий.


В отличие от тестовых заданий соответствия, используемых сегодня, задания B-типа не всегда имели вводный вопрос;

в результате задаваемый вопрос иногда был неясен. Эти тестовые задания в целом проявили себя с хорошей стороны и и их применение было прекращено недавно, когда распространился формат расширенного выбора.

Пример тестового задания B-типа ИНСТРУКЦИЯ: Каждый блок вопросов соответствия в данном разделе содержит список из 3-5 помеченных буквами вариантов ответа (некоторые могут быть выражены цифрами), за которыми следует несколько пронумерованных тестовых заданий. К каждому пронумерованному заланию подберите ОДИН наиболее подходящий ответ, помеченный буквами, и закрасьте кружок, который соответствует выбранной букве в вашем бланке ответов. Каждый помеченный буквой ответ может быть выбран один раз, больше одного раза или вообще не выбран.

A. Коарктация аорты B. Открытый артериальный проток C. Тетрада Фалло D. Аортальное сосудистое кольцо E. Атрезия трехстворчатого клапана 1. Улучшается вследствие системно-легочного анастомоза 2. Наиболее распространенный тип врожденного “синего” порока сердца 3. Хирургически коррегируется путем резекции и наложения анастомоза конец-в-конец 4. Возможная причина дисфагии у новорожденных и детей 5. Гипертензия на верхних и гипотензия на нижних конечностях Тестовые задания D-типа Тестовые задания D-типа являются комплексными тестовыми заданиями соответствия, в которых каждое задание состоит из трех функциональных нарушений, отмеченных буквами, и пяти пронумерованных ситуаций. Тестируемый должен (1) выбрать функциональное нарушение или категорию, с которым связаны из 5 ситуаций и (2) указать одну ситуацию, которая не относится к данной категории. Предполагалось, что такие тестовые задания дадут возможность выявить понимание различий между рядом похожих фактором, однако D-тип оказался сложным в написании, а инструкции запутанными. К тому же они не позволяли распределить знающих и незнающих экзаменуемых.

Пример тестового задания D-типа ИНСТРУКЦИЯ: На каждый из следующих вопросов надо дать два ответа. В списке слева приведены три категории, обозначенные буквами. Четыре из пяти пронумерованных тестовых заданий из списка справа тем или инім образом относятся к ОДНОЙ из этих категорий. Дайте ответы на следующие вопросы. (1) На соответствующей строчке в бланке ответов закрасьте букву категории из списка слева, которой соответствуют четыре тестовых задания. (2) Закрасьте цифру задания из списка справа, которое НЕ относится к той же категории, что и остальные четыре.

A. Диагностически значимая эозинофилия 1. Трихинеллез B. Диагностически значимый плазмацитоз 2. Множественная миелом C. Диагностически значимй лимфоцитоз 3. Синдром Леффлера 4. Болезнь Ходжкина 5. Шистосомоз ПРИЛОЖЕНИЕ. КЛАДБИЩЕ ФОРМАТОВ ТЕСТОВЫХ ЗАДАНИЙ NBME Тестовые задания K-типа Тестовые задания K-типа были наиболее широко используемым в Национальном Совете форматом типа верно/неверно. Они состояли из условия задания и четырех вариантов ответа, один или более из которых были правильными ответами. Считалось, что тестовые задания K-типа проверяли глубокие знания и понимание различных аспектов заболевания, процесса или метода и требовали от тестируемого знания различных фактов по данной теме. Однако, тестовые задания K-типа критиковались за то, что они слишком сложны и требовали от тестируемого постоянно помнить комбинацию ответов и соответствующую ему букву.

Кроме того, возможная комбинация ответов представляла собой подсказку, что уменьшало разрешающую способность тестового задания и уменьшало надежность теста. Было сложно написать хорошие недвусмысленные тестовые задания формата верно/неверно. Поскольку задания могли включать только абсолютно верные или неверные факты, формат К-типа не мог использоваться для оценки клинического мышления, кроме как в сравнении (например, "препарат Х лучше препарата У при лечении заболевания Z").

Тестовые задания К-типа были более сложными и обладали меньшей разрешающей способностью, чем другие типы заданий. Так же они были менее эффективны, чем другие форматы вопросов множественного выбора и имели меньшую относительную достоверность на единицу времени тестирования.

Пример тестового задания К-типа Инструкции Обобщены А B C D E только 1,2,3 только 1,3 только 2,4 только 4 Все правильны 1. У ребенка с обострением ревматизма обычно наблюдается (1) повышенная скорость оседания эритроцитов (2) удлинение интервала PR (3) увеличение титр антистрептолизина О (4) подкожные узелки Тестовые задания C-типа Тестовые задания С-типа похожи на В-тип по внешнему виду, но экзаменуемый должен определить верные/неверные ответы. Тестовое задание С-типа состоит из списка обозначенных буквами названий, за которым следует перечень пронумерованных слов или фраз. Для каждого пронумерованного тестового задания экзаменуемый должен решить, правилен ли ответ A, правилен ли ответ B, оба ответа правильны (вариант С), либо все ответы неправильные (вариант D). Этот тип тестовых заданий использовался для сравнения и противопоставления двух заболеваний, признаков, симптомов, лабораторных данных и т.д. По уровню сложности тестовые задания С-типа соответствуют K-типу. Основная проблема С-типа состояла в принятии решения, в какой мере что-либо должно быть “верным”, чтобы быть выбранным. Если, например, что-либо ассоциируется с обоими ответами А и В, но больше подходит к А, тестируемый должен решить, выбирать ли ему ответ А, или оба А и В. При относительно слабой связи, экзаменуемый должен решить, достаточно ли сильна связь, или "все ответы неправильны" является подходящим ответом. Эти суждения не связаны с медицинскими знаниями, а заставляют тестируемого думать о том, что подразумевали авторы тестового задания.

Пример тестового задания С-типа ИНСТРУКЦИЯ. Каждый блок вопросов соответствия в данном разделе состоит из списка 4-х обозначенных буквами вариантов ответов, за которым следует несколько пронумерованных тестовых заданий. Для каждого пронумерованного задания выберите ОДИН вариант ответа (обозначенный буквой), который наиболее точно соответствует заданию, и закрасьте кружок с соответствующей буквой в вашем бланке ответов. Каждый обозначенный буквой вариант ответа может быть выбран один раз, более одного раза, или не выбран ни разу.

A. Малярия, вызванная Plasmodium vivax B. Малярия, вызванная Plasmodium falciparum C. Оба заболевания D. Ни одно заболевание 1. Комбинация примахина и хлорохина - средство выбора при острой атаке.

2. Клинические проявления подавляются приемом хлорохина один раз в неделю в период пребывания в эндемичном районе.

3. Инфекция полностью излечима хлорохином.

4. Инфекция предотватима приемом хлорохина один раз в неделю.

ПРИЛОЖЕНИЕ. КЛАДБИЩЕ ФОРМАТОВ ТЕСТОВЫХ ЗАДАНИЙ NBME Тестовые задания Е-типа Тестовые задания Е-типа с множественным верными или неверными ответами основывается на анализе отношений. Тестируемые, знающие Е-тип тестовых заданий, до сих пор описывают их как "Верно, Верно и Не относится". Е-тип состоит из предложения с двумя основными частями: утверждение и причина к этому утверждению. Тестируемый получал инструкцию выбрать А, если оба варианта были верными утверждениями, а причина была верным обьяснением данного утверждения;

В - если оба варианта были верными утверждениями, но причина не была верным обьяснением данного утверждения;

С - если утверждение было верно, а причина - неверное заявление;

D - если утверждение неверно, а причина верное заявление;

E - если и утверждение, и причина были неверными заявлениями. Считалось, что для правильного ответа на это задание необходимо обладать навыком рассуждения и пониманием основных принципов.

Однако тестовые задания Е-типа были сложны для создания, а экзаменуемые считали их запутанными.

Пример тестового задания Е-типа Инструкции обобщены A Верно Верно Причина является правильным обьяснением B Верно Верно Причина НЕ является правильным обьяснением C Верно Неверно D Неверно Верно E Неверно Неверно Утверждение Причина 1. Простой герпес обычно считается ПОСКОЛЬКУ у больных, получающих жаропони аутогенной инфекцией жающее лечение, часто развивается герпес 2. При вскармливании младенцев коровье молоко предпочти-тельнее ПОСКОЛЬКУ коровье молоко содержит больше грудного кальция Тестовые задания H-типа Тестовые задания Н-типа были сравнительными заданиями, которые состояли из спаренных утверждений, описывающих два объекта, которые необходимо сравнить количественно. Тестируемый получал инструкцию выбрать А, если А больше чем В;

B, если В больше, чем А;

и С, если оба приблизительно равны.

Хотя и было общепризнано, что надо ограничивать вопросы, которые зависят от запоминания абсолютных количественных величин, однако считалось, что тестовые задания Н-типа полезны в тех случаях, когда знание количественной информации является важным. Проблема же для тестируемых состояла в определении насколько велика должна быть разница, чтобы быть значимой.

Пример тестового задания Н-типа ИНСТРУКЦИЯ: Следующие спаренные утверждения описывают два объекта, которые надо сравнить в количественном отношении. В соответствующей строке бланка ответов отметьте нужную букву:

А если (А) больше, чем (В) В если (В) больше, чем (А) С если оба они равны или очень близки.

1. (А) Обычная терапевтическая доза эпинефрина (В) Обычная терапевтическая доза эфедрина 2. А) ( Ожидаемая продолжительность жизни при глиобластоме затылочной доли (В) Ожидаемая продолжительность жизни при глиобластоме лобной доли ПРИЛОЖЕНИЕ. КЛАДБИЩЕ ФОРМАТОВ ТЕСТОВЫХ ЗАДАНИЙ NBME Тестовые задания I-типа Тестовые задания I-типа были подобны заданиям Н-типа. Они содержали пары фраз, описывающие условия или количества, которые могли изменяться относительно друг друга. Экзаменуемый должен был выбрать А, если обе фразы имели прямую связь (т.е. возрастание или уменьшение параметра в первой фразе сопровождается возрастанием или уменьшением параметра во второй);

В, если фразы имеют обратную связь (т.е. возрастание или уменьшение параметра в первой приводит соответственно к уменьшению или возрастанию параметра во второй);

С, если параметры в обеих фразах измененябтся независимо).

Пример тестового задания I-типа ИНСТРУКЦИЯ: Каждая из следующих парных фраз описывает условия или количества, которые могут связаны или не связаны между собой. В соответствующей строке бланка ответов отметьте соответствующую букву:

A если возрастание параметра в первой сопровождается возрастанием во второй, или уменьшение в первой сопровождается уменьшением во второй.

B если возрастание параметра в первой сопровождается уменьшением параметра во второй, или если уменьшение в первой сопровождается увеличением во второй.

C если изменение параметра в первой не обязательно сопровождается изменением параметра во второй.

1. (А) Объем мочи (В) Удельный вес мочи 2. А) ( Концентрация белков плазмы (В) Коллоидное осмотическое давление плазмы Ни Н-, ни I- типы форматов тестовых заданий не получили широкого распространения. Из-за меньшего количества вариантов ответов по сравнению с другими типами тестових заданий, вероятность угадывания правильного ответа в них была велика. Кроме того, такие задания концентрируются скорее на отдельных деталях, чем на научных положениях.

В серии своих статей в Federation Bulletin (1985-86) Мортон предположил, что различные типы тестовых заданий включались в медицинские лицензионные экзамены просто для того, чтобы внести разнообразие в эту длительную процедуру. Однако, через 25 лет после того, как Национальный Совет принял решение о переходе с письменных экзаменов в виде эссе на тестирование с помощью вопросаов множественного выбора, NBME проанализировал все исследования по различным типам использованных вопросов, и все разнообразие типов тестовых заданий было ограничено типами А-, В-, С-, G-, K-, X -, M-. Эти типы еще раз пересматривались специалистами в середине 80-х годов. Тогда они пришли к единодушному мнению, что четыре основных типа тестовых заданий обеспечивают достаточное разнообразие для того, чтобы оценить знания, необходимых для получения сертификата Национального Совета. Эти четыре базисных типа включают А-, В-, С-, К-типы тестовых заданий. G-тип (блоки тестовых заданий А-типа), N-тип (блоки заданий К-типа) и М-тип больше не рассматриваются в качестве отдельных форматов.

Еще позднее типы тестовых заданий снова подверглись пересмотру. В настоящее время лицензионные экзамены включают в себя только А- и R-типы тестовых заданий. Для улучшения экзаменов были также предприняты следующие шаги: концентрация внимания на психометрически обоснованных типах тестовых заданий;

обучение авторов тестовых заданий технике их написания;

больше внимания уделяется тестовым заданиям, оценивающим способность принятия решений в клинических ситуациях, а не заданиям на вспоминание;

и предварительная экспертиза новых тестовых заданий.

ПРИЛОЖЕНИЕ. КЛАДБИЩЕ ФОРМАТОВ ТЕСТОВЫХ ЗАДАНИЙ NBME

Pages:     | 1 | 2 ||
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.