авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:     | 1 ||

«СБОРНИК АНАЛИТИЧЕСКИХ И ИНФОРМАЦИОННЫХ МАТЕРИАЛОВ ПО РЕЗУЛЬТАТАМ МОНИТОРИНГА ФУНКЦИОНИРОВАНИЯ СИСТЕМЫ ТЕСТИРОВАНИЯ МИГРАНТОВ И СИСТЕМЫ ПОДГОТОВКИ ...»

-- [ Страница 2 ] --

4. Как соблюдается режим IV. Как соблюдается секретности и режим секретности и конфиденциальности в конфиденциальности тестирующей организации?

при передачи закрытых тестовых 4.1. Перед экзаменом Вариант 1. Перед проведением тестирования закрытые тестовые материалов в материалы отправляются в Центры экспресс-почтой после подписания тестирующие договора, который включает пункт о конфиденциальности, или организации? передаются лично в руки ответственному за проведение тестирования под роспись при наличии соответствующего договора;

.

Вариант 2. Материалы передаются по закрытым каналам связи;

Вариант 3: При проведении компьютерного тестирования все материалы хранятся в виде компьютерной программы, доступ к которой имеет только уполномоченный представитель головного вуза.

Во время экзамена Во время проведения экзамена в аудитории находятся только лица, имеющие право на проведение экзамена. Кандидаты не имеют права пользоваться мобильным телефоном. По окончании тестирования работы собираются, проверяется их количество.

Вариант: При проведении компьютерного тестирования кандидаты работают на экране монитора. Их результаты сразу поступают в компьютерную программу обработки данных.

После проведения экзамена Использованные тестовые материалы остаются закрытыми, хранятся в сейфе у лица, ответственного за проведение тестирования со стороны организации, и не используются до получения соответствующего распоряжения ответственного лица со стороны головного ВУЗа.

Вариант: При проведении компьютерного тестирования ответы кандидатов и их результаты автоматически попадают в базу данных.

5.Какие руководства Инструкция V. Опишите для проведения процедуру экзаменов проведения существуют?

тестирования Описание места Количество, общая площадь и состояние помещений, предоставляемых для проведения проведения тестирования (далее – аудитории), должны обеспечивать их проведение в условиях, экзамена: соответствующих требованиям санитарно-эпидемиологических правил и нормативов «Гигиенические требования к условиям обучения в общеобразовательных учреждениях. СанПиН 2.4.2.1178-02», утвержднных Главным государственным санитарным врачом Российской Федерации 25 ноября 2002 г. и введнных в действие постановлением Главного государственного санитарного врача Российской Федерации от 28 ноября 2002 г. № 44 (зарегистрировано Министерством юстиции Российской Федерации 5 декабря 2002 г., регистрационный № 3997. Российская газета, № 234, декабря 2002 г.;

№ 174, 19 августа 2008 г.;

№ 20, 6 февраля 2009 года). Аудитории должны быть соответствующим образом изолированы от помещений, не использующихся для проведения тестирования (за исключением туалетных и иных помещений). На время проведения тестирования в аудиториях должны быть закрыты стенды, плакаты и иные материалы с информационной и справочно-познавательной информацией по соответствующим тестам.

План рассадки Количество рабочих мест в аудитории проведения тестирования должно обеспечивать кандидатов в эффективное и комфортное размещение участников тестирования, исходя из того, что аудитории: для каждого участника тестирования должно быть выделено отдельное рабочее место.

Столы для участников тестирования – по количеству тестируемых, стол для члена комиссии, контролирующего ход проведения тестирования, стулья.

Описание необхо- Аудитории, выделяемые для проведения аудирования, должны быть оборудованы димого аудио-/ средствами воспроизведения и записи аудионосителей.

видеооборудования:

Описание Изолированное помещение, в котором находятся кандидат, тестор, рейтер. Ведтся требований к месту аудиозапись всего теста.

проведения субтеста «Говорение»

5.1. «Лексика. Необходимы: ручка, тестовое задание, рабочая матрица, контрольная матрица.

V.I. Опишите, что Грамматика» Вариант: при компьютерном тестировании: соответствующее программное необходимо для обеспечение, компьютер преподавателя, монитор для каждого кандидата.

проведения следующих экзаменов «Чтение» Необходимы: ручка, тестовое задание, рабочая матрица, контрольная матрица.

Вариант: при компьютерном тестировании: соответствующее программное обеспечение, компьютер преподавателя, монитор для каждого кандидата.

«Аудирование» Ручка, тестовое задание, рабочая матрица, аудиозапись, контрольная матрица.

Вариант: при компьютерном тестировании: соответствующее программное обеспечение, аудиозапись, компьютер преподавателя, монитор для каждого кандидата.

«Говорение» Необходимы: записывающее устройство, тестовые материалы для кандидата, методические рекомендации для преподавателя (сценарий речевого поведения тестора), рейтерские таблицы.

Вариант: при компьютерном тестировании: соответствующее программное обеспечение, аудио- и визуальные стимулы, компьютер преподавателя, монитор для каждого кандидата, наушники для каждого кандидата, электронные рейтерские таблицы.

«Письмо» Ручка, бумага, тестовые материалы для кандидата, рейтерские таблицы, листы с печатями для выполнения кандидатами задания.

V.II. Опишите Перед проведением тестирования члены комиссии в аудитории проводит процедуру в день инструктаж на русском языке. В инструктаже разъясняется порядок проведения экзамена заполнения ответов в матрицах по формализованным частям теста («Лексика.

Грамматика», «Чтение», «Аудирование»), а также порядок проведения тестирования по неформализованным частям теста («Письмо», «Говорение»), время отдельных этапов тестирования, необходимость соблюдения дисциплины при тестировании.

6. По вопросам VI. Опишите, как администрирования происходит коммуникация экзамена:

между головными вузами и тестирующими организациями 6.1. Кто в головном вузе Заместитель директора центра тестирования головного вуза.

отвечает за коммуникацию с Подготовка: все модули дополнительной образовательной тестирующими программы «Лингводидактическое тестирование».

организациями, какую подготовку эти лица получили?

6.2. Пользуетесь ли вы Данные передаются только по закрытым каналам связи.

электронной почтой или другими способами электронной передачи данных?

6.3. Существует ли «горячая Да, существует телефонная «горячая линия».

линия», по которой можно связаться с головным вузом, в случае возникновения проблемной ситуации?

7. Происходит ли процесс После проведения тестирования члены комиссии и, при VII. Опишите оценивания в тестирующей необходимости, сотрудники головного ВУЗа осуществляют постэкзаменационные организации? проверку тестов в соответствии с Методикой оценки процедуры выполнения тестовых заданий, утвержднной головным вузом.

7.1.В случае положительного Тестирующие организации присылают оценнные материалы, ответа, каким образом включая аудиозапись ответов кандидатов, в головной вуз на контролируется качество экспертную проверку по требованиям головного вуза.

оценивания?

7.2. Отправляются ли Тестирующая организация хранит все материалы тестирования, экзаменационные материалы включая письменные работы, записи устных ответов обратно в головной вузов? иностранных граждан, ведомости и протоколы проведения тестирования, а также иные отчтные документы.

Продолжительность и порядок хранения материалов тестирования и иных отчтных документов составляет 2 года со дня проведения тестирования.

7.3. Какие процедуры предпринимаются для возвращения и получения материалов? В тестирующих организациях?

7.4. Каким образом В случае необходимости материалы тестирования обеспечивается безопасная доставляются в головной вуз курьерской почтовой службой доставка материалов (DHL).

тестирования в головной вуз?

8. Какой документ с Кандидаты, успешно прошедшие государственное VIII. Опишите, каким результатами тестирования тестирование, получают Сертификат установленного образом кандидаты получают кандидаты, через Министерством образования и науки Российской Федерации получают результаты какое время после образца в течение 10 дней момента прохождения тестирования.

тестирования и прохождения тестирования? К сертификату оформляется Приложение, в котором сертификаты содержатся оценки результатов выполнения отдельных разделов теста.

Кандидатам, не прошедшим тестирование (не набравшим минимально необходимое количество баллов по отдельным разделам теста), выдатся Справка с указанием их результатов.

Справка действительна в течение двух лет с момента тестирования и дат возможность соискателю пересдать неудовлетворительно оценнные разделы теста (не более двух).

В случае успешной пересдачи оформляется соответствующий Сертификат.

8.1. Могут ли быть Нет опубликованы результаты тестирования?

8.2.За сколько времени до Не позднее, чем за 2 недели до дня проведения тестирования.

начала экзаменов экзаменационные центры получают материалы?

9. Что происходит в случае, При доставке тестовых материалов по закрытым каналам связи IX. Опишите, каким образом если материалы такая ситуация исключена.

происходит доставка доставляются не вовремя экзаменационных или потеряны при доставке?

материалов в тестирующие организации 9.1. Как обеспечивается Доставка тестовых материалов производится по закрытым безопасность доставки каналам связи.

закрытых материалов?

Пользуетесь ли вы услугами экспресс-почты или курьерской службой?

9.2. Каким образом вы Обратная связь.

получаете подтверждение того, что материалы доставлены в хорошем качестве?

10. Каким образом Курьерской почтовой службой (DHL).

X. Опишите условия происходит доставка доставки материалов из материалов из тестирующих тестирующих организаций организаций, предоставляются ли им специальные конверты с обратным адресом или штрих-кодом?

11. Как обеспечивается качество По запросу заинтересованных организаций.

XI. Опишите предоставления информации о процедуры, тестировании другим обеспечивающие заинтересованным организация?

качество Например:

предоставления информация о кандидатах, типовых экзаменационных услуг тестах, результатах и т.д.

11.1. Проводится ли мониторинг Да, в ходе семинаров по дополнительной деятельности персонала, который образовательной программе «Лингводидактическое отвечает за предоставление материалов тестирование».

тестирующим организациям?

11.2. Каким образом проверяется качество услуг по тестированию, предоставляемых тестирующими организациями?

11.3. Проводится ли мониторинг или Да, головные вузы производят инспекцию тестирующих инспекция деятельности тестирующих организаций, с которыми у головных вузов заключены организаций? договоры.

11.4. В случае положительного ответа, Представители головного вуза, не реже одного раза в год.

каком образом происходит инспекция тестирующих организаций, кто их инспектирует и как часто?

11.5. Каким меры принимаются по В случае, если тестирующая организация не отвечает отношению к тестирующим требованиям, с ней прерываются договорные отношения.

организациям, не отвечающим необходимым требованиям?

Процедура и качество оценивания результатов тестирования (Экспертный лист № 3) Экспертный лист № 3 составлен на основании опроса и включает:

Доказательство того, что оценивание происходит точно и надежно и соответствует цели и типу экзаменов;

Документальное подтверждение и описание процесса оценивания и степени надежности: сбора и анализа и данных, оценивание субтестов «Письмо» и «Говорение»;

Доказательство того, что данные собираются и анализируются на основе адекватной и репрезентативной выборке, а также, что результаты, показанные кандидатами, отражают уровень их умений, измеряемых с помощью данного теста, и не подвержены влиянию таких факторов, как родной язык, страна происхождения, пол, возраст и этническая принадлежность;

Доказательство того, что статистический анализ (определение степени сложности заданий, коэффициента дискриминации, надежности, стандартной ошибки измерений) проведен на основе адекватной выборки кандидатов.

Часть 3. Процедура и качество оценивания результатов тестирования Вопросы Дополнительные Ответы вопросы 1. Какие из I. Опишите перечисленных ниже процедуру процедур оценивания используются для результатов обеспечения точности экзаменов и наджности оценивания?

Например:

Устройство для При компьютерном тестировании ответы кандидатов на оптического задания в закрытой форме проверяются автоматически считывания меток Проверка вручную Да В случае если компьютерное тестирование не организовано Профессиональные Да При оценке субтестов «Письмо», «Говорение».

экзаменаторы 2. Какие процедуры Для проведения экзамена привлекаются сотрудники центров тестирования.

II. Опишите обеспечивают точность Сотрудники, осуществляющие проверку матриц, проходят предварительный процедуры, которые проверки при инструктаж. Члены комиссии по проведению тестирования проводят обеспечивают оптическом выборочную повторную проверку работ по контрольным матрицам.

объективное считывании или оценивание, проверке вручную?

включая подбор, подготовку и проверку 2.1. Как происходит Весь персонал, ведущий процесс оценивания, прошл обучение по деятельности подбор и подготовка дополнительной образовательной программе «Лингводидактическое экзаменаторов персонала, ведущего тестирование».

(например, при процесс оценивания?

оценивании субтестов «Письмо»

2.2. Как Руководитель Центра тестирования ведт координацию деятельности и «Говорение»

координируется персонала.

деятельность персонала, ведущего процесс оценивания?

2.3. Посещают ли Да, такие координационные сессии проводятся два раза в год. Участие в них специалисты по всех членов комиссии по проведения тестирования обязательно.

оцениванию субтестов «Письмо» и «Говорение»

координационные сессии? Как часто организуются такие сессии?

2.4. Каким образом Проводится обсуждение образцов работ предыдущих сессий, обсуждается обеспечивается классификация ошибок («вес» ошибок различного типа на практических процедура примерах), различные практические аспекты оценивания. В состав комиссии стандартизации по проведению тестирования входят только опытные тесторы.

оценивания? Тесторы/профессиональные экзаменаторы имеют в свом распоряжении образцы рейтерских таблиц, образцы оценнных работ (копии прошлых сессий).

2.5. Оцениваются ли Рейтерские таблицы (контрольные листы экспертной оценки) заполняются субтесты «Письмо» и двумя экзаменаторами одновременно и независимо друг от друга, затем «Говорение» два раза? результаты сверяются.

2.6. Проходит ли Работы (субтест «Письмо») и аудиозаписи ответов (субтест «Говорение») мониторинг персонала, выборочно проверяются экспертной. Во время субтеста «Говорение»

связанного с процессом проводится мониторинг работы тестеров/экзаменаторов силами руководства оценивания? Какие (выборочное посещение, контроль хода проведения субтеста/экзамена).

меры предпринимаются, чтобы минимизировать субъективизм в процессе оценивания и возможность ошибки?

2.7. Какие процедуры Если в контрольных листах двух экзаменаторов, оценивающих одного и того предпринимаются в же кандидата, возникают различия больше пяти пунктов, или это различие случае разницы в является решающим (прошл/не прошл), приглашается третий эксперт. На оценке рейтеров? основании оценки эксперта принимается решение.

3. Как устанавливается Разработка оценочных шкал ведтся в соответствии с критериально III. Опишите, необходимое ориентированным подходом. Балл каждого кандидата подсчитывается путм как количество баллов / перевода в проценты доли правильно выполненных заданий по отношению к устанавливается процент прохождения общему числу заданий. Полученный для каждого кандидата процент необходимое разделов субтеста, сравнивается со стандартами выполнения теста – критериями, установленными количество связан ли этот метод с экспертным путм и прошедшими эмпирическую валидизацию в процессе баллов / процент Общеевропейскими конструирования теста. Критерии валидизации соотносятся с прохождения компетенциями? Общеевропейскими компетенциями.

разделов субтеста 3.1. Как При оценке результатов тестирования выделяются два уровня:

устанавливаются удовлетворительный и неудовлетворительный. Для разделения результатов на границы между удовлетворительные и неудовлетворительные используется критериальный удовлетворительными / балл (проходной балл – cut score). Для получения критериального балла неудовлетворительными применяется экспертный подход (эксперты эмпирически определяют результатами? минимальные компетенции), результаты которого проходят статистический анализ методом контрастных групп.

3.2. Какие ещ шкалы Иные шкалы, кроме описанной выше, не используются.

используются?

3.3. Как происходит Для сравнения результатов между двумя параллельными вариантами сравнение между двумя планируется провести выравнивание шкал за счт введения якорных заданий.

параллельными вариантами экзаменов для обеспечения стабильности результатов?

4. Опишите процедуры, Проводится экспертный содержания заданий и анализ статистических данных, IV. Опишите исключающие из теста в котором сопоставляются результаты выполнения заданий кандидатами с процедуры, искажения реальных одинаковым уровнем подготовленности, но принадлежащими разным группам гарантирующие, умений кандидатов, по выделенным факторам. При выявлении смещений результатов по данному что разница в вызванные такими заданию его содержание подвергается независимой экспертизе для результатах факторами, как влияние установления причин дискриминации.

тестирования родного языка, пол, связана с возраст, национальная и различным этническая уровнем принадлежность.

кандидатов, а не с воздействием случайных факторов 4.1.Как эти процедуры Эта информация не влияет на процесс оценивания, но учитывается при влияют на процесс последующем создании новых вариантов тестов.

оценивания?

5. Тестируемые получают В случае успешного прохождения тестирования кандидату выдатся V. Опишите, в результаты: Сертификат, который удостоверяет уровень владения русским языком для каком виде удовлетворительно / кандидата: базовый уровень для трудящихся мигрантов. Также выдатся кандидаты неудовлетворительно Приложение к Сертификату, которое удостоверяет процент правильных получают или используются другие ответов по пяти субтестам:

информацию о шкалы? Субтест «Лексика. Грамматика» – 50 баллов (100%) результатах Субтест «Чтение» – 60 баллов (100%) тестирования, Субтест «Аудирование» – 60 баллов (100%) как эта Субтест «Письмо» – 30 баллов (100%) информация Субтест «Говорение» – 50 баллов (100%) помогает им понять их реальный 5.1. В случае В настоящий момент шкалы не используются.

уровень использования шкал, владения применяются ли русским языком статистические механизмы для их калибровки?

5.2. Каким образом С помощью статистической обработки результатов тестирования.

поддерживается стабильность результатов тестирования?

5.3. Используете ли вы В настоящий момент для теста Базового уровня для трудящихся мигрантов понятие «Стандартная стандартная ошибка измерения не рассчитывается, этот критерий ошибка измерения»? рассчитывается для других тестов системы ТРКИ.

В случае положительного ответа, опишите процедуру использования.

5.4. Каким образом Результаты выдаются кандидату лично в руки или другому лицу в руки на кандидаты получают свои основании доверенности кандидата.

результаты: почтой, электронной почтой, публикуются ли результаты на сайтах тестирующих организаций и т.д.?

5.5. Каким образом В соответствии с дескрипторами Общеевропейской шкалы этот уровень данный уровень можно можно охарактеризовать как уровень A1+.

соотнести с Общеевропейской шкалой?

6. Какая информация о Пользователи теста (кандидаты, представители ФМС, работодатели) могут VI. Опишите, результатах тестирования получить информацию о том, какие коммуникативные задачи способен каким образом сообщается решать кандидат, в каких областях он способен осуществлять речевую информация об пользователям теста? Дат коммуникацию, какие темы он способен обсуждать на изучаемом языке, уровне ли эта информация какими видами речевой деятельности он владеет. В соответствии с кандидата представление о реальном Требованиями к Базовому уровню для трудящихся мигрантов.

сообщается уровне кандидатов?

пользователям теста 6.1. В какой форме Выдатся Сертификат, который удостоверяет, что данный кандидат достиг результаты тестирования Базового уровня для трудящихся мигрантов. Также выдатся Приложение к выдаются кандидатам: Сертификату, которое удостоверяет процент правильных ответов (отдельно сертификаты, дипломы, по всем пяти субтестам – «Чтению», «Письму», «Аудированию», описания их уровня «Говорению» и «Лексике/Грамматике»). В случае неудовлетворительного владения русским результата выдатся справка, где указаны баллы/проценты по каждому из языком? пяти разделов теста. В справке указано, на какие из разделов теста следует обратить внимание для достижения положительного результата.

6.2. В случае, если Сертификат выдатся организацией гражданам иностранных государств и выдатся сертификат, лицам без гражданства (далее – иностранные граждане), успешно какова процедура его прошедшим государственное тестирование по русскому языку как выдачи? иностранному языку в порядке, утвержднном приказом Министерства образования и науки Российской Федерации от 24 марта 2010 г. № 207 «Об утверждении порядка государственного тестирования иностранных граждан и лиц без гражданства по русскому языку как иностранному языку»

(зарегистрирован Министерством юстиции Российской Федерации 6 мая 2010 г., регистрационный № 17141. Российская газета, № 103, 14 мая 2010 г.).

7. Как персонал Сертификат является документом степени защиты категории «Б»

VII. Предупреждены тестирующих организаций изготавливается типографским способом и подлежит строгой ли кандидаты об защищн от неправомерных отчтности. Каждый сертификат имеет индивидуальный номер, ответственности в действий со стороны подписывается руководителем головного вуза и заверяется гербовой случае своих кандидатов (взятки, печатью. Подделка сертификата является преступлением и неправомерных самовольное копирование преследуется по закону.

действий?

сертификатов)?

7.1. Какова процедура Сертификат выдатся иностранному гражданину организацией на получения кандидатами основании решения комиссии по проведению тестирования, созданной сертификатов? Когда они организацией. Сертификат выдатся организацией не позднее десяти выдаются, в каком дней со дня проведения тестирования под личную подпись формате? иностранного гражданина при предъявлении им документа, удостоверяющего личность, либо иному лицу на основании документа, удостоверяющего личность, и оформленной в установленном порядке доверенности.

8. Разъясняете ли вы После экзамена, в случае положительного результата, кандидат получает VШ. Опишите подробно кандидатом, что информацию о том, что его уровень владении я русским языком позволяет процедуру означает их результат по ему работать в сферах ЖКХ, торговли и бытового обслуживания. В случае доступа каждому из субтестов? неудовлетворительного результата кандидат получает справку, в которой кандидатов к указано, на какие из разделов теста следует обратить внимание для своим рабочим достижения положительного результата.

экзаменационным материалам.

Могут ли кандидаты использовать материалы 8.1. Разъясняете ли вы После окончания экзамена кандидаты не имеют доступа к экзаменационным экзамена после кандидатам, что материалам (в том числе к своим экзаменационным работам). Вынос с окончания использование экзамена любых материалов, а также их копий в любом виде запрещн.

экзаменов?

экзаменационных материалов запрещено после экзамена?

9. Имеют ли право В случае апелляции.

IX. Опишите, как кандидаты происходит воспользоваться данными хранение о своих экзаменационных экзаменационных результатах или другими материалов после данными о них, которые экзамена в хранятся в тестирующих тестирующих организациях?

организациях.

Как долго 9.1. Ограничиваются ли Кандидат подписывает заявление на прохождение тестирование.

хранятся данные, эти права в особых кто имеет право контрактах, которые доступа к ним?

кандидаты подписывают перед экзаменами?

9.2. В случае подписания В контракте определяется, что кандидат предоставляет свои личные контракта, что в нм данные тестирующей организации.

определяется?

9.3. В каких ситуациях и В ситуациях, оговорнных в законе о хранении персональных данных.

кто имеет доступ к этим данным?

9.4. Какие процедуры Защищнность базы данных.

обеспечивают защиту этих данных?

9.5. Соответствуют ли эти Федеральный закон от 27.07.2006 № 152-ФЗ (ред. от 23.07.2013 с процедуры изменениями, вступившими в силу с 03.08.2013) «О персональных существующему данных»

законодательству?

9.6. Какие правила, К базе данных может иметь доступ:

обеспечивающие Федеральная миграционная служба России, получающая информацию о соответствие выданных сертификатах и лицах, прошедших тестирование;

законодательству, Министерство образования и науки РФ, получающее информацию о существуют в функционировании системы обработки, хранения и использования тестирующих результатов тестирования иностранных граждан по русскому языку, организациях? истории России и основам законодательства Российской Федерации и осуществляющее контроль за деятельностью государственной системы тестирования;

Министерство иностранных дел РФ (консульский отдел), получающее информацию о выданных сертификатах за рубежом;

Центры тестирования иностранных граждан.

Качество интерпретации результатов экзаменов и предоставления информации заинтересованным лицам (Экспертный лист № 4) Экспертный лист № 4 составлен на основании опроса респондентов и включает:

Доказательство того, что информация о результатах экзаменах незамедлительно сообщается в тестирующие организации, которые передают е кандидатам;

Доказательства качества предоставления информации заинтересованным лицам о соответствующем контексте теста, его цели, практической значимости, о его содержании и об общей надежности результатов экзамена;

Доказательства предоставления соответствующей информации заинтересованным лицам, что помогает им интерпретировать результаты экзаменов и правильно их использовать.

Часть 4. Качество интерпретации результатов экзаменов и предоставления информации заинтересованным лицам Вопрос Дополнительный вопрос Ответ 1.1. Кто в вашей организации Члены комиссии по проведению тестирования (Приказ I. Опишите отвечает за сбор и анализ Министерства образования и науки Российской Федерации от процедуру сбора и хранения результатов результатов тестирования? 24 марта 2010 г. № 207 «Об утверждении порядка экзаменов государственного тестирования иностранных граждан и лиц без гражданства по русскому языку как иностранному») 1.2. Как эти лица получили Комиссия по проведению тестирования в составе председателя и работу и какое членов комиссии формируется из числа профессорско дополнительное обучение они преподавательского состава, имеющего соответствующее прошли? образование, осуществляющего подготовку по дополнительной образовательной программе «Русский язык как иностранный» и опыт работы по проведению тестирования. Дополнительная образовательная программа «Лингводидактическое тестирование».

1.3. Кто принимает решение о Российский тестовый консорциум – общественное объединение способе хранения результатов головных вузов-разработчиков системы тестирования, экзаменов? осуществляющее научно-методическое сопровождение государственной системы тестирования, управление и контроль за деятельностью локальных и центров тестирования за рубежом.

1.4. Собираете ли вы данные Да после предварительного тестирования?

1.5. Собираете ли вы Да результаты во время или после экзамена?

1.6. Есть ли установленный Да, способ хранения результатов тестирования определяется способ хранения результатов инструкцией.

тестирования?

1.7. Собираете ли вы данные, В данном случае: базовый уровень для трудящихся мигрантов.

относящиеся к определнному уровню?

1.8. Как устанавливаются В соответствии с инструкцией.

правила доступа к этим данным?

1.9. Кто имеет право доступа к Члены комиссии по проведению тестирования и члены этим данным? конфликтной комиссии.

1.10. Данные какой выборки Собираются данные всех кандидатов, проходивших тестирование экзаменуемых собираются? по Базовому уровню для трудящихся мигрантов.

1.11. Насколько данная Более 10 тысяч человек.

выборка является представительной?

2. Анализируются ли II. Опишите следующие характеристики процедуры теста:

статистического анализа всего теста Сложность?

Да или отдельных тестовых заданий Коэффициент дискриминации?

Нет Наджность?

Нет 2.1.В случае положительного Экспертный анализ и статистическая обработка данных.

ответа, опишите процедуру анализа.

2.2. В случае отрицательного ответа, опишите, как вы оцениваете сложность тестовых заданий.

2.3. Используете ли вы параметр Нет «внешний критерий стабильности тестовых заданий» (например, Кронбах альфа)?

2.4. Измеряете ли вы На этапе предварительного тестирования.

наджность методом повторного тестирования?

2.5. Оцениваете ли вы Да, коэффициент наджности рейтерской оценки (Intra-Rater поведение рейтеров (в субтестах Reliability).

«Письмо» и «Говорение»)?

2.6. В случае положительного Наджность результатов, полученных одним экспертом.

ответа, какие данные вы Рейтерская оценка при тестировании кандидатов одного уровня / собираете? разного уровней. Повторная оценка, сравнение с экспертной оценкой.

2.7. Устанавливаете ли вы Нет коэффициент наджности?

2.8. В случае положительного ответа, какие стандарты вы используете?

3. Рассматриваете ли вы Да III. Опишите, результаты кандидатов из каким образом разных выборок? Дат ли анализируются основание психометрический ответы кандидатов анализ этих результатов из разных выборок исключения неадекватных тестовых заданий?

3.1. Какой анализ вы проводите? Статистический анализ: исключаются слишком сложные / слишком простые задания.

3.2. Проходит ли данный анализ Экспертный анализ содержания заданий и статистический анализ по определнной модели? данных, в котором сопоставляются результаты выполнения зданий испытуемыми с одинаковым уровнем подготовленности, но принадлежащими разным группам по выделенным факторам.

3.3. Каким образом На стадии разработки окончательного теста, для создания новых используется данная вариантов тестовых заданий.

информация?

4. Как обеспечивается Вся информация передатся по закрытым каналам связи.

IV. Опишите режим секретности и процедуры, конфиденциальности всех обеспечивающие материалов, касающихся конфиденциальность тестирования, в тестирующих организациях и при передаче из тестирующих организаций в головные вузы?

4.1. Производится ли хранения После получения закрытых тестовых материалов сотрудники тестовых материалов в местах, организации, являющиеся членами Комиссии, отвечают за доступ к которым невозможен хранение закрытых тестовых материалов, а также их подготовку к без специального разрешения? проведению тестирования (формирования необходимого Например: имеются сейфы, количества комплектов материалов) в условиях, обеспечивающих база данных, доступ к их сохранность и неразглашение для тестируемых лиц и иных которым невозможен без третьих лиц.

пароля? Использованные тестовые материалы остаются закрытыми, хранятся в сейфе у лица, ответственного за проведение тестирования со стороны организации, и не используются до получения соответствующего распоряжения ответственного лица со стороны головного вуза.

Вариант при проведении компьютерного тестирования: все материалы хранятся в базе данных, доступ к которой невозможен без пароля.

5. Каким образом V. Опишите осуществляется обратная процедуру связь с заинтересованными информирования организациями? Например, заинтересованных лиц чтобы определить степень о результатах влияния этого теста (на проведнного общественные организации, статистического образовательные учреждения анализа и т.д.)?

5.1. Каким образом эта На совместных совещаниях представителей ФМС, Министерства информация анализируется и образования и науки Российской Федерации, Федеральной сообщается? миграционной службы, головных вузов, тестирующих организации, представителей общественных организаций.

5.2. Каким образом эта Создание данного теста базируется на реальных потребностях информация влияет на общества и, соответственно, потребностях кандидатов.

процесс создания тестов, В тесте моделируются речевые ситуации, в которых кандидаты показывает ли она должны решать свои коммуникативные потребности в реальных необходимость изменений? ситуациях общения.

6. Сообщается ли эта Нет VI. Опишите, каким информация кандидатам:

образом некоторые Например: раз в четыре результаты месяца / раз в год?

статистического анализа сообщаются кандидатам?

6.1. В случае положительного ответа, что включено в это информационное сообщение?

6.2. Как обеспечивается равный доступ к этой информации для всех кандидатов?

6.3. Есть ли публикации в Тестирование трудящихся мигрантов началось в декабре научных и образовательных года. Пока таких публикаций нет.

журналах, которые доступны широкому кругу общественности?

6.4. В случае Планируются публикации по этой тематике в журналах «Русский положительного ответа, язык за рубежом», «Мир русского слова», а также в новом назовите эти журналы журнале Российского тестового консорциума.

6.5. Выступаете ли вы с Да докладами, посвящнными этой тематике, на конференциях (в России или за рубежом)?

6.6. Публикуете ли вы Нет брошюры и др. материалы для различных заинтересованных организаций, касающиеся оценивания уровня сформированности коммуникативной компетенции? Например, вы разъясняете критерии оценивания, как результаты могут быть использованы заинтересованными организациями.

Аналитические материалы по опросным листам Опросный лист № (для организаций, проводящих обучение на региональном и местном уровне) 1. Отметьте сведения об образовательном учреждении: из опрошенных организаций, проводящих обучение, 72% являются негосударственными организациями, языковыми школами.

2. Кто является основным контингентом среди обучающихся: основным контингентом обучающихся являются работающие мигранты.

3. Мигранты работают / планируют работать: в сфере торговли (58%), в сфере ЖКХ (42%).

4. Сколько часов в неделю проходят занятия: 90% респондентов ответили, что занятия с мигрантами проходят два раза в неделю.

5. Сколько часов в день продолжаются занятия: большинство респондентов отмечает, что продолжительность занятий с мигрантами составляет 2 часа в день.

6. Уровень подготовленности трудящихся мигрантов к сдаче теста до начала занятий: большинство респондентов оценивают как низкий (2 балла от 0 до 5).

7. Уровень подготовленности трудящихся мигрантов к сдаче теста после окончания занятий: большинство респондентов оценивают как хороший (4 балла от 0 до 5).

8. Степень доступности учебных материалов для обучения трудящихся мигрантов: большинство респондентов оценивают как удовлетворительную (3 балла от 0 до 5).

9. Качество учебных материалов: большинство респондентов оценивают как удовлетворительное (3 балла от 0 до 5).

10. Степень доступности информации о формате теста и целях тестирования:

большинство респондентов оценивают как удовлетворительную (3 балла от до 5).

11. Степень доступности Типового теста для трудящихся мигрантов:

большинство респондентов оценивают как удовлетворительную (3 балла от до 5).

12. Степень доступности Лексического минимума для трудящихся мигрантов:

большинство респондентов оценивают как низкую (2 балла от 0 до 5).

13. Степень доступности описания Базового уровня для трудящихся мигрантов: большинство респондентов оценивают как удовлетворительную (3 балла от 0 до 5).

14. Уровень взаимодействия с головными вузами: большинство респондентов оценивают как хороший (4 балла от 0 до 5).

15. Уровень взаимодействия с другими образовательными организациями:

большинство респондентов оценивают как хороший (4 балла от 0 до 5).

Отмечается, что между образовательными организациями идт обмен опытом.

16. Уровень взаимодействия с тестирующими организациями: большинство респондентов оценивают как хороший ( 4 балла от 0 до 5).

17. Уровень взаимодействия с Федеральными миграционными службами:

Примерно половина респондентов оценивает как отличный (5 баллов от 0 до 5), вторая половина – как низкий (2 балла от 0 до 5).

18. Уровень взаимодействия с общественными организациями и объединениями: большинство респондентов оценивают как хороший (4 балла от 0 до 5). Отмечается важная роль, которую играют диаспоры.

19. Уровень взаимодействия с работодателями: респонденты оценивают как удовлетворительный (3 балла от 0 до 5) или хороший (4 балла от 0 до 5).

Опросный лист № (для представителей Федеральных миграционных служб) 1. Cтепень доступности информации о тестирующих организациях:

большинство респондентов оценивают как удовлетворительную (3 балла от до 5).

2. Степень доступности информации для кандидатов о возможностях пройти тестирование: большинство респондентов оценивают как удовлетворительную (3 балла от 0 до 5).

3. Степень доступности информации для работодателей о целях тестирования, структуре и содержании теста: большинство респондентов оценивают как удовлетворительную (3 балла от 0 до 5).

4. Степень соответствия базового уровня для трудящихся мигрантов целям тестирования: большинство респондентов оценивают как хорошую (4 балла от 0 до 5).

5. Вероятность подделки сертификата о прохождении тестирования:

большинство респондентов оценивают как низкую (2 балла от 0 до 5).

6. Степень вероятности подлога / обмана при прохождении тестирования и получении сертификата: большинство респондентов оценивают как удовлетворительную (3 балла от 0 до 5).

7. Уровень взаимодействия с Министерством образования и науки:

большинство респондентов оценивают как хороший (4 балла от 0 до 5).

8. Оцените уровень взаимодействия с Федеральными миграционными службами других регионов: большинство респондентов оценивают как хороший (4 балла от 0 до 5).

Рекомендации по повышению эффективности функционирования системы тестирования мигрантов на региональном и местном уровне Анализ результатов проведнного мониторинга дат основания для следующих выводов:

1. Необходимость актуализации нормативно-правового обеспечения процесса тестирования.

В целях успешного внедрения и функционирования Российской государственной системы тестирования граждан зарубежных стран по русскому языку должно быть принято Положение о государственной системе тестирования, утвержденное Указом Президента Российской Федерации или постановлением Правительства Российской Федерации. В Положении необходимо определить цели, задачи, структуру и порядок деятельности в данной сфере, а также обозначить круг субъектов, уполномоченных осуществлять государственное тестирование, как в Российской Федерации, так и за е пределами, а также урегулировать вопросы, касающиеся организационного обеспечения процесса тестирования. Принципиально важно учесть требование, в соответствии с которым тестовые процедуры за пределами России могут осуществляться только российскими специалистами в области тестирования, имеющими соответствующие сертификаты. Предусмотреть возможность осуществления этих процедур как очно, так и в дистанционном формате, с применением современных информационных технологий. Также представляется необходимым ускорить принятие нормативно-правовых актов, закрепляющих за Московским государственным университетом имени М.В. Ломоносова, Санкт-Петербургским государственным университетом, Российским университетом дружбы народов, Государственным институтом русского языка им. А.С. Пушкина статус Головных вузов в области государственного тестирования по русскому языку как иностранному.

Министерству образования и науки следует устранить противоречие в выделении уровней языковой компетенции: в соответствии с Федеральными государственными требованиями по русскому языку как иностранному языку, утвержденными Приказом Министерства образования и науки Российской Федерации от 28 октября 2009 г. № 463, предусматривается 5 уровней владения языком, тогда как государственная система лингводидактического тестирования, создаваемая в России с года и признанная в 1997 году Ассоциацией лингвистических тесторов Европы, включает шесть уровней. Федеральные государственные требования по русскому языку как иностранному должны быть приведены в соответствие с существующими международными стандартами, в том числе, применительно к каждому уровню владения русским языком, целесообразно указать соответствующий уровень европейской системы тестирования (А 1 – С 2).

Необходимо также ускорить принятие следующих приказов, обеспечивающих функционирование системы тестирования:

Приказа Министерства образования и науки «Об организации тестирования по русскому языку как иностранному»;

Приказа Министерства образования и науки «Об утверждении федеральных государственных требований к определению уровня владения русским языком трудящихся мигрантов»;

Приказа Министерства образования и науки «Об утверждении условий, порядка выдачи, формы и технических требований к сертификату о прохождении государственного тестирования по русскому языку».

2. Необходимость создания единого центра, координирующего деятельность системы тестирования.

В целях обеспечения согласованного функционирования системы государственного тестирования, внедрения единых государственных стандартов и повышения качества тестовых процедур необходимо создание единого центра, координирующего деятельность всей системы тестирования, совершенствование научно-методической базы государственной системы тестирования;

внедрение единого стандарта деятельности и обновление содержания системы тестирования;


проведение инспекции качества осуществления тестовых испытаний, применение новых информационных образовательных технологий в процессе тестирования;

осуществление координации деятельности в области учебно-методических и научных разработок по вопросам тестирования;

осуществление сотрудничества с международными организациями и ассоциациями в области лингводидактического тестирования и другими заинтересованными международными и национальными организациями. В качестве такого центра может выступать Консорциум, объединяющий головные вузы системы государственного тестирования (ТРКИ).

К ведению Консорциума могут быть отнесены вопросы административного управления системой тестирования, формирования базы данных лиц, прошедших государственное тестирование, обеспечения передачи информации из базы в региональные управления ФМС России, выработка рекомендаций по вопросам ценообразования в области тестирования, обеспечения финансирования деятельности Консорциума, путм установления определенного процента отчислений от средств, полученных за каждое тестовое испытание.

В связи с этим, на Консорциум могут быть возложены следующие обязанности:

А. Осуществление организационного и научно-методического руководства государственной системой тестирования:

создание единой базы данных для статистической обработки результатов тестирования: сбор статистических данных из всех тестирующих организаций, установление единого программного обеспечения во всех тестирующих организациях, проведение статического анализа результатов тестирования;

совершенствование системы тестирования на основе статистического анализа;

подготовка закрытых тестовых материалов;

проведение экспертизы тестовых материалов;

подготовка рекомендаций для Министерства образования и науки РФ по вопросам:

включения государственных образовательных учреждений высшего профессионального образования в перечень головных вузов, осуществляющих государственное тестирование по русскому языку как иностранному;

отбора тестирующих организаций;

порядка выдачи и отзыва разрешений на проведение тестирования;

совершенствование процедуры проведения государственного тестирования:

формы и места подачи заявлений на прохождение тестирования;

предоставления документов, необходимых для участия в процедуре тестирования (паспорт, вид на жительство);

формы проведения тестирования (очно, дистанционно);

временного регламента и правил проведения тестирования;

срока и порядка подачи апелляций;

правил повторного тестирования.

Б. Осуществление функции внутреннего аудита системы тестирования, в том числе контроль за соблюдением процедуры и регламента проведения тестирования, в связи с этим необходимо предусмотреть осуществление трансляции видео и аудио в режиме онлайн на защищенный сервер процедуры проведения тестирования.

3. Отсутствие перечня специальностей, по которым проводится тестирование.

Необходимо обратить внимание на проблемы, которые должны быть решены 1 января 2015 года, когда будет введено массовое тестирование трудящихся мигрантов. На сегодняшний день одна из самых главных проблем заключается в отсутствии перечня профессий, для которых необходимым является получения сертификата по Базовому уровню для трудящихся мигрантов. В настоящее время мигрант имеет возможность обойти процедуру тестирования, получая работу на основании ОКВЭДа, а не на основании своей потенциальной профессиональной деятельности.

Сложившейся ситуацией пользуются недобросовестные работодатели, которые не несут административной ответственности за данные нарушения.

4. Необходимость изменения сроков получения сертификатов.

Следует соблюдать сроки получения кандидатами сертификатов – 10 дней, такой срок установлен законом. Таким образом, иностранный гражданин может пребывать на территории Российского государства более трх недель (10 дней для получения сертификата, ещ 2 недели для получения разрешения на работу в соответствие с существующим законодательством). В течение этого срока иностранный гражданин может не иметь достаточных источников к существованию, создат криминогенную ситуацию. Необходимо, чтобы головные вузы соблюдали порядок выдачи сертификата, а в дальнейшем могли уменьшить срок выдачи сертификата. Решением этой проблемы является переход с года на электронную форму сертификата.

5. Необходимость создания единой базы выданных документов и результатов прохождения тестирования На эффективное и качественное функционирования системы тестирования трудящихся мигрантов существенное влияние оказывает способ хранения, обработки и использование результатов тестирования.

Актуальными представляются задачи повышения систематизации, обеспечения оперативности обмена информацией между ведомствами, контролирующими процесс миграции.

Решить эти задачи может только единая база данных обработки, хранения и использования результатов тестирования иностранных граждан по русскому языку и, в ближайшем будущем по истории России и основам законодательства Российской Федерации. В соответствие с концепцией создания единой базы данных в не должны входить персональные данные лиц, прошедших тестирование, с возможностью незамедлительной передачи информации из базы в Федеральные миграционные службы и другие органы власти. Существенным элементом единой базы данных является также статистическая обработка результатов тестирования и формирование базы результатов тестирования по каждому субстесту и отдельному тестовому задания. Эта «научная» составляющая базы может служить основной совершенствования научно-методичекой базы системы лингводидактического тестирования, дат богатый материал для оценки валидности и наджности тестовых испытаний, является богатым источником для формирования банка тестовых заданий.

6. Введение формы компьютерного тестирования.

Планируемое с 2015 года введение массового тестирования трудящихся мигрантов, а также проведение интегрированного экзамена по русскому, языку, истории России и основам законодательства требует российской государственной системы тестирования новых более современных гибких и мобильных форм проведения тестовых испытаний и обработки результатов тестирования. Безусловно, такой формой является проведение компьютерного тестирования. О жизнеспособности и огромном потенциале этой формы свидетельствует реализация совместного проекта Санкт-Петербургского университета и «Единого миграционного центра». В ходе реализации этого проекта тестирование прошло более одиннадцати тысяч трудящихся мигрантов. Необходимо отметить следующие преимущества проведения компьютерного тестирования:

- возможность протестировать максимальное количество кандидатов за минимальное время;

- возможность максимально точного измерения коммуникативной компетенции кандидатов;

- объективность;

- минимизация возможности ошибки тестора / рейтера;

- отсутствие коррупционной составляющей;

- оперативность сообщения результатов;

автоматическое формирование базы данных результатов тестирования и выданных сертификатов;

- возможность проведения статистического анализа.

Исходя из сказанного выше, представляется особенно актуальным с 1 января 2015 года повсеместное введение формы компьютерного тестирования.

7. Подготовка иностранных граждан к сдаче теста по русскому языку. Необходимо обеспечить доступность информации о порядке, правилах и местах проведения государственного тестирования, а также о справочно-методических материалах, прежде всего типовых тестах, по каждому из уровней. С целью создания благоприятных условий для подготовки иностранных граждан к сдаче теста по русскому языку Министерству образования и науки следует провести работу по информированию заинтересованных лиц о возможностях прохождения соответствующего курсового обучения как в России, так и за рубежом. К организации обучения за рубежом должны быть привлечены головные вузы, участвующие в разработке государственной системы тестирования, представительства Россотрудничества, классы и кабинеты «Русского мира», зарубежные вузы и другие образовательные организации (школы, учебные центры и т.п.), имеющие соответствующую инфраструктуру в области преподавания и изучения русского языка как иностранного.

Анализ количественных критериев дат основание для следующих выводов:

К настоящему времени общее количество трудящихся мигрантов, проходивших тестирование, составляет около тридцати тысяч человек. По общему количеству кандидатов, прошедших тестирование, лидируют представители следующих стран: Узбекистана, Таджикистана, Молдовы, Украины, Кыргызстана (рис. 1).


Национальный состав тестируемых 1% 1% 5% 4% 7% Армения Азербайджан 14% Кыргызстан Молдова Таджикистан Узбекистан Украина 68% Рис. Общее количество сдающих тест: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 59%, что свидетельствует о низкой эффективности по этому критерию.

По количеству успешно прошедших тестирование первое место занимают граждане Украины – 95% успешно сдавших тест с первого раза, второе место – граждане Молдовы – 87%, далее следуют граждане Кыргызстана – 66%, Узбекистана – 57%, Азербайджана – 54%;

Таджикистана – 53%. (Рис. 2) Количество сдавших тест: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 106%, что свидетельствует об очень высокой эффективности по этому критерию.

Рис. Количественные показатели по национальной, возрастной, гендерной принадлежности кандидатов показывают, что общее количество кандидатов мужчин составляет 54%, кандидатов женщин – 46% (Рис. 3.).

Гендерный состав всех тестируемых 46% Мужчины 54% Женщины Рис. Среди кандидатов мужчин первое место занимают представители Узбекистана в возрасте от 18 до 29, второе место в этой возрастной группе занимают представители Таджикистана, третье – представители Кыргызстана. В целом, можно сказать, что для кандидатов-мужчин самыми массовыми возрастными группами являются возрастные группы от 18 до 29 лет и от 30 до 39 лет.

Среди кандидатов-женщин первое место занимают представители Узбекистана в возрасте от 30 до 39, лет второе место в этой возрастной группе занимают представители Таджикистана, третье – представители Молдовы. Большинство кандидатов-женщин относится к старшей возрастной, в сравнении с мужчинами, группе 30 – 39 лет и 40 – 59, что объясняется традициями и социокультурными особенностями данных стран (рис. 4).

Возрастной состав всех тестируемых 0% 23% 46% 18- 30- 40- 31% 60+ Рис. Количество кандидатов, пересдающих тест, коррелирует с общим количеством кандидатов, проходящим тестирование, а также с количеством кандидатов не прошедших тестирование. В этой категории большинство представителей Азербайджана, Таджикистана, Узбекистана.

Количество кандидатов, пересдающих тест: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 87%, что свидетельствует о высокой эффективности по этому критерию (рис. 5).

Процент пересдач среди тестируемых разных национальностей 20, 17, 18, 16, 14,00 12,59 12, 12, 9, 10, 7, 8, 5, 6, 4,00 2, 2, 0, Рис. Количество кандидатов, пересдавших тест с первого раза коррелирует с общим количеством кандидатов, пересдающих тест. В этой группе также лидируют представители Узбекистана, Таджикистана и Молдовы. Процент успешно пересдавших тест с первого раза составляет для граждан Узбекистана – 95%, Таджикистана – 92%, Молдовы – 100%.

Средний процент успешно пересдавших тест с первого раза составляет 95%. Количество кандидатов, пересдавших тест с первого раза: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 105%, что свидетельствует об очень высокой эффективности по этому критерию.

Анализ результатов тестирования по видам речевой деятельности дат основание для следующих выводов:

Самыми сложными видами речевой деятельности для представителей всех национальностей являются «Лексика, Грамматика» и «Письмо». Третье по сложности место занимает «Чтение» (в большинстве случаев), а также «Аудирование» (в одном случае) (Рис. 6).

ЛГ Чтение 100,0 Аудирование Говорение 80, Письмо 60, 40, Письмо 20, Говорение 0,0 Аудирование Чтение ЛГ Рис. Время, которое уходит на проведение всего теста: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 100%, что свидетельствует о высокой эффективности по этому критерию.

Время, которое уходит на проведение каждой части теста:

отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 100%, что свидетельствует о высокой эффективности по этому критерию.

Время, которое уходит на проверку матричных тестов:

отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 77%, что свидетельствует об эффективности по этому критерию.

Время, которое уходит на проверку матричных тестов при компьютерном тестировании: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 130%, что свидетельствует об очень высокой эффективности по этому критерию.

Время, которое уходит на проведение субтестов «Письмо», «Говорение»: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 105%, что свидетельствует об очень высокой эффективности по этому критерию.

Время, которое уходит на проверку субтестов «Письмо», «Говорение»: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 116%, что свидетельствует об очень высокой эффективности по этому критерию.

Время, через которое кандидат, успешно прошедший тестирование, получает сертификат: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 66%, что свидетельствует об эффективности по этому критерию.

Количественные показатели по национальной принадлежности, которые проходят обучение: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 25%, что свидетельствует об очень низкой эффективности по этому критерию.

Количество часов в программе обучения: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 25%, что свидетельствует об очень низкой эффективности по этому критерию.

Количество кандидатов, сдавших тест с первого раза после обучения: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 93%, что свидетельствует о высокой эффективности по этому критерию.

Количество кандидатов, пересдавших тест с первого раза после обучения: отношение фактически достигнутого значения показателя (F) к плановому значению показателя (P) составляет 100 %, что свидетельствует о высокой эффективности по этому критерию.

Анализ мониторинга тестирующих и образовательных организаций по каждому из субъектов Российской Федерации показал, что, в целом, по своим количественным и качественным параметрам данные организации отвечают потребностям регионов. Следует отметить отсутствие тестирующих и образовательных организаций в следующих субъектах Российской Федерации: Ингушетия, Кабардино-Балкария, Калмыкия, Карачаево-Черкесия, Северная Осетия — Алания, Чечня, что, на наш взгляд, объясняется геополитическими причинами. В свою очередь представляется невостребованным проведение тестирования или обучения в Ненецком, Чукотском и Ямало-Ненецком автономных округах в виду их особой отдалнности. Отсутствие данных организаций в Алтайском крае и Ленинградской области объясняется наличием рядом мегаполиса, который на сегодняшний день успешно справляется как с вопросами тестирования трудящихся, так и с вопросами их обучения.

Анализ экспертных листов, заполняемых респондентами, дат основание для следующих выводов:

Основной контингент сдающих экзамен представляет собой полинациональную группу: в не входят множество наций и народностей, проживающих на пространстве бывшего СНГ. Родной язык кандидатов принадлежит ко многим группам языков: славянским (украинский, белорусский), подгруппе романских языков (молдавский), различным подгруппам тюркских языков (азербайджанский, казахский, киргизский, туркменский, узбекский), отдельной подгруппе индоевропейского языка (армянский), иранской ветви индоевропейского языка (таджикский). Если у кандидатов уже был опыт изучения иностранных языков, то они легче справляются с выполнением заданий в тестовой форме. В случае, если кандидаты не имели опыта в изучении иностранных языков, они нуждаются в более подробной инструкции. Возрастная принадлежность – трудоспособное население (от 18 до 60 лет). Люди старшего возраста имели опыт (часто негативный) изучения русского в школе, люди молодого возраста часто не изучали русский язык в своей стране.

Женщины оставляют 46% от общего числа кандидатов, их средний возраст несколько выше среднего возраста мужчин. Социально-экономический уровень – довольно низкий. Все приехали в Россию на заработки.

Экономический уровень кандидатов следует учитывать при определении стоимости экзамена. Социально-культурный уровень данного контингента – средний. Кандидаты могут вести себя как наивные носители языка.

Образование кандидатов – среднее, среднее специальное. Одна часть данного контингента стремится получить хорошую работу и остаться в России, их уровень мотивации к изучению русского языка достаточно высокий. Другая часть – сезонные рабочие, которые не стремятся овладеть даже основами русского языка.

Выводы: В настоящее время в системе тестирования трудящихся мигрантов отсутствует ряд элементов, без наличия которых любая система тестирования не может считаться полноценной, а именно:

не опубликованы Требования к Базовому уровню для трудящихся мигрантов;

не определн и не опубликован Лексический минимум для трудящихся мигрантов;

нет Руководства для создателей теста;

нет Брошюр с кратким описанием уровня, не опубликованы информационные материалы, касающиеся содержания экзамена и его целей, адресата;

нет достаточной информации о формате этого экзамене на сайтах головных вузов, а также на сайтах других тестирующих организаций;

не созданы условия для тестирования кандидатов с ограниченными возможностями.

Головными вузами до сих пор не выработана единая форма Инструкции для администрации тестирующих организаций и для специалистов, непосредственно участвующих в процессе проведения тестирования, отсутствует, в свою очередь единая форма Договора с тестирующими организациями.

Организаторам и исполнителям необходимо уделять больше внимания режиму секретности до начала процедуры тестирования, в момент самого процесса тестирования и после тестирования. Решением данной проблемы могло бы стать использование закрытых каналов связи для пересылки всей документации, касающейся тестирования. Закрытость каналов связи обеспечивается с помощью «ключа».

Ключ – файл, содержащий определенный код доступа (очень длинный пароль). Ключ также дает возможность уникальной идентификации пользователя, вводящего данные.

Инструкции по работе с ключом:

Ключ высылается ответственному за тестирование в 1.

организации.

Ключ высылается после подписания договора перед первым 2.

тестированием.

Ключ высылается на электронном носителе (например, CD) 3.

экспресс-почтой (желательно, DHL). Есть также возможность безопасной генерации ключа на стороне организации, проводящей тестирование.

Ключ дает пользователю ограниченный доступ, который 4.

находится под постоянным контролем ответственного за базу данных СПбГУ, что означает, что представитель организации может заполнять поля, существующие в базе данных СПбГУ, не имея доступа к остальным данным, хранящимся в ней. В поля входят:

Дата тестирования (1) Уровень тестирования (2) ФИО кандидата (3) Гражданство (4) Родной язык (5) Дата рождения (6) Номер паспорта (7) Контактные данные (8) Результаты по субтестам (9) В настоящее время кандидаты, успешно прошедшие государственное тестирование, получают Сертификат установленного Министерством образования и науки Российской Федерации образца в течение 10 дней момента прохождения тестирования. К сертификату оформляется Приложение, в котором содержатся оценки результатов выполнения отдельных разделов теста.

Кандидатам, не прошедшим тестирование (не набравшим минимально необходимое количество баллов по отдельным разделам теста), выдается Справка с указанием их результатов. Справка действительна в течение двух лет с момента тестирования и дает возможность соискателю пересдать неудовлетворительно оцененные разделы теста (не более двух). В случае успешной пересдачи оформляется соответствующий Сертификат.

Однако и приложение к сертификату, и справка содержат информацию о баллах/процентах, полученных кандидатам. Для заинтересованных лиц (представителей миграционных служб, работодателей, самих кандидатов) этой информации недостаточно, так как она не показывает реальный профиль кандидата, который основывался бы на компетентностном подходе и давал бы кандидату ориентир для дальнейшего изучения языка, содержал бы информацию, где и на каких условиях можно продолжить занятия по русскому языку.

Необходимо обратить внимание на статистическую обработку результатов тестирования, не только на стадии создания теста, но и на стадии проведения тестирования. Статистическая обработка данных включает статистический анализ и расчт таких критериев, как наджность и валидность тестовых испытаний, с использованием следующих показателей: сложность, коэффициент дискриминации, стандартная ошибка измерений, коэффициент Кронбах-альфа, степень наджности рейтерской оценки. Безусловно, создание единой базы данных поможет справиться с решением этих задач. База данных, при этом должна содержать информацию для федеральных миграционных служб, которая быстро решала вопрос о подлинности сертификата, а также и информацию по выполнения каждого тестового задания, которую могли бы использовать специалисты-тестологи для статистического анализа, для создании банка тестовых заданий и новых вариантов теста. Доступ к этой базе данных должен регулироваться Федеральным законом от 27.07.2006 N 152-ФЗ (ред. от 23.07.2013 с изменениями, вступившими в силу с 03.08.2013) «О персональных данных».

Представляется перспективным проведение научных исследований по тематике тестирования трудящихся мигрантов, выступление на международных конференциях, связанных с этой проблематикой, обмен опытом по вопросам интеграции и социокультурной адаптации мигрантов.

Своевременным также может считаться подготовка научных статей по данной проблематике и публикация их в специализированных журналах: «Русский язык за рубежом», «Мир русского слова», а также в новом журнале Российского тестового консорциума.

В заключение следует отметить, что весь более чем 20-летний период функционирования системы ТРКИ, создание профессиональной и научно-методической базы, подготовка квалифицированных специалистов, совершенствование нормативно-правовой базы, охват территорий, вс это свидетельствует о том, что государственная система тестирования ТРКИ готова решать поставленные перед ней масштабные задачи. Решение этих задач будет успешным только при взаимодействии всех субъектов процесса тестирования трудящихся мигрантов: Министерства образования и науки Российской Федерации, Федеральной миграционной службы, головных вузов, тестирующих организаций, работодателей, национальных объединений и диаспор, самих кандидатов.

Работа по созданию эффективного механизма подготовки и проведения тестирования по русскому языку трудящихся мигрантов, включая проведение экзамена по истории России и основам законодательства Российской Федерации, носит долгосрочный характер и требует консолидации усилий различных государственных институтов, образовательных учреждений, общественных объединений в России и за рубежом, соответствующего ресурсного обеспечения.

К разработке рекомендации по повышению эффективности функционирования системы тестирования мигрантов на региональном и местном уровне были привлечены эксперты, отвечающие следующим критериям:

– наличие опыта подготовки и проведения аналогичных мониторингов и исследований:

Квалифицированные профессорско-преподавательских кадры, имеющие соответствующее образование, осуществляющие подготовку по дополнительной образовательной программе «Русский язык как иностранный», имеющие опыт проведения тестирования РКИ не менее 5 лет;

Квалифицированные специалисты в области тестологии и тестирования, имеющие соответствующие научные публикации и опыт создания тестовых материалов, в т.ч. рабочих вариантов тестов, тестовых практикумов и лингвометодических описаний;

Специалисты по созданию баз данных, а также компьютерного обеспечения процесса тестирования, имеющие опыт работы в системе тестирования не менее 2-х лет;

Представители Министерства образования и науки, имеющие опыт работы по реализации ФЦП «Русский язык» язык, а также разрабатывающие основные документы, связанные с функционированием системы государственного тестирования по русскому языку как иностранному;

– Представители ФМС, отвечающие за оформления разрешений на работу иностранным гражданам, прибывшим в Российскую Федерацию в порядке, не требующем получения визы.



Pages:     | 1 ||
 





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.