Идет работа над наполнением сайта. Некоторые ссылки могут не работать. Приносим свои извинения.

Поиск по сайту

Счётчики


English
Текст русской и английской версий могут отличаться по объему информации и формулировкам

 

Независимая международная экспертиза по установлению соответствия Теста второго сертификационного уровня Санкт-Петербургского государственного университета Общеевропейской шкале иноязычной коммуникативной компетенции

На сегодняшний день Санкт-Петербургский государственный университет является единственным образовательным учреждением в российской образовательной системе, который прошел независимую международную экспертизу и подтвердил соответствие университетского теста Общеевропейской шкале наравне с такими экзаменационными системами как Cambridge ESOL, IELTS, TOEFL.

  • Результаты независимой международной экспертизы
  • Участие Центра лингводидактического тестирования СПбГУ в российских и международных научных конференциях по диссеминации результатов независимой международной экспертизы
  • Вопросы-ответы о международной экспертизе и этапах ее прохождения Центром лингводидактического тестирования СПбГУ

Результаты независимой международной экспертизы

  • Проведена независимая международная экспертиза качества Теста второго сертификационного уровня СПбГУ на основании нормативов, разработанных Европейской Ассоциацией Языкового Тестирования ALTE (Association of Language Testers in Europe).
    • Отчет Dianne Wall (Ланкастерский университет), июнь 2012
    • Отчет Dianne Wall (Ланкастерский университет), июнь 2012. Краткая русская версия
  • Проведена независимая международная экспертиза соответствия Теста второго сертификационного уровня СПбГУ уровню В2 по Общеевропейской шкале иноязычной коммуникативной компетенции
    • Установлен стандарт проходного балла Теста второго сертификационного уровня СПбГУ в продуктивных видах речевой деятельности «Письмо» и «Говорение».
      • Отчет международных экспертов, ноябрь 2014.
      • Отчет международных экспертов, ноябрь 2014. Краткая русская версия
    • Установлен стандарт проходного балла Теста второго сертификационного уровня СПбГУ в рецептивных видах речевой деятельности «Аудирование», «Чтение», «Использование языкового материала»
      • Отчет международных экспертов, июнь 2014.

Участие Центра лингводидактического тестирования СПбГУ в российских и международных научных конференциях по диссеминации результатов независимой международной экспертизы

  • Конференция Европейской ассоциации языкового тестирования EALTA (European Association for Language Testing and Assessment), Копенгаген, май 2015
  • XLV Международная филологическая конференция, Санкт-Петербург, март 2016Участие Центра лингводидактического тестирования СПбГУ в российских и международных научных конференциях по диссеминации результатов независимой международной экспертизы

 

Конференция Европейской ассоциации языкового тестирования EALTA (European Association for Language Testing and Assessment) в Копенгагене, май 2015

Текст презентации; слайды

уникальность вклада СПбГУ в создание системы независимого тестирования по иностранным языкам По результатам независимой международной экспертизы сотрудниками Центра лингводидактического тестирования СПбГУ был проведен количественный и качественный анализ данных, полученных в ее рамках, и данные результаты представлены на конференции.

В пленарном выступлении на конференции был представлен опыт СПбГУ как ведущего университета российской образовательной системы в области создания системы независимой оценки по иностранным языкам:
  • представлены результаты статистического анализа, подтверждающие соответствие Теста СПбГУ уровню B2 Общеевропейской шкалы;
  • проанализированы валидность и надежность процедуры проведения международной экспертизы;
  • представлены результаты статистического анализа работы 33 экспертов из 5 стран Европы в рамках установления стандарта проходного балла;
  • представлен анализ методов, которые использовались в рамках международной экспертизы;
  • рассмотрен опыт СПбГУ по использованию системы независимой оценки результатов обучения как инструмента совершенствования качества преподавания английского языка.
активная позиция СПбГУ в работе международного академического сообщества Доклад специалистов СПбГУ получил не только высокую оценку совета экспертов Общеевропейской ассоциации (EALTA), но и вызвал большой интерес к работе, проделанной СПбГУ, у профессионального сообщества.

В рамках обсуждения материалов доклада был отмечен ряд существенных факторов, определяющих конкурентоспособность Санкт-Петербургского государственного университета не только на федеральном, но и на международном уровне:
  • СПБГУ первая и единственная образовательная организация Российской Федерации, которая представила результаты своей работы в области независимой оценки по иностранным языкам;
  • уровень представленных материалов говорит о глобальности подхода и высоком уровне профессионализма, на котором эта работа была выполнена;
  • подчеркнуты валидность и надежность полученных результатов международной экспертизы.

 

XLV Международная филологическая конференция, Санкт-Петербург, март 2016

Стандартизация измерительных материалов в контексте общеевропейской языковой политики (материалы доклада)
Установление стандарта проходного балла: валидность, надежность, практичность (материалы доклада)

СПбГУ в контексте общеевропейской языковой политики Имея опыт прохождения независимой международной экспертизы и диссеминации ее результатов на международном уровне, сотрудники Центра лингводидактического тестирования СПбГУ в рамках докладов на конференции проанализировали вопросы стандартизации содержательного компонента языкового теста в свете требований процедуры Совета Европы по соотнесению теста с уровнями Общеевропейской шкалы иноязычной коммуникативной компетенции.

Данный опыт является уникальным в отечественной системе тестового контроля по иностранным языкам. Доклады сотрудников Центра лингводидактического тестирования СПбГУ вызвали живейший интерес у участников конференции.
Положительный и заинтересованный отклик аудитории Большой интерес вызвали вопросы, практического характера: что из себя представляли основные этапы и методы процедуры Совета Европы по соотнесению Теста второго сертификационного уровня СПбГУ с уровнями Общеевропейской шкалы иноязычной коммуникативной компетенции; кто были участники данной процедуры.

Особенно подробно в докладах были освещены факторы, определяющие валидность , надежность и практичность установления стандарта проходного балла.

Слушателями была отмечена тщательность подготовки материалов и точность соблюдения необходимых процедур в рамках независимой международной экспертизы.

 

Вопросы-ответы о международной экспертизе и этапах ее прохождения Центром лингводидактического тестирования СПбГУ

Вопрос: почему необходимо сдавать Тест Второго сертификационного уровня СПбГУ?
Ответ: В соответствии с требованиями к общим компетенциям Образовательного стандарта Санкт-Петербургского государственного университета (СПбГУ)[1] «выпускник Университета с квалификацией (степенью) «бакалавр», получающий высшее образование впервые, должен владеть английским языком на уровне, сопоставимом с уровнем В2 Общеевропейской шкалы иноязычной коммуникативной компетенции»[2].
С целью реализации требований Образовательного стандарта Центром лингводидактического тестирования СПбГУ (ЦЛТ) был разработан Тест второго сертификационного уровня СПбГУ, который используется в рамках итоговых аттестационных испытаний по английскому языку для студентов бакалавриата и специалитета СПбГУ.
Вопрос: зачем нужна независимая международная экспертиза?
Ответ: в ходе независимой международной экспертизы, которая проводится в соответствии с процедурой, разработанной и утвержденной Советом Европы, устанавливается соответствие теста уровню Общеевропейской шкалы иноязычной коммуникативной компетенции. В результате сертификат о прохождении теста становится валидным документом, соотнесенным с общепринятыми международными стандартами в области образования и на рынке труда.
Вопрос: кто проводит независимую международную экспертизу?
Ответ: Экспертная комиссия включает в себя две группы независимых экспертов:
  • группа независимых международных экспертов из Великобритании, Голландии, Испании, Финляндии, Швеции;
  • группа независимых российских экспертов, прошедших тщательную подготовку и подтвердивших квалификационное соответствие требованиям процедуры Совета Европы.
Руководители проекта:
  • Профессор Норманн Верхельст (Dr. Norman Verhelst), ведущий специалист в области статистического анализа тестов, автор Общеевропейской шкалы иноязычной коммуникативной компетенции, разработчик процедур Совета Европы по установлению соответствия тестов Общеевропейской шкале иноязычной коммуникативной компетенции.
  • Профессор Неус Фигуэрас (Dr. Neus Figueras), соавтор Общеевропейской шкалы иноязычной коммуникативной компетенции, первый президент Европейской ассоциации языкового тестирования.
  • Профессор Саули Такала (Dr. Sauli Takala), соавтор Общеевропейской шкалы иноязычной коммуникативной компетенции, второй президент Европейской ассоциации языкового тестирования.
  • Прохорова Е.Ф., старший научный сотрудник, директор Центра лингводидактического тестирования СПбГУ.
Координатор по подготовке и проведению процедур установления стандарта проходного балла Тимофеева Т.М., старший научный сотрудник, заведующая лабораторией разработки тестов Центра лингводидактического тестирования СПбГУ.
Координатор процедур подготовки и аккредитации экспертов Ланкина О.Ю., научный сотрудник Центра лингводидактического тестирования СПбГУ.
Вопрос: из каких этапов состоит независимая международная экспертиза?Ответ: Процедура, в рамках которой проводится независимая международная экспертиза, была разработана Советом Европы и опубликована Отделом языковой политики Совета Европы в январе 2009 г[3]. Экспертиза по установлению соответствия экзаменационной системы Общеевропейской шкале иноязычной коммуникативной компетенции включает в себя 5 основных этапов:
1 этап - “Familiarisation”, основными задачами которого являются изучение системы требований к 6 уровням владения иностранным языком Общеевропейской шкалы и формирование навыка использования этих знаний у независимых экспертов при анализе экзаменационных материалов;
2 этап - “Specification”, основными задачами которого являются анализ и описание экзаменационной системы; подготовка пакета материалов, подтверждающих, что тест соответствует уровню/уровням Общеевропейской шкалы иноязычной компетенции;
3 этап - “Standardisation Training and Benchmarking”, основной задачей которого является подготовка групп независимых экспертов к проведению анализа экзаменационной системы и соотнесению ее с требованиями Общеевропейской шкалы иноязычной коммуникативной компетенции;
4 этап - “Standard Setting”, основной задачей которого является установление стандарта проходного балла каждой части Теста с целью подтверждения/не подтверждения его соответствия заявленному уровню Общеевропейской шкалы иноязычной коммуникативной компетенции;
5 этап “Validation”, основными задачами которого являются проведение статистического анализа, описание полученных в ходе независимой экспертизы данных и написание аналитического отчета с целью диссеминации результатов экспертизы.
Вопрос: что уже сделано в рамках международной экспертизы?Ответ: Центром лингводидактического тестирования СПбГУ успешно пройдены и задокументированы все 5 этапов независимой международной экспертизы.

В соответствии с требованиями процедуры Совета Европы были выполнены следующие виды работ:
2013
  • сформированы группы международных и российских экспертов;
  • подготовлены координаторы проекта по двум направлениям: подготовка и аккредитация экспертов; процедура установления стандартов;
  • согласована с международными экспертами программа основных этапов экспертизы (Отчет международных экспертов, ноябрь 2013);
  • подготовлены первичные материалы (более 300 страниц) экспертизы по общей характеристике системы независимой оценки по английскому языку: система анализа качества теста; система оценивания; система интерпретации результатов тестирования; 3 версии Теста второго сертификационного уровня; статистический анализ результатов тестирования (сентябрь 2011, май 2013, сентябрь 2013); протоколы по установлению границ ранговых баллов (сентябрь 2011, май 2013, сентябрь 2013); шкала критериев оценивания разделов «Письмо» и «Говорение»; образцы ответов студентов на задания разделов «Говорение» и «Письмо»; протоколы оценивания устных ответов студентов; протоколы оценивания работ раздела «Письмо»; спецификация Теста второго сертификационного уровня;
  • проведены семинары подготовки экспертов к реализации процедур этапа “Specification” (48 часов);
  • разработан учебно-методический комплекс (УМК) по подготовке независимых экспертов для проведения этапов “Familiarisation”, “Standardisation Training”.
2014
  • проведены семинары по подготовке экспертов с целью реализации процедур этапа “Familiarisation” (40 часов, декабрь 2013г.);
  • проведены семинары по подготовке независимых экспертов с целью использования статистических методов установления стандарта проходного балла (40 часов, январь 2014г.);
  • проанализированы и согласованы с международными экспертами уровень сложности, дискриминация и содержательная валидность тестовых вопросов, которые подлежат анализу независимых экспертов по версиям мая-сентября 2013г. в разделах «Аудирование», «Чтение», «Практическое использование языкового материала»;
  • подготовлены и согласованы с международными экспертами пакет материалов для процедур этапа “Standard Setting” в рецептивных видах речевой деятельности;
  • разработан компьютерный модуль (на базе программы OPLM) для проведения статистического анализа результатов итогового аттестационного испытания июня 2014 г. на основе IRT;
  • проведен второй раунд семинаров этапа “Familiarisation” (24 часа);
  • проведен семинар по подготовке российских и международных экспертов по этапу “Standard Setting” (разделы «Чтение», «Аудирование», «Практическое использование языкового материала»);
  • проведены процедуры установления стандарта проходного балла Теста второго сертификационного уровня СПбГУ в рецептивных видах речевой деятельности;
  • проведен статистический анализ результатов работы независимых российских и международных экспертов по установлению стандарта проходного балла. (Отчет международных экспертов, июнь 2014);
  • прослушаны устные ответы (более 3000) и проведен анализ письменных работ (более 3000) студентов с целью отбора 52 устных ответов по баллам с 11 по 20 и 78 письменных работ по каждому баллу от 16 до 35 для установления стандарта проходного балла в разделах «Говорение и «Письмо» соответственно;
  • проведено согласование отобранных ответов с международными экспертами и разработан формат пакета документов/аудиозаписей для проведения процедур установления стандартов в продуктивных видах речевой деятельности;
  • проведен семинар подготовки независимых экспертов по этапу “Standardisation Training” и “Benchmarking”, аккредитована группа независимых экспертов для установления стандарта проходного балла в продуктивных видах речевой деятельности;
  • проведена процедура установления стандарта проходного балла Теста второго сертификационного уровня СПбГУ в продуктивных видах речевой деятельности. («Письмо» и «Говорение»);
  • проведен статистический анализ результатов работы международных и российских экспертов по установлению стандарта. (Отчет международных экспертов, ноябрь 2014).
2015
  • проведена систематизация данных, полученных на этапах: Specification, Familiarisation, Standard Training and Benchmarking, Standard Setting;
  • определены методы статистического анализа полученных данных и проведено их согласование с международными экспертами;
  • проведен статистический анализ и описаны полученные данные по основным этапам экспертизы;
  • специалисты Центра лингводидактического тестирования СПбГУ выступили с презентацией результатов независимой экспертизы Теста второго сертификационного уровня СПбГУ на ежегодной конференции Европейской организации языкового тестирования (EALTA);
2016
  • специалисты Центра лингводидактического тестирования СПбГУ выступили с презентацией результатов независимой экспертизы Теста второго сертификационного уровня СПбГУ на XLV Международной филологической конференции, Санкт-Петербург, март 2016;
  • закончен анализ статистических данных по результатам международной экспертизы;
  • ведется работа по диссеминации результатов международной экспертизы.

 


[1] Образовательный стандарт по уровню высшего профессионального образования «бакалавриат», утвержденный приказом исполняющего обязанности проректора по учебно-методической работе от 02.07.2014 №3535/1 «Об утверждении образовательного стандарта (бакалавриат)»

[2] Modern Languages: Learning, Teaching, Assessment. A Common European Framework of Reference: Draft 2 of a Framework Proposal. – Strasbourg: Council of Cultural Co-operation, Council of Europe, 1998.

[3] Relating Language Examinations to the Common European Framework of Reference for Languages: Learning, Teaching, Assessment (CEFR). A Manual