Национальное исследование качества образования по биологии и химии в 10 классах

Порядок проведения исследования
Термины и сокращения
НИКО − Национальные исследования качества образования.
Федеральный организатор НИКО – организация-координатор проведения исследований.
ОО − образовательные организации.
ОИВ субъекта РФ или ОИВ − орган исполнительной власти субъекта Российской Федерации, осуществляющий государственное управление в сфере образования.
Региональный координатор ОИВ − специалист, назначенный ОИВ для координации процедур исследований на региональном уровне.
Центр сканирования – РЦОИ или иной пункт сканирования региона, удовлетворяющий техническим требованиям к центру сканирования.
ППИ − пункт проведения исследования на базе ОО, которая участвует в НИКО.
Ответственный организатор ППИ - директор ОО или назначенный им ответственный за взаимодействие с ОИВ и общую координацию проведения исследования в ППИ.
Организатор − сотрудник ОО, назначенный организатором в аудитории.
Независимый наблюдатель − сотрудник ОО, ОИВ или общественный наблюдатель, направленный ОИВ наблюдателем на ППИ.
КИМ − контрольные измерительные материалы для проведения диагностической работы в рамках НИКО.
Сейф-пакет − специальный номерной пакет, защищенный от несанкционированного вскрытия.
Доставочный пакет − конверт для отправки материалов после проведения процедур исследования в центр сканирования.
Информационная система НИКО (http://www.eduniko.ru/, http://niko.statgrad.org/) – информационная система, предназначенная для обмена данными между ОО, участниками НИКО и Федеральным организатором НИКО. Состоит из нескольких модулей: Система СтатГрад www.statgrad.org – модуль регистрации ОО, получения и обработки электронных отчетов от ОО, передачи информации в ОО от Федеральных организаторов; Система СГ-Коллектор – модуль приема и обработки ответов участников НИКО для объединения в комплекты и организации дальнейшей проверки; Система Эксперт (или СГ-Эксперт expert.statgrad.org) – система удаленной проверки заданий.
Система дистанционного обучения Курситет https://kursitet.ru/project/niko/2017biche/ – информационная система на базе проекта с открытым исходным кодом EDX, предназначенная для дистанционного обучения и содержащая курсы по подготовке и проведению НИКО.

Общие положения
Национальные исследования качества образования (НИКО) проводятся в целях развития единого образовательного пространства в Российской Федерации, совершенствования общероссийской системы оценки качества образования.
В рамках НИКО предусмотрено проведение в 2017 г. исследований:
качества образования по химии и биологии в 10 классах (18 октября 2017 г.).
Мероприятия НИКО проводятся на выборке образовательных организаций. Формирование выборки ОО осуществляет организация-координатор проведения исследований на основании специально разработанной методики.
Исследования проводятся анонимно, данные об участниках в рамках исследований собираются без привязки к ФИО. ОО может принять решение о фиксации и хранении у себя результатов участников в привязке к ФИО для предоставления результатов родителям и выставления положительных отметок участникам, успешно справившимся с работой.
Результаты исследований могут быть использованы ОО, муниципальными и региональными органами исполнительной власти, осуществляющими государственное управление в сфере образования, для анализа текущего состояния системы образования и формирования программ её развития.
Не предусмотрено использование результатов указанных исследований для оценки деятельности учителей, ОО, муниципальных и региональных органов исполнительной власти, осуществляющих государственное управление в сфере образования.
Обсуждение результатов и перспективных направлений развития системы оценки качества образования проводится ежегодно в рамках межрегиональных конференций по оценке качества образования.
Организация процедур исследований
Для координации мероприятий в рамках НИКО орган исполнительной власти субъекта Российской Федерации, осуществляющий государственное управление в сфере образования (далее – ОИВ субъекта Российской Федерации или ОИВ), назначает специалиста, обеспечивающего координацию работ по проведению исследования на территории субъекта Российской Федерации (регионального координатора ОИВ).
Для проведения процедур исследования в каждом из ППИ, в котором проводится НИКО, должен быть назначен ответственный организатор ППИ (списки ответственных организаторов утверждаются ОИВ).
Региональным координаторам НИКО и ответственным организаторам ППИ предоставляется доступ в персональный кабинет для обмена информацией с федеральным организатором НИКО. Учётная запись для входа в систему предоставляется на условиях сохранения конфиденциальности.
Во время проведения процедур исследования в каждой аудитории, в которой находятся участники исследования, должны присутствовать организатор и независимый наблюдатель. Желательно присутствие общественных наблюдателей, а также использование видеонаблюдения.
Если в рамках мероприятий НИКО проводятся диагностические работы, предполагающие выполнение участниками заданий с развернутыми ответами, то к проверке развернутых ответов привлекаются специалисты по соответствующему учебному предмету, прошедшие необходимый инструктаж и соответствующую
аттестацию. По согласованию с ОИВ субъекта Российской Федерации к экспертному оцениванию развернутых ответов участников исследования могут быть привлечены специалисты из данного субъекта Российской Федерации.
Результаты исследований направляются ОИВ субъектов Российской Федерации для использования в работе, ОО, участвовавшим в исследовании, а также обсуждаются на конференции по оценке качества образования.
Технология проведения процедур, порядок и план-график организации каждого исследования в рамках НИКО определяется отдельным разделом настоящего Порядка. В рамках НИКО могут применяться технологии, основанные на использовании машиночитаемых бланков ответов, а также технологии компьютерного тестирования.
Технология проведения исследования качества образования по биологии и химии в 10 классах
Общее описание технологии
Для проведения НИКО формируется представительная выборка из числа образовательных организаций, реализующих образовательные программы среднего общего образования. Исследование проводится одновременно во всех ОО региона, вошедших в выборку, в форме диагностических работ и анкетирования. В исследовании принимают участие все обучающиеся параллели.
Технология проведения исследования качества образования по биологии и химии в 10 классах основана на использовании бланков ответов. Машиночитаемыми на бланках являются только служебные технические элементы. Все ответы на задания проверяются экспертами.
Бланки с заданиями КИМ изготавливаются типографским способом и доставляются до ППИ в специальных защищённых от вскрытия номерных сейф-пакетах. В каждом сейф-пакете содержатся материалы, рассчитанные на одну аудиторию:
– 16 индивидуальных конвертов (в том числе 1 запасной), каждый из которых содержит бланки с заданиями и анкеты;
– бланк протокола проведения;
– доставочный пакет.
Кроме того, каждая ОО, участвующая в исследовании, предоставляет организаторам сведения о самой организации и обучающихся-участниках исследования (исключая персональные данные) путем заполнения и отправки электронных форм через информационную систему НИКО (http://www.eduniko.ru/, http://niko.statgrad.org/).
В рамках исследования его участники выполняют диагностическую работу по одному из двух предметов (химия или биология), а также отвечают на вопросы анкеты. Предмет, по которому проводится исследование, заранее не сообщается.
Заполненные бланки с ответами на задания и с ответами на вопросы анкеты из каждой аудитории складываются в доставочный пакет. Заполненные доставочные пакеты из всех аудиторий ППИ отправляются в центр сканирования материалов. Материалы, не подлежащие дальнейшей централизованной обработке (пустые индивидуальные конверты, черновики), помещаются в ранее вскрытый сейф-пакет и сдаются ответственному организатору ППИ.
Сканирование материалов может осуществляться в нескольких центрах сканирования в одном субъекте Российской Федерации, но при соблюдении порядка сканирования и при выполнении технических требований к центру сканирования.
После сканирования полученные цифровые изображения материалов исследования через систему СГ-Коллектор передаются Федеральному организатору НИКО, который осуществляет обработку результатов, организует проверку развернутых ответов участников.
Проверка развернутых ответов участников исследования проводится дистанционно. В случае, если по согласованию с ОИВ к проверке развернутых ответов участников привлекаются специалисты из субъекта РФ, организаторы исследования обеспечивают возможность подключения специалистов к системе проверки, прохождения инструктажа и аттестации для допуска к выполнению проверки.
На заключительном этапе все заинтересованные стороны обеспечиваются итоговыми статистическими отчетами по результатам исследования.
Порядок подготовки исследования
Основные этапы подготовки исследования
Согласование выборки образовательных организаций, участвующих в исследовании;
назначение ответственных за проведение процедур исследования на уровне ОИВ и на уровне ППИ;
обучение ответственных за проведение процедур исследования на уровне ОИВ и на уровне ППИ;
доставка материалов в ОИВ;
доставка материалов из ОИВ в ППИ.
Согласование выборки образовательных организаций
Согласование выборки проводится региональным координатором в следующей последовательности:
получение от федеральных организаторов НИКО предварительного списка ОО;
согласование региональным координатором с руководителями ОО возможности участия ОО в исследовании;
предоставление организаторам НИКО сведений о количестве обучающихся в 10 классах в ОО, согласившихся принять участие в исследовании;
окончательное формирование федеральными организаторами НИКО списка ОО из числа согласованных и направление списка региональному координатору ОИВ.
Назначение ответственных за проведение процедур исследования
ОИВ субъекта Российской Федерации назначает для организации процедур исследования на территории данного субъекта РФ ответственного организатора на уровне ОИВ (регионального координатора НИКО).
Кроме того, ОИВ должен обеспечить назначение в каждом ППИ, участвующем в исследовании, ответственного организатора ППИ, организаторов в аудиториях и независимых наблюдателей, которые будут отправлены в другие ППИ. Организатором
в аудитории назначается учитель данной ОО, не являющийся учителем биологии или химии. В ППИ направляются наблюдатели, не работающие в данной ОО.
ОИВ также рекомендует федеральным организаторам экспертов по проверке развернутых ответов по биологии и химии из числа учителей, работающих в ОО субъекта РФ, но не обязательно в ОО, участвующих в исследованиях. Для участия в проверке развернутых ответов эксперты проходят инструктаж и аттестацию по результатам инструктажа, успешное прохождение которой является допуском к проверке работ участников исследования.
Эксперты по проверке заданий с развернутыми ответами:
– по биологии – учителя биологии, имеющие опыт работы в данной сфере не менее 3-х лет;
– по химии – учителя химии, имеющие опыт работы в данной сфере не менее 3-х лет;
Обучение ответственных за проведение процедуры исследования на уровне ОИВ и на уровне ППИ
Обучение ответственных за проведение процедуры исследования проводится дистанционно. Для записи специалистов на обучение региональному координатору ОИВ и ответственному организатору ППИ необходимо через информационную систему СтатГрад получить приглашения для самостоятельной регистрации в системе дистанционного обучения на курсах по подготовке к проведению Национальных исследований качества образования (НИКО БИОХИМ-2017).
Региональному координатору необходимо:
– выдать приглашения для входа в систему дистанционного обучения:
– независимым наблюдателям;
– экспертам по проверке заданий;
– специалистам центра сканирования;
– самому зарегистрироваться в системе дистанционного обучения.
Ответственному организатору ППИ необходимо:
– выдать приглашения для входа в систему дистанционного обучения:
– организаторам в аудиториях;
– техническим специалистам ППИ;
– самому зарегистрироваться в системе дистанционного обучения.
Каждый из указанных специалистов самостоятельно регистрируется в системе дистанционного обучения, следуя инструкции в приглашении. После этого он сможет приступить к обучению на соответствующем курсе.
От каждого региона должно быть заявлено:
– ответственный организатор ППИ – по количеству ППИ, участвующих в проекте;
– организатор в аудитории – по суммарному количеству аудиторий во всех ППИ, задействованных в проекте;
– независимый наблюдатель – по суммарному количеству аудиторий во всех ППИ, задействованных в проекте;
– специалист центра сканирования – не менее 1 человека;
– технический специалист ППИ – по количеству ППИ, участвующих в проекте;
– эксперты по проверке развернутых ответов – 2-3 человека.
Рекомендуется направить на обучение специалистов с учетом необходимого резерва.
Все специалисты ППИ, которым были выданы приглашения, получат доступ в систему дистанционного обучения Курситет https://kursitet.ru/project/niko/2017biche/
Обучение экспертов по проверке заданий
Для выполнения проверки развернутых ответов участников исследования набирается группа экспертов (2-3 человека от региона). Региональный координатор скачивает в личном кабинете системы СтатГрад приглашения для самостоятельной регистрации экспертов по проверке развернутых ответов участников НИКО в системе дистанционного обучения Курситет https://kursitet.ru/project/niko/2017biche/ и передает их экспертам.
Обучение экспертов проверке развернутых ответов также будет происходить через систему дистанционного обучения Курситет.
Обучение экспертов проводится с 18 октября по 15 ноября 2017 года. Курс включает модуль обучения работе с системой дистанционной проверки СГ-Эксперт, а также рекомендации по проверке заданий диагностических работ.
Доставка материалов в ОИВ
Материалы доставляются централизованно по адресу, указанному региональным координатором. Адрес указывается по электронной почте monitoring@mccme.ru.
Дата доставки согласовывается дополнительно, но не должна быть позже 10 октября 2017 года.
КИМ изготавливаются централизованно типографским способом и доставляются до ОИВ в специальных защищённых от несанкционированного вскрытия номерных сейф-пакетах. В каждом сейф-пакете содержатся материалы, рассчитанные на одну аудиторию: 16 (включая 1 запасной) индивидуальных конвертов, каждый из которых содержит бланки с заданиями и анкеты, бланк протокола проведения, доставочный пакет.
Каждому участнику предназначен один индивидуальный конверт, помеченный уникальным идентификатором.
Доставка материалов из ОИВ в ППИ
Материалы, предназначенные для проведения процедур исследования в конкретном ППИ, должны быть доставлены в этот ППИ с соблюдением условий конфиденциальности не позднее 17 октября 2017 года для 10 классов.
Порядок проведения процедур исследования
Этапы проведения процедур исследования:
• проведение диагностических работ и анкетирования участников;
• заполнение форм с контекстными данными об участниках в ППИ;
• сбор материалов для отправки в центр сканирования.
Проведение диагностических работ и анкетирования участников:
Ответственный организатор ППИ формирует список сотрудников, которые будут назначены организаторами в аудиториях и рекомендованы в качестве независимых наблюдателей в других ППИ. Списки наблюдателей подаются в ОИВ региональному координатору по субъекту РФ. Все направленные сотрудники ОО проходят дистанционное обучение.
Не позднее 17 октября назначенный ответственным организатором ППИ уполномоченный представитель ППИ получает в ОИВ материалы исследования для 10 классов. Также не позднее, чем за 12 часов до проведения процедур исследования ответственный организатор ППИ должен обеспечить организацию мест проведения исследования (аудиторий). Составляется распределение участвующих в проведении исследования обучающихся по аудиториям: участники распределяются по аудиториям из расчёта по 15 человек (по одному за партой).
Дата проведения процедур исследования:
– 18 октября 2017 года – 10 классы, диагностическая работа.
За 30 минут до начала исследования в ППИ прибывают направленные ОИВ независимые наблюдатели. За 15-20 минут до начала исследования организаторам в аудиториях выдаются сейф-пакеты с материалами исследования. За 5 минут до начала исследования, после рассадки участников по аудиториям, в присутствии независимых наблюдателей организаторами вскрываются сейф-пакеты.
Диагностическая работа в 10 классах рассчитана на 90 минут. Рекомендованное время для проведения процедуры исследования: на 2-3 или 3-4 уроках.
Распорядок во время проведения исследования:
инструктаж, выдача материалов – 5 минут;
выполнение диагностической работы – 80 минут;
анкетирование участников – 5 минут.
По окончании процедуры исследования организатор в аудитории упаковывает все бланки с работами и анкеты участников в доставочные пакеты для отправки материалов исследования в центр сканирования. Доставочные пакеты с материалами исследования сдаются ответственному организатору ППИ.
Также ответственному организатору передаются все остальные материалы:
– невскрытые индивидуальные комплекты участников;
– вскрытые, но не использованные комплекты;
– испорченные комплекты;
– пустые конверты от индивидуальных комплектов бланков и черновики участников, упакованные в сейф-пакеты, в которых были получены материалы;
– заполненные протоколы проведения, полученные вместе с материалами для проведения исследования, в которых установлено соответствие между ФИО обучающихся и номерами выданных им комплектов.
По окончании процедуры исследования, в тот же день ответственный организатор ППИ заполняет электронный протокол проведения.
Доставочные пакеты отсылаются в региональный центр сканирования. Невскрытые индивидуальные комплекты участников, вскрытые, но не использованные комплекты, и испорченные комплекты передаются в центр сканирования или региональному координатору (по решению ОИВ). Оставшиеся в ППИ материалы хранятся до окончания всей процедуры исследования (до получения результатов ОО).
Заполнение форм с контекстными данными
Форма для заполнения контекстных данных по ППИ передается в ППИ через систему СтатГрад. В форму заранее вставлены идентификаторы участников процедур исследования. Рядом с каждым идентификатором участника должны быть указаны:
– пол;
– отметка по русскому языку за предыдущий учебный год;
– отметка по математике за предыдущий учебный год;
– отметка по химии за предыдущий учебный год;
– отметка по биологии за предыдущий учебный год;
– класс (буква).
Направление материалов в центр сканирования
Заполненные бланки ответов и анкеты участников упаковываются в доставочные пакеты. Все предназначенные к отправке материалы из одной аудитории должны находиться в одном пакете. Недопустимо упаковывать материалы из разных аудиторий в один пакет. Недопустимо упаковывать материалы из одной аудитории в два и более пакетов. Нарушение порядка упаковки приведёт к проблемам при сканировании и верификации бланков. Пакеты из одного ППИ доставляются в центр сканирования одновременно. Вместе с ними передается опись, формируемая автоматически из формы с контекстными данными.
Обработка материалов в центре сканирования
В центре сканирования все материалы, доставленные из ОО внутри доставочных конвертов, должны быть отсканированы в соответствии с техническими требованиями (2 стороны, режим – ч/б (b/w), разрешение 200dpi). Отсканированные материалы передаются в систему СГ-Коллектор в соответствии с руководством пользователя. Транспортом для передачи данных является бесплатный сервис Яндекс.Диск. Каждый центр сканирования должен иметь аккаунт в Яндекс.Диск и стабильное подключение к сети Интернет.
После загрузки сканов в систему СГ-Коллектор и обработки оператор центра сканирования производит проверку комплектности отсканированных материалов в соответствии с информацией о напечатанных бланках, информацией из описи и информацией из протоколов проведения, переданной вместе с пакетами. При необходимости, в центре сканирования происходит пересканирование или досканирование.
Верифицированные комплекты участников исследования поступают на проверку в систему СГ-Эксперт.
Специалисты центра сканирования проходят дистанционное обучение в системе Курситет https://kursitet.ru/project/niko/2017biche/.
Проверка заданий экспертами
Проверка заданий осуществляется удаленно через систему СГ-Эксперт в период c 23 октября. Сроки проверки представлены в Плане-графике проведения НИКО. Назначенные региональным координатором эксперты по проверке заданий направляются на дистанционное обучение работе с системой СГ-Эксперт (в системе Курситет).
По окончании проведения процедур исследования происходит разбор всех заданий диагностических работ.
Прошедшие обучение эксперты получают доступ в систему СГ-Эксперт. Каждый эксперт проходит аттестацию на допуск к проверке развернутых ответов. Процедура аттестации заключается в том, что эксперт оценивает некоторое количество образцов ответов, заранее оцененных организаторами исследования (то есть получившими эталонные оценки). Если расхождение оценок эксперта с эталонными оценками находится в допустимых пределах (менее 10%), то эксперт получает доступ к проверке всех работ.
Проверка заданий осуществляется удаленно через систему СГ-Эксперт.
Порядок проведения исследования в ТОМ
Организация проведения исследования качества образования в образовательных организациях, находящихся в труднодоступных и отдаленных местностях (ТОМ).
Каждая ОО получает файлы с материалами для исследования через сайт СтатГрад по своему логину и паролю.
Файлы для распечатывания в зашифрованном виде становятся доступны индивидуально для каждой ОО за день до проведения исследования;
Пароли для разархивирования становятся доступны в день проведения исследования.
Ответственный организатор ППИ с помощью технического специалиста распечатывает комплекты, обеспечивая единственность каждого бланка и полноту индивидуальных комплектов участников, соблюдая конфиденциальность. Печать производится из файлов формата PDF на бумаге формата А4 строго без масштабирования (обязателен режим «Actual size» при печати из Acrobat), по возможности в двустороннем режиме. Для использования допускаются исправные устройства печати с новым тонер-картриджем без дефектов печати. Разложить комплекты для каждого участника можно в файлы-вкладыши А4 или просто стопкой. При наличии конвертов формата С4 (для упаковывания листов бумаги формата А4) можно сложить полный комплект участника в конверт, не заклеивая его во избежание порчи бланков при распечатывании конверта.
Сканирование и отправка заполненных бланков производится согласно инструкции специалиста центра сканирования.
Технический специалист ППИ, который является ТОМ, должен пройти обучение на двух курсах: «Направление: Технический специалист в ППИ» и «Направление: Специалист центра сканирования». Технические специалисты ППИ, которые являются ТОМ, будут записаны на обучение на «Направление: Специалист центра сканирования» автоматически.
Порядок подведения итогов исследования
По окончании процедур исследования проводится анализ результатов. Полученные статистические отчеты и аналитические материалы публикуются на сайте www.eduniko.ru