Проект дистанционного электронного обучения и модель электронной оценки знаний

Для работы с новой средой требовалось выделить будущие категории пользователей. Первые – преподаватели, которые делились на авторов (ведущих), авторов (начинающих) и тьюторов. Далее - обучаемые: студент, слушатель курсов, абитуриент. Участники организации делились на четыре категории: сотрудник организации (ведущий), сотрудник организации, участник организации, посетитель организации. Администраторы: администратор ЭОС, администратор Института, администратор кафедры (организации). И, конечно же, гость.

При входе во вновь внедренную цифровую систему каждый пользователь попадал на свою персональную страницу — совокупность вкладок, на каждой из которых собран набор модулей, определяющих привилегии конкретной категории пользователей. В ЭОС созданы такие вкладки, как «Страница преподавателя», «Страница студента», «Страница гостя», «Электронная библиотека», «Страница электронного контента», страницы для администраторов различных уровней, страницы для учреждений, организаций и сообществ. Количество вкладок, как и их содержимое, может постоянно меняться. Чем больше ролей у пользователя, тем больше вкладок на его странице.

Привилегии пользователя определяются функциональными модулями на вкладках. Для каждой из перечисленных категорий был определен минимальный набор привилегий, который необходим для обеспечения учебного процесса, задается по умолчанию, и с которым пользователь работает на первом этапе освоения ЭОС. Такой подход позволяет не засорять систему незавершенными курсами, невостребованными ресурсами и пассивными пользователями. В тоже время любой пользователь может расширить набор привилегий, если чувствует в этом необходимость. Поэтому кроме минимального набора был определен и максимальный набор привилегий. По мере освоения ЭОС преподавателями, приобретения ими знаний в сфере электронных образовательных технологий и в зависимости от потребностей обучаемых, эта категория пользователей может самостоятельно формировать свои привилегии. С другой стороны процесс увеличения привилегий таит в себе опасность нанесения ущерба интеллектуальной собственности, защите персональных данных, а также может способствовать появлению некачественных ресурсов, курсов и недобросовестных пользователей. Поэтому верхняя граница привилегий должна непрерывно пересматриваться, особенно после выявления угроз информационной безопасности. Таким образом, организационные проблемы электронной образовательной среды КНИТУ-КАИ решаются категорированием пользователей, информационных ресурсов и глубокой детализаций привилегий.

Многие преподаватели изначально были склонны к традиционным методам обучения и скептически относились к новым задачам, связанным с дистанционным обучением. С приходом современной ЭОС появилась возможность наполнять образовательный процесс электронным контентом, выполнять лабораторные работы, проводить семинары и практические занятия. Появилась возможность иметь в реальном времени обратную связь при помощи видеосвязи. При этом преподаватель получил возможность отвечать на конкретной вопрос, а все студенты - ощущение индивидуального подхода. У студентов появилась возможность завершать работу дома и отправлять ее внутри платформы при том, что все документы и файлы платформы хранятся на серверах, установленных в КНИТУ-КАИ, что обеспечивает большую конфиденциальность и безопасность данных. Практически сразу ЭОС поддерживала работу с мобильными устройствами связи. Студентам была предоставлена возможность при помощи мобильных телефонов участвовать в опросах, выполнять практические задания и проходить тестирования. ЭОС КНИТУ-КАИ позволяет создавать студенческие структуры не только по организационной принадлежности, учебным проблемам и интересам, но и по увлечениям. Таким образом могут быть созданы индивидуальные группы, группы на факультетах, общие группы для университета и даже межуниверситетские.

После внедрения ЭОС КНИТУ-КАИ перед Галимовым Э. Р. возникла задача построения модели электронной оценки знаний студентов. Основная цель такой модели – это повышение качества обучения и оценки уровня компетентности с использованием современных средств электронного обучения. Для решения данной задачи было необходимо провести анализ компетенций и учесть тенденции развития образования, определить роль и возможности LMS (Learning Management System) в современном образовании, проанализировать роль обучающих и контрольных мероприятий в обучающем процессе и выбрать наиболее перспективные, определить показатели и методы оценивания уровня компетентности. Были выделены самые перспективные средства LMS: блоги, вики-страницы, доски обсуждений, сервис самооценки и оценки партнером, средства проведения вебинаров, средства создания разнообразных форм тестовых заданий, модуль управления процессом тестирования и анализа результатов тестирования (модуль «Тесты, опросы и пулы»). Менее востребованы, но также очень перспективны, средства создания отчетных форм, отображающие различные параметры процесса обучения: использование базовых средств обучения и дополнительных материалов, временные затраты, качественные показатели отдельных студентов или группы студентов (модуль «Отчеты по курсу»). Продемонстрируем, какие формы обучающих и контрольных мероприятий можно реализовать с помощью предложенного сервиса и их возможности.Как с помощью EvaProject и EvaWiki построить прозрачную бесшовную среду для успешной работы крупного холдинга

Условия для творчества создавались с помощью таких сервисов, как «Доска обсуждений», «Вики- страницы», «Самооценка и оценка партнером». Сервис «Доска обсуждений» традиционно используется для организации форумов и конференций. Инструмент «Вики-страницы» имеет очень широкое применение, но наиболее целесообразно применять его для выполнения курсовых работ, проектов, деловых игр. Этот инструмент необходим везде, где нужно активное управление со стороны преподавателя. Другим очень перспективным инструментом, вырабатывающим творческие навыки, признано средство «Самооценка и оценка партнером». Этот инструмент самоорганизует творческое отношение к процессам, которые выполняет сам студент и его напарники. Известно, что наиболее эффективное средство обучения — это обучение на своих ошибках или обучение других.

В ЭОС внедрены деловые игры, как одно из наиболее информативных и перспективных мероприятий обучения и контроля. Одной из ключевых компетенций, которой должен обладать выпускник, является социально-коммуникативная компетенция. Студенты учатся работать в группе, конкурировать, давать качественную оценку своей работе, оценивать партнеров. Они учатся постановке проблем и задач, разработке решений и организации деятельности. В настоящее время «Деловая игра» - распространённый и эффективный механизм, который моделирует реальные ситуации, социальное пространство, процессы и системы, с которыми встречаются выпускники в своей будущей профессии.

В разработанных Галимовым Э. Р. курсах «Деловые игры» проходят по следующему сценарию:

• формируется группа для реализации проекта, участники группы обосновывают свои компетенции и выбирают руководителя группы;
• предлагаются мероприятия для решения поставленной перед группой проблемы;
• предлагаемые мероприятия и решения обсуждаются членами группы, комментируются руководителем (преподавателем) с помощью форума («Доска обсуждений») и с помощью «Вики-страниц»;
• коллективно разрабатывается план мероприятий по решению поставленной проблемы;
• члены группы представляют индивидуальные решения некоторых задач из плана, которые сначала корректируются преподавателем, а затем, с помощью соответствующего средства, оцениваются партнерами по группе.

Такая форма обучения и, одновременно, контроля учит студентов работать в команде, вести конструктивное обсуждение, отстаивать свою точку зрения, реагировать на критику и замечания. Командная работа по предложенному сценарию формирует культуру работы в группе, а также культуру устного и письменного общения.

Галимовым Э.Р. были внедрены технологии оценивания знаний и компетенций с использованием Data Mining, которые определяются:

• контрольными мероприятиями;
• показателями и критериями качества контрольных мероприятий;
• методами оценивания знаний и компетенций.

Автоматизировать процесс оценивания знаний и компетенций можно c помощью сервиса, предоставляемого модулем «Отчеты по курсу» и инструментарием «Анализ элементов» модуля «Тесты, опросы и пулы». Модуль «Отчеты по курсу» содержит разнообразные отчетные формы, по которым можно сформировать набор показателей для оценки студента (временные затраты, непрерывность обучения, отношение к элементам курса и т.п.). Сервис «Анализ элементов» также предоставляет много показателей по результатам тестирования, которые можно использовать для прогноза (оценивания) компетентности обучаемого.

С учетом того, что большое количество параметров осложняет решение задачи оценивания уровня компетентности обучаемого, первоначально, Галимовым Э. Р. решалась задача выбора существенных признаков для различных контрольных мероприятий. Для решения этой задачи были им выбраны методы Data Mining пакетов «Statistica» и «Deductor» и предложен следующий сценарий:

• Выбрать набор показателей и определить градации по каждому параметру;
• Сформировать исходную выборку;
• Выполнить кластеризацию (определить оптимальное количество кластеров);
• Проверить возможность интерпретации сформированных кластеров;
• Если интерпретация возможна, на основе построенных кластеров сформировать обучающую выборку, если невозможна, то обучающую выборку построить эксперту;
• Далее, методом нейронных сетей, решить задачу распознавания. Если метод не дает качественного решения, либо отсутствуют существенные показатели, либо эксперт использует ошибочные образы, то дальнейшее исследование останавливается;
• В случае качественного решения задачи распознавания с помощью метода «Дерево решений» определить существенные показатели.

По предложенному сценарию были решены три задачи. Исходные данные для решения этих задач были получены в процессе обучения с помощью ЭОС КНИТУ-КАИ.

Первая задача – определение существенных показателей для такого контрольного мероприятия, как тестирование. Показатели для решений этой задачи были привязаны к формам тестовых заданий и выражали процент правильных ответов на тестовое задание контрольной формы. Сначала кластеры строились методами иерархического кластерного анализа. Лучшая кластеризация (4 кластера) была определена с помощью метода k–средних. Построенная кластеризация была одобрена экспертом. Все показатели, которые привязаны к сложным тестовым заданиям, оказались существенными, то есть участвовали в формировании решающих правил для распознавания. Процент правильных ответов на тестовое задание с одним правильным ответом – самый несущественный показатель.

Вторая задача – определение существенных показателей мероприятий, которые оцениваются с помощью сервиса «Критерий оценивания». Для этих мероприятий преподаватель имеет сформировавшийся в процессе работы набор показателей: сроки выполнения, грамотное оформление отчетных документов, самостоятельность обучаемого, активность обучаемого, глубина проработки материала, наличие творческой компоненты, выразительность презентации, убедительность докладчика и т.п. Каждый показатель преподаватель оценивает с помощью пяти или трех градаций. При решении данной задачи, построенные кластеры легко интерпретируются экспертом (преподавателем). Все показатели для этой задачи можно считать информативными, но самым значимым атрибутом признан, как ни странно, показатель «сроки выполнения», высокая информативность и у показателя «самостоятельность обучаемого». Низкая значимость у показателя – «активность обучаемого».

Третья задача – определение существенных показателей для оценивания мероприятия на основе данных отчетных форм. Из отчетных форм можно сформировать большое количество показателей завершенного мероприятия. Этой задаче присуща высокая степень автоматизации по формированию исходной выборки. Отчетные формы содержат информацию о времени, которое студент потратил на работу с различными элементами курса, общее время, количество посещений курса и т.п. Обилие показателей существенно затрудняет процесс кластеризации. Было невозможно сформировать набор показателей для удачной кластеризации. Для случая распознавания преподавателем тоже не удалось построить качественные решающие правила. Скорее всего, проблема здесь в наборе показателей – необходимо исключать несущественные показатели и формировать новые. Необходимо отметить один показатель, который существенно влияет на распознавание – это количество элементов, с которыми работал обучаемый. В курсах, на которых решалась эта задача, в среднем, было от 30 до 50 элементов контента.

Для промежуточных и финальных аттестаций необходимо по результатам выполнения поставленных задач сформировать обобщенный набор показателей для распознавания компетентности обучаемого. Этот процесс должен выполняться с наименьшими трудовыми затратами преподавателя. Отметим, что решение первой задачи имеет среднюю автоматизацию и хорошую эффективность распознавания, вторая задача очень трудоемка, но показывает высокую эффективность, третья задача позволяет автоматизировать труд преподавателя, но, на данный момент, не слишком эффективна. Если объединить существенные показатели только первых двух задач, то можно добиться хороших результатов распознавания образа обучаемого, но с высоким показателем трудоемкости для преподавателя. Снижение трудоемкости возможно только за счет выявления существенных показателей из отчетных форм и создания специальных программных комплексов, аналогичных SMART labwork, для обучения и оценивания результатов обучения.

Как показал весенний семестр 2020 г., проводившаяся в течение восьми лет научно-исследовательская и инженерная работа по разработке и внедрению описанных систем, оказалась эффективной и плодотворной. Руководство КНИТУ-КАИ с уверенностью смотрит в будущее и уверено, что теперь результаты этой работы будут использоваться в полной мере всегда, даже после полной победы над КОВИД-19.

Дата публикации: 5 июля 2020 года.

Автор: Николай Трофимов