Исследователи Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) и СПбГУ обучили нейросеть автоматически выявлять функциональные состояния (бодрость/утомление) по стратегии движений глаз человека. Созданное решение найдет применение в системах контроля действий операторов транспорта, тяжелой техники, а также объектов промышленной и критической инфраструктуры. Исследование опубликовано в научном журнале Sensors.

Сегодня большое количество объектов транспортной, промышленной и оборонной инфраструктуры контролируется и функционирует при помощи операторов, водителей или единых информационных центров с целой командой специалистов, передает  «Научная Россия». Поэтому для обеспечения безопасности на объектах требуется отслеживать их психофизиологическое состояние.

«Для решения этой задачи мы обучили нейросеть по движению глаз человека определять состояние оператора транспорта и любой другой техники – бодр он или утомлен. Данные для обучения нейросети были собраны при помощи айтрекера – устройства, которое определяет направление взгляда человека. В перспективе наше решение может быть интегрировано в системы, которые контролируют действия операторов различной техники и критической инфраструктуры», – рассказывает старший научный сотрудник Лаборатории интегрированных систем автоматизации СПб ФИЦ РАН Алексей Кашевник.

Нейросети обучались по показателям стратегий глазных движений, характерных для состояний отсутствия и наличия утомления. Выбор показателей был основан на результатах собственных исследований научной команды восприятия и анализа информации при различных функциональных состояниях.

В рамках работы над проектом исследовательская группа создала обширную базу данных, включающую стратегии глазных движений операторов компьютера, которые выполняли различные задачи (читали, писали, работали за компьютером) в течение рабочего дня. Положения глаз фиксировались при помощи закрепленного на голове айтрекера.

«Важно отметить, что для обучения нейронной сети использованы наборы данных, полученных при выполнении широкого круга задач: чтение, зрительный поиск, обнаружение, слежение за объектом», – отмечает профессор Санкт-Петербургского государственного университета Ирина Шошина.

Разработанная библиотека с открытым исходным кодом системы доступна для всех пользователей и разработчиков программного обеспечения по ссылке. Исследование поддержано грантом Фонда содействия инновациям.