Neurodata Lab

Neurodata Lab — проектная компания и исследовательская лаборатория в области аффективных наук и когнитивных технологий^[1]. Neurodata Lab специализируется на разработке систем для распознавания и синтеза эмоций, детекции и анализа движений, неинвазивных методов измерения физиологических сигналов, сборе и анализе аффективных данных^[2].

• Neurodata Lab была основана в апреле 2016 года. Компания является центром компетенций в области эмоционального искусственного интеллекта и аффективных наук и осуществляет деятельность на международных рынках, имеет представительства в России, Италии, Швейцарии и США^[1].
• В июле 2017 года компания привлекла 1,3 млн долларов США^[3].

• В марте 2018 года Neurodata Lab совместно с университетом ИТМО провела первую в России конференцию по эмоциональному искусственному интеллекту^[4].
• 9 октября 2018 года Neurodata Lab объявила о партнерстве с робототехнической компанией Promobot. Нейросетевые технологии Neurodata Lab позволят роботам Promobot распознавать 20 эмоций и когнитивных состояний, адаптировать стратегию общения в зависимости от эмоционального состояния собеседника, а также отвечать в более живой манере благодаря технологии синтеза эмоционального ответа^[5][6][7][8]. 1 ноября робот определял 7 эмоций посетителей выставки TechDay Росбанка^[9].
• 14 февраля 2019 года Росбанк начал тестирование нейросетевой технологии распознавания эмоций в голосе клиента, разработанной компанией Neurodata Lab, как часть пилотного проекта по анализу удовлетворенности клиентским сервисом в режиме реального времени^[10].
• 26 сентября 2019 года опубликована препринт-версия^[11] совместного исследования ирландских (Dublin City University, Queen’s University Belfast), британских (University College London) и немецких (University of Bremen) ученых под общим руководством Дамьена Дюпре (Damien Dupré), посвященного анализу и сравнению существующих решений в области детекции и распознавания эмоций по лицу (при этом учитывались как сыгранные, так и спонтанные экспрессии), разрабатываемых компаниями — лидерами на рынке Emotion AI. Алгоритмы от Neurodata Lab по результатам исследования вошли в глобальный топ-3^[12] по полноте, точности и корректности распознавания.

Программное обеспечение Neurodata Lab для распознавания эмоций не требует носимых датчиков или специального оборудования, кроме веб-камеры и микрофона. Технология обнаруживает, распознает и анализирует эмоциональное и социальное поведение, используя нейронные сети, компьютерное зрение и методы глубокого обучения.

Эмоции могут проявляться по нескольких каналам (модальностям): мимике и микроэкспрессиям лица, глазодвигательной активности, голосовым характеристикам, движениям и позиции тела, а также выражаться через физиологию вроде учащенного сердцебиения^[13]. Точность распознавания эмоций по каждой модальности в отдельности в среднем на 9,8 % ниже точности в системах для совокупного анализа данных, поступающих по всем каналам одновременно (в 85 % случаев)^[14]. Такой мультимодальный подход положен в основу технологий Neurodata Lab.

Индустрия технологий для детекции эмоций и сформировавшийся под нее рынок получили название эмоциональных, или аффективных, вычислений^[15]. В более широком понимании обучение машин распознаванию и синтезу эмоций является частью большого проекта по созданию эмоционального искусственного интеллекта.

Технологии распознавания эмоций применяются в различных сферах: банковской и страховой отраслях, ритейле, автомобильной отрасли, игровой индустрии, коммуникациях, робототехнике, нейромаркетинге, безопасности, цифровой медицине^[16][17].

Ключевая технология Neurodata Lab позволяет распознавать 20 аффективных и когнитивных состояний.

Несколько трекеров составляют основу технологии Neurodata Lab для распознавания эмоций:

• Face Tracker: распознавание лица в кадре, а также его отдельных элементов (положения глаз, рта, носа, и других нейросетевых признаков, не поддающихся общепринятой трактовке).
• Диаризация для определения наличия человеческой речи в аудиопотоке, а также вычленения голоса говорящего, если в момент речи присутствует несколько голосов.
• Body Tracker: отслеживание движений тела и рук в видеопотоке.
• Eye Tracker: Извлечение данных о движении глаз.
• Heart Rate Tracker: Определение пульса с помощью видеокамеры.
• Respiration Rate Tracker: Определение частоты дыхания с помощью видеокамеры.

Emotion Miner — глобальная платформа по онлайн-аннотированию видеофайлов — сбора, разметки, анализа и процессинга эмоциональных данных на основе англоязычных видеофрагментов, извлеченных из существующего публичного контента (интервью, дебаты, ток-шоу и др.)^[18].

RAMAS — первый в мире русскоязычный мультимодальный аффективный набор данных^[19]. Доступен для бесплатного использования для академических учреждений, университетов, лабораторий и некоммерческих организаций в исследовательских целях.

Emotion Miner Data Corpus — датасет, собранный по итогам работы платформы Emotion Miner. На сегодняшний день Emotion Miner Data Corpus — один из крупнейших размеченных мультимодальных эмоциональных видеодатасетов.

С момента создания Neurodata Lab выстраивает коллаборации с академическими институтами, университетами, лабораториями и профильными центрами компетенций в США, Европе и России, и активно участвуют в крупных зарубежных конференциях, публикуют академические статьи. По состоянию на 2018 год компания развивала несколько коллабораций с рядом университетов и научных лабораторий, как в России, так и за рубежом, в том числе вела совместные проекты с ВШЭ, МГУ, ИТМО, СколТехом и университетами Ульма, Глазго, Женевы, Генуи.

• Classification of affective and social behaviors in public interaction for affective computing and social signal processing
• RAMAS: Russian Multimodal Corpus of Dyadic Interaction for studying emotion recognition
• Automatic detection of multi-speaker fragments with high time resolution
• Kinematic predictors for the moving hand illusion
• Recognition of mixed facial emotion has correlates in eye movement parameters
• Multimodal Approach to Engagement and Disengagement Detection with Highly Imbalanced In-the-Wild Data