Распознавание эмоций в сфере безопасности: пора ли внедрять?

Количество вопросов и реальные задачи клиентов не должны оставаться без ответа, поэтому наша команда решила поделиться с вами тем, что думаем и делаем. Забегая вперед скажем, что наработки в этой области у нашей компании есть, и распознавать эмоции используемые нами алгоритмы умеют. Тем не менее, команда РекФэйсис стремится дать заказчикам лучшие решения только тогда, когда наши эксперты уверены, что заказчики получат тот результат, которого они ожидают. Расскажем обо всем по-порядку.

Согласно прогнозу аналитического агентства FutureWise [1], опубликованному в октябре 2022 г., рынок технологий распознавания эмоций будет расти в среднем на 12,9% в год и к 2028 г. достигнет объема почти в 49 млрд долларов. Эти технологии уже используются в клиентском сервисе, нейромаркетинге, образовании. Разработчики стараются внедрить распознавание эмоций в сферу безопасности. Оправданы ли сейчас такие разработки?

Содержание

Что такое эмоции и зачем их распознавать?

Техническая реализация распознавания эмоций

Где и как используют распознавание эмоций

Смартфоны

Мультимодальные системы

Нейромаркетинг, реклама и клиентский сервис

Образование и игровая индустрия

Что мешает использовать распознавание эмоций в безопасности

Технические ограничения

Культурные ограничения

Психологические ограничения

«Мимические» ограничения

Этические и правовые нормы

Ограничения стандартизации и тиражирования

Заключение

Источники

Что такое эмоции и зачем их распознавать?

Эмоции ― это довольно личные данные о человеке, его состояниях, ощущениях, откликах на стимулы, людей и среду, о мыслях и намерениях, подчас не полностью осознаваемых рационально.

Психологи также выделяют и другие эмоциональные процессы: аффекты, настроения и чувства. Они различаются длительностью и степенью вовлеченности: если в состоянии аффекта человек на сравнительно короткий срок теряет волю, то настроения и чувства сопровождают нас долго, переносятся относительно спокойно и могут служить фоном для эмоций — непосредственной реакции на то, что сейчас происходит.

У эмоций есть ряд характеристик [2]:

• валентность — положительная или отрицательная,
• интенсивность — сила и выраженность эмоции,
• стеничность — способность побуждать к активной деятельности,
• содержание — то, что человек испытывает: грусть или радость, спокойствие или раздражение.

Эмоции влияют на поведение. Конечно, при определенной тренировке и складе характера человек может контролировать их проявления. Однако М. Брэдли и П. Дж. Ланг [3]обнаружили и подтвердили экспериментально, что отрицательные эмоции гораздо хуже поддаются контролю, чем положительные.

Эта особенность человеческой психики отчасти объясняет популярность идеи распознавания эмоций в сфере безопасности. Плохо контролируемые отрицательные эмоции легко могут стать «топливом» для противоправных действий. Следовательно, вовремя их обнаружив, можно предотвратить зло.

Другое объяснение кроется в кажущейся простоте фиксации и распознавания эмоций. Эмоция запускает цепочку физиологических реакций, в том числе приводит в движение мимические мышцы. Разным эмоциям свойственны определенные выражения лица — долгое время считалось [4], что они приблизительно общие для разных этносов, возрастных и социальных групп.

В разных моделях выделяют от шести до 28 основных эмоций, которые можно классифицировать в зависимости от близости к полярным состояниям — как в круговой модели Рассела. Пол Экман [4]выделяет также «микромимику» — непроизвольные малозаметные сокращения мимических мышц. Они выдают наши истинные эмоции, даже если мы удачно их скрываем, велением разума подавляя основную мимику.

Обычный человек может определять эмоциональное состояние с точностью до 70%, однако он активно использует контекстную информацию: голос, жестикуляцию. Для некоторых коммерческих систем распознавания эмоций на базе нейросетей заявлен показатель до 90%. Но обеспечить приемлемую точность этих алгоритмов в системах безопасности оказалось сложнее.

Прежде чем думать о сложностях, давайте посмотрим, как вообще можно применять распознавание эмоций в сфере безопасности. Но сначала — краткая теоретическая справка.

Техническая реализация распознавания эмоций

Существует несколько подходов к распознаванию эмоций. Классический базируется на классификации ключевых точек, которые привязаны к положению глаз, бровей, губ, носа, челюсти. К каждой точке привязывают дескрипторы, основанные на визуальной информации. На основании этой информации получают вектор признаков, который и используют для определения эмоций.

Более продвинутый способ заключается в использовании глубоких сверточных нейронных сетей, обученных на больших выборках. Чтобы повысить точность системы, используют не отдельные кадры, а их последовательности, показывающие положение мимических мышц в динамике. Использование большой выборки дает возможность охватить представителей разных этнических и культурных групп, людей с разными темпераментами, которые могут по-разному выражать эмоции и реагировать на стресс.

Где и как используют распознавание эмоций

Смартфоны

Агентство Gartner утверждает, что наш смартфон в ближайшем будущем будет знать нас лучше, чем друзья и родственники, и взаимодействовать с нами на тонком эмоциональном уровне. Например, в iPhone X встроена технология распознавания лица Face ID, которая не только разблокирует телефон, но и может создать эмодзи с нашей мимикой. Компании могут использовать открытые научные данные о распознавании эмоций и использовать их в стеке с технологиями, формируя область эмоциональных вычислений (affective computing).

Мультимодальные системы

Ожидается, что распознавание эмоций снизит количество нарушений и обезопасит граждан. Есть даже пример успешной реализации — китайские «умные города», о которых с тревогой писала в 2021 году британская The Guardian, ссылаясь на отчет правозащитников [5]. В Китае к полицейским серверам были подключены камеры видеонаблюдения и другое оборудование, фиксирующее голос, температуру тела, движения людей, попадающих в поле зрения. Такая мультимодальная система довольно точно выявляет и указывает полиции или службе охраны источник потенциальной угрозы. В отдельных локациях, например, в лифтах, удалось совсем избавиться от правонарушений. Но в этом случае речь идет не просто о распознавании эмоций по лицу, а о паттернах поведения.

Бортовые системы безопасности для автомобилей также используют мультимодальность. Они фиксируют эмоции, частоту моргания и зевания, изменения голоса, движений. Если система решает, что водитель устал, она может включить бодрую музыку или предупредить голосом, чтобы был внимательнее.

Нейромаркетинг, реклама и клиентский сервис

Это типовые задачи для систем распознавания эмоций. С помощью нейросетей контролируют направление взгляда, чтобы определить самые интересные места рекламного ролика, а также эмоциональный отклик на рекламное сообщение. С помощью камер, установленных на входе и выходе из магазина или кафе можно делать выводы о том, как изменились эмоции людей от посещения заведения. Это дает маркетологам богатую пищу для анализа и размышлений.

Образование и игровая индустрия

По мимике система делает выводы о процессе обучения: уровне внимания, усвоении материала. Если студент устал, система может предложить перерыв или развлекательно-познавательный контент. Аналогично «продвинутые» игры регулируют степень напряженности игрового сюжета.

Что мешает использовать распознавание эмоций в безопасности

Цель внедрения решений на базе искусственного интеллекта — автоматизировать работу, снять нагрузку с людей, снизить влияние человеческого фактора. Например, выявление нетипичного поведения в потоке людей в «ручном» режиме связано с большой нагрузкой на сотрудников службы безопасности и ведет к ошибкам и пропускам. Система распознавания эмоций берет на себя классификацию людей в потоке, сокращает выборку, которую отслеживает оператор (например, помечая подозрительных людей) и тем самым облегчает ему задачу.

Однако есть множество тонкостей, на которые стоит обратить внимание, внедряя систему распознавания эмоций. Эти тонкости ставят саму идею использования такой системы, а также ее техническую реализацию и настройку, в зависимость от бизнес-кейса.

Технические ограничения

Чтобы распознавать эмоции с хорошей точностью, нужны последовательности кадров высокого качества. В бортовой системе безопасности автомобиля на входе только последовательности кадров с водителем, тогда как для контроля людских потоков нужно обрабатывать десятки и сотни изображений людей. Для таких задач нужны соответствующие вычислительные мощности, что делает реализацию системы крайне дорогой и технически сложной.

Культурные ограничения

Для разных культурных и этнических групп характерна разная степень выраженности эмоций и разный мимический рисунок. Как правило, в обучающей выборке всегда превалирует одна этническая группа, в зависимости от региона, тогда как реальный поток людей может состоять из представителей разных народов. Нейросеть будет выдавать результат, ориентированный на «национальное большинство», что неизбежно приводит к снижению точности. К тому же, многие люди считают неприличным проявлять эмоции на публике — они будут стараться сохранить нейтральное лицо, что бы ни происходило вокруг.

Психологические ограничения

Интенсивность проявления эмоций, как и само содержание эмоциональной реакции, зависит от множества факторов: темперамента, воспитания, образования, возраста, социальной принадлежности. Люди могут по-разному реагировать на стресс: один впадает в оцепенение, другой заходится в истерике, третий сохраняет каменное выражение лица. Человек может менять эмоции на противоположные в течение короткого времени, реагируя на телефонный разговор, на случайно увиденный плакат. В зависимости от места установки (на проходной и на входе в столовую), камеры будут фиксировать разные фоновые эмоции. Это подтверждает важность привязки системы к кейсу.

Система распознавания эмоций будет хорошо работать с нарушителями порядка, действующими спонтанно — например, с теми, кто затевает драку в ответ на грубость. Но в случае спланированного правонарушения, когда преступник хорошо контролирует себя, возможны осечки.

Сам факт использования системы распознавания эмоций, став достоянием гласности, будет сдерживать людей от излишней эмоциональности — это тоже стоит учитывать.

«Мимические» ограничения

Мимические морщины и рельеф лица (особенно в возрасте) при нейтральном состоянии человека могут образовывать «маску», характерную для какой-либо эмоции. Это объясняется характером, образом жизни, гравитацией (провисание мышц-депрессоров, опускающих уголки рта) и никак не связано с текущим эмоциональным состоянием. А нейросеть может принять «маску» за истинную эмоцию. Недостаточное освещение, разрешение камер или их некорректное расположение может значительно повысить вероятность ошибки.

Этические и правовые нормы

Контроль над эмоциями людей со стороны органов правопорядка и служб безопасности стирает границы личного пространства и противоречит международным стандартам в области прав человека.

Перестает работать основополагающая правовая норма — презумпция невиновности. Человек может попасть под подозрение только потому, что у него «неправильное» выражение лица, тогда как он даже не думал о нарушении закона. На это обратила внимание группа правозащитников ARTICLE 19, выпустившая в январе 2021 года отчет [5]об использовании мультимодальных систем распознавания эмоций китайскими правоохранительными органами и коммерческими структурами.

Если системы распознавания эмоций работают на коммерческих предприятиях, это может привести к психологическому напряжению и выгоранию сотрудников — как и многие другие способы контроля.

Ограничения стандартизации и тиражирования

Каждый вариант коммерческого воплощения распознавания эмоций привязан к определенному бизнес-кейсу и, скорее всего, другой бизнес не сможет его использовать без серьезной перенастройки. Содержание отслеживаемых эмоций, порог интенсивности, точность распознавания, сценарии использования, трактовка результатов — все эти характеристики системы меняются от внедрения к внедрению. Поэтому пока речь идет о создании кастомизированных, а не «коробочных» решений. Иногда это имеет коммерческий потенциал, но чаще — нет.

Заключение

Широкое использование мультимодальных систем распознавания эмоций на государственном уровне вызывает у правозащитных организаций вопросы этического и правового характера. С другой стороны, такие системы требуют значительных вычислительных мощностей и технического оснащения, а поэтому крайне дороги и не интересны ни частным заказчикам, ни государственному сектору.

Системы распознавания эмоций по мимике, которые уже распространены в маркетинге и игровой индустрии, в безопасности не находят активного применения. В настоящее время это продукт «индивидуального пошива» под конкретные требования и сценарии. Кроме того, из-за специфичности мимических реакций точность таких систем пока остается низкой.

Использование систем распознавания эмоций по мимике в сфере безопасности пока остается открытым вопросом. Такие системы станут по-настоящему востребованы, когда коммерческий эффект от их внедрения будет обгонять затраты на разработку, инсталляцию и настройку.

Со своей стороны, мы считаем, что возможности наших готовых решений по распознаванию лиц имеют невыбранный потенциал еще на годы вперед. По опыту реальной эксплуатации мы знаем, что клиенты используют не более 20% реальных возможностей. Когда клиенты скажут, что им не хватает функционала, бесшовные решения для расширения возможностей за счет распознавания эмоций уже будут готовы к коммерческой эксплуатации и тщательно протестированы.

Источники

• [1]https://www.futurewiseresearch.com/healthcare-market-research/Emotion-Detection-and/9743, отчет Emotion Detection and Recognition Market By Technology, By Software Tools, By Application Areas, By Component, By Verticals and By Region: Industry Analysis, Market Share, Revenue Opportunity, Competitive Analysis and Forecast 2022—2028.
• [2]APA Dictionary of Psychology. American Psychological Association.
• [3]Bradley M., Lang P.J. The International affective digitized sounds (IADS): stimuli, instruction manual and affective ratings. – NIMH, Center for the Study of Emotion and Attention, 1999.
• [4]Экман, Пол; Дэвидсон, Ричард Дж. (1994). Природа эмоций: фундаментальные вопросы. Нью-Йорк: Издательство Оксфордского университета.
• [5]https://www.article19.org/wp-content/uploads/2021/01/ER-Tech-China-Report.pdf ARTICLE 19, January 2021, Emotional Entanglement: China’s emotion recognition market and its implications for human rights.