Рейтингуй: стандарты NIST и оценка качества биометрических алгоритмов на базе распознавания лиц
Мировому рынку технологий распознавания лиц, который уже сегодня считается достаточно развитым и емким, в ближайшие годы пророчат бурный рост с темпами, опережающими средние показатели по IT-индустрии.
Так, согласно свежим прогнозам Future Market Insights, этот рынок вырастет с $5,2 млрд в 2022 году до $22,5 млрд к 2032 году, при этом среднегодовые темпы роста составят 15,7%. По мнению аналитиков, рынок программных решений для распознавания лиц будет расти более быстрыми темпами, чем рынок специализированного ПО для правоохранительных органов и рынок отдельных технологических алгоритмов для самостоятельного построения биометрических систем.
Не удивительно, что на этот «лакомый кусок» стремительно растущего рынка нацелено большое количество разработчиков технологий распознавания лиц из разных стран. В связи с этим не удивителен и факт появления общепризнанной независимой организации, разрабатывающей общепринятые стандарты и методики оценки, в соответствии с которыми решения от разных вендоров выстраиваются в периодически обновляемом сводном рейтинге.
Для технологий распознавания лиц существует множество сравнительных тестов, но общепринятым международным стандартом принято считать пакет специализированных бенчмарков FRVT (Face Recognition Vendor Test — «Испытания поставщиков технологий распознавания лиц»), разработанный и периодически обновляемый Национальным институтом стандартов и технологий (NIST, National Institute of Standards and Technology). Это институт является одним из старейших федеральных агентств США при Министерстве торговли, который занимается разработкой стандартов и спецификаций для различных отраслей, включая оборонную.
Самый первый тестовый пакет FRVT был разработан в NIST еще в 2000 году, и с тех пор он многократно совершенствовался и значительно дорабатывался — особенно после терактов 11 сентября в США. Впрочем, ради справедливости стоит отметить, что проект NIST по оценке качества распознавания лиц зародился гораздо раньше 2000 года и уж точно задолго до современного хайпа вокруг ИИ, поскольку соответствующие исследования в рамках проекта FERET (Face Recognition Technology) под эгидой правительства США начались еще в 1993 году.
Как бы там ни было, но современный FRVT пережил ряд редакций 2002, 2006, 2010, 2013 и 2017 гг., при этом разработчики бенчмарка приложили значительные усилия для того, чтобы создать прозрачную методику тестирования, систему рейтингов, доступную для понимания конечными пользователями, при сохранении независимости экспертизы. Особую роль также сыграла возможность представления на тесты алгоритмов распознавания лиц разработчиками любых стран в любое время (не чаще раза в четыре месяца). И — да, участие в тестировании бесплатное.
В этом материале мы вкратце рассмотрим формат и методики тестов FRVT, а также его основные метрики. В завершение скажем несколько слов о том, какое отношение эти тесты имеют к продуктам РекФэйсис.
Содержание
- Что оценивают с помощью FRVT
- Критерии оценки рейтингов FRVT для разных сфер применения
- Как это работает
- Комплексная стратегия РекФэйсис: не алгоритмом единым
Что оценивают с помощью FRVT
В FRVT входит несколько оценочных треков, однако с позиции практического использования технологии распознавания лиц наиболее популярны тесты FRVT 1:1 Verification и FRVT 1:N Identification.
FRVT 1:1 Verification — это оценка качества верификации «1 к 1», когда алгоритм должен определить принадлежность двух образцов данных одному человеку. Именно такой принцип верификации используется, например, в коробочном программном продукте РекФэйсис Id-Logon, обеспечивающем биометрический контроль доступа в операционную или информационные системы при сравнении изображения пользователя с его фото из базы данных.
FRVT 1:N Identification — это тест на качество работы алгоритма идентификации при сравнении данных по принципу «1 к N» («один ко множеству»), например, для распознавания лиц в видеопотоке при сравнении с лицами из имеющейся базы данных. Это могут быть стоп-листы для ограничения доступа нежелательных персон, или, напротив, списки клиентов для персонализированного обслуживания, с которыми — после распознавания, можно вести таргетированную работу на основе предыстории предыдущих взаимодействий (покупок и пр.).
Наглядным примером такой персонализации является работа биометрии в системе управления очередью (СУО) РекФэйсис Id-Line, предназначенной для идентификации человека по лицу в решениях электронной очереди и киосках самообслуживания, а также программный продукт РекФэйсис Id-Target для таргетированного взаимодействия с клиентом посредством биометрической идентификации в ритейле, многофункциональных центрах оказания услуг, на предприятиях общественного питания и других организациях с подобными задачами.
Помимо этого, FRVT включает тесты на оценку лица в видео (Face-in-Video-Evaluation, FIVE), изменение мимики (MORPH), демографических аспектов (DemographicEffects), таких как, например, возраст, пол и расовая принадлежность. С 2020 года, когда началась пандемия коронавируса, к ним добавился тест Face MaskEffects для оценки точности распознавания лиц в медицинских масках.
Перед подачей заявки все участники должны произвести проверку своего ПО с помощью специального пакета валидации. Такие пакеты для каждого теста доступны на Github. Валидация проводится с целью убедиться в согласованности обмена данными между алгоритмом участника и тестовым контуром NIST.
Параметры пакетов данных с обширными наборами фотографий разного качества, снятых с разных ракурсов и применяемых для тренинга алгоритмов распознавания лиц в каждом из бенчмарков NIST, подробно описаны в спецификациях FRVT, однако сами наборы фотографий закрыты, что гарантирует отсутствие доступа к ним со стороны разработчиков и, соответственно, ставит всех участников в равные условия.
В частности, в наборы данных NIST входят изображения достаточно высокого качества Visa от службы иммиграционного контроля США, сделанные анфас на белом фоне, фото Immigration Lane с качеством пониже, сделанные на веб-камеру при прохождении границы, а также кадры Kiosk среднего качества, сделанные при пересечении границы в терминалах самообслуживания.
Еще один набор фото поставляют правоохранительные органы. В него входят фронтальные изображения Mugshot с высоким качеством, сочетание фото человека анфас и профиль (Profile), а также снимки с веб-камеры среднего и низкого качества (Webcam).
Самая сложная категория снимков — Wild. Для таких фото, взятых из репортажной съемки, характерен огромный разброс по качеству, освещению, различным ракурсам и даже частичной видимости лица.
Критерии оценки рейтингов FRVT для разных сфер применения
Подсчет ошибок, сделанных в процессе распознавания лиц — наиболее логичный метод оценки качества работы алгоритма. Для разных сфер применяются оценки по разным типам ошибок, при этом цена ошибки в каждом случае разная. Так, при биометрической идентификации ключевой ошибкой считается ложное несовпадение — когда алгоритм запрещает доступ авторизованному пользователю. В случае с верификацией важнее вероятность ложного совпадения — когда посторонний получает доступ на объект или банковскую услугу по чужому биометрическому шаблону из базы авторизованных пользователей.
Тестирование верификации производится по нескольким парам изображений, где представлены или одни и те же люди, или снимки разных людей. В бенчмарках FRVT каждую пару потенциальных совпадений сопровождают десятки ложных пар. В тестах идентификации алгоритм перебирает снимки из большой базы данных в поисках совпадения с набором контрольных фото.
Оценку точности алгоритма проводят по уровню ложноотрицательных ошибок — FRR (FalseReject Rate), отражающему вероятность невозможности распознать нужного человека, и уровню ложноположительных ошибок — FAR (FalseAcceptance Rate), показывающему вероятность предоставления доступа незарегистрированному человеку.
Коэффициент FRR рассчитывается как отношение количества ложных отказов к суммарному числу биометрических профилей в базе данных, в то время как коэффициент FAR — это отношение количества ошибочных срабатываний к общему количеству изображений в базе данных. В обоих случаях коэффициенты могут отражаться как в процентах, так и в долях. Оба коэффициента относительны и зависят от применяемых настроек алгоритма, при этом оба взаимосвязаны: выше FRR — ниже FAR, и наоборот.
Для объективности оценочных результатов в качестве эталона для сравнения используется пороговое значение схожести, при этом критерий вероятности ложного несовпадения — FNMR (False Non-Match Rate), показывает соотношение ложных распознаваний ниже установленного порога схожести к общему числу всех распознаваний, а критерий вероятности ложного совпадения — FMR (False Match Rate), показывает соотношение ложных распознаваний выше порога схожести к общему числу распознаваний.
Как это работает
Итоги тестирования алгоритмов содержатся в регулярно публикуемых NIST отчетах FVRT. Что примечательно, таблицы с результатами тестирования от разных вендоров публикуются отдельными колонками по разным наборам фотографий (Visa, Mugshot, KioskWebcam и прочие), однако итоговая позиция в рейтинге определяется по усредненной производительности алгоритма.
Иными словами, какой-то алгоритм может быть крайне удачен при работе с фото высокого качества, но в итоге может проиграть алгоритму с высокими результатами обработки изображений репортажной съемки.
В каком-то смысле это похоже на ситуацию, когда болид F1 пустили по бездорожью, однако это ни в коем случае не умаляет нейтральности самих тестов NIST, и здесь более корректно сравнивать их не с гонками «Формулы-1», а, например, с тестированием суперкомпьютеров, когда для различных рейтингов — TOP500, HPCG или GREEN500, запускают совершенно разные тестовые пакеты.
В настоящее время в тестировании FRVT принимает участие порядка 200 алгоритмов распознавания лиц от разных компаний, при этом тесты проводятся как минимум с шестью коллекциями фотографий в ряде наборов изображений, включающих фотографии более 8 млн человек.
Комплексная стратегия РекФэйсис: не алгоритмом единым
Главное преимущество биометрических бенчмарков NIST — это возможность бесплатного и регулярного участия в глобальных состязаниях производителей ПО под эгидой независимой организации с прозрачными условиями. Все это привело к росту популярности FRVT во всем мире, так что в наши дни участие в рейтинге является престижным для любых организаций, включая коммерческие предприятия, научные и академические центры и даже финтех-компании.
Лидеры рынка стараются предоставлять на тестирование доработанные алгоритмы и обновлять свои позиции в рейтинге как можно чаще, подтверждая таким образом свои ведущие позиции в отрасли.
Лучшие алгоритмы для проверки FRVT 1:1 дают коэффициент ложных несовпадений (FNMR) порядка 0,0003 при коэффициенте ложных совпадений (FMR) 0,0001 на высококачественных визовых изображениях. Возможности современных лидирующих биометрических алгоритмов достигли таких высот, что различие между ними порой незначительно.
Не является исключением и те высокоточные алгоритмы, которые сегодня используется в ряде коробочных продуктов РекФэйсис. Эти алгоритмы регулярно фигурируют в первых строчках рейтинга NIST FRVT в категории Visa и в списке 70 лучших в суммарном рейтинге NIST за последние годы.
Однако выбор алгоритмов в случае с решениями РекФэйсис — лишь один из многочисленных шагов в процессе создания биометрического продукта для решения задач в той или иной отрасли. Более того, продукты РекФэйсис не привязаны к какому-либо определенному биометрическому «движку», поскольку коробочные продукты компании — это прикладные комплексные решения, где точность и скорость распознавания лиц обязательно дополнена высоким уровнем исключительной экспертизы РекФэйсис.
Таким образом, всегда существует вероятность перехода на иной алгоритм — при условии, что он будет демонстрировать лучшие результаты и окажется более удобным для решения прикладных задач конечных пользователей. В то время как базовые преимущества продуктов РекФэйсис — такие как быстрая инсталляция, глубокая полнофункциональная интеграция с оборудованием, встроенные механизмы соблюдения требований privacyprotection, интуитивно понятный пользовательский интерфейс с гибкими настройками, и другие, остаются на неизменно высоком конкурентном уровне.
Кроме того, в отличие от программно-аппаратных решений с «зашитым» распознаванием лиц, коробочные продукты РекФэйсис предлагают гибкую бесшовную интеграцию с системами контроля и управления доступом от множества партнеров, включая Bosch Security System (BIS), DormaKabaExos, Honeywell Pro-Watch, Kone Access, LenelOnGuard, Schneider Electric EcoStruxure Security Expert, BolidOrion Pro, RusGuard, Sigur, при этом перечень доступных интеграций постоянно расширяется. Так, например, все необходимые адаптеры интеграции доступны бесплатно для пользователей Id-Gate на всех типах лицензии включая демонстрационную.
Подводя итог, можно отметить, что на сегодняшний день высокая оценка алгоритма по стандартам NIST — лишь один из множества критериев работы коробочного прикладного программного продукта РекФэйсис, обеспечивающего не только высокую производительность и точность распознавания лиц, но также слаженное и безотказное функционирование всей системы идентификации и/или верификации с доступом ко всем функциональным возможностям современных аппаратных и программных технологий.
Иными словами, состязания алгоритмов NIST — это, скорее, тема для узких специалистов и технических энтузиастов, которая не является решающим фактором при выборе системы лицевой биометрии с реальным прикладным набором необходимых функций для решения текущих и будущих задач бизнеса.
Коробочные продукты РекФэйсис — это выверенные решения на базе мощного алгоритма от классной команды экспертов, аналитиков и разработчиков. Эти решения, готовые к немедленной установке и эксплуатации, предназначены для повышения безопасности, контроля персонала, адресной коммуникации и решения других конкретных отраслевых бизнес-задач.
Компании, заинтересованной в быстром развертывании, беспроблемной эксплуатации и оперативной техподдержке такой системы, вряд ли необходимо глубокое погружение в биометрические технологии и дополнительные расходы на программирование собственного кастомного продукта — особенно когда на рынке уже есть готовые коробочные решения РекФэйсис, где все нюансы уже продуманы и учтены.
