Как функционирует определение лиц в мобильных устройствах

Зачем мы выбираем разблокирование по фейсу

В недавние годы определение физиономий стало одной из самых распространённых возможностей для разблокировки мобильных телефонов. Всего некоторые годов тому назад большинство пользователей удовлетворялись пин-кодами, ключами доступа или сканерами отпечатков пальцев. Но с появлением подобных технологий, например вулкан россия, нам вполне лишь взглянуть на экран — и аппарат тут же опознает своего владельца.

Какая вещь превращает эту особенность очень нужной? Для начала, это комфортно: не нужно запоминать сложные пароли или искать правильный палец в тьме. Во-вторых, это мгновенно: современные программы распознают лицо буквально за доли секунды. В-третьем пункте, это впечатление будущего — будто в кинофильмах про казино вулкан шпионов.

Тем не менее за такой на первый взгляд легкостью прячется полный универсум комплексных методов и инженерных решений. Давайте понять, как именно действует фейсканирование в современных мобильных телефонах, какие существуют способы, насколько они безопасны и что нас предстоит.

Короткая хроника эволюции технологии

Распознавание лиц как технология присутствует уже более 50 годов. Начальные попытки автоматического изучения лиц были сделаны еще в 1960-х годах в лабораториях США. Тогда компьютеры умели лишь выделять контуры головы и измерять расстояния между глазами и губами на черно-белых фотографиях.

Начальные бизнес платформы возникли в 90-х, но они были неидеальны: действовали неспешно и часто ошибались. Только с развитием искусственных сетей и таких систем, как вулкан россии, высокопроизводительных мобильных микросхем распознавание лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый широкодоступный смартфон с достоверным трёхмерным сканированием лица. За ним пошли Android-изготовители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные решения.

Основные стадии функционирования устройства определения

Процесс распознавания лица можно примерно поделить на несколько ключевых этапов:

1. Идентификация лиц — аппарат выявляет существование гуманного образа в изображении.
2. Определение особенностей — механизм анализирует особенности облика: форму зрительных органов, обонятельного органа, уст, положение бровей.
3. Построение шаблона — создаётся неповторимый виртуальный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение со образцом — полученный образец сравнивается с сохранённой при внесении биометрической информацией владельца.
5. Принятие решения — если соответствие достаточно высокое, смартфон разблокируется.

Каждый из указанных этапов запрашивает специальных алгоритмов и улучшений для быстрой работы прямо на устройстве.

Технические компоненты: что находится в их недрах

Типичная фронтальная камера.

Простейший простой вариант идентификации лица применяет исключительно фронтальную камеру смартфона мобильного устройства. Данный способ осуществлён во многих доступных версиях Android-устройств.

Сильные стороны:

• Не требует дополнительные сенсоров.
• Шустро функционирует при хорошем освещении.

Слабые стороны:

• Легко ввести в заблуждение снимком или видеозаписью.
• Неправильно действует при плохом освещении или нестандартных точках зрения.

Инфракрасная фотокамера и пунктирный проектор

Более продвинутые системы, такие как вулкан россии, задействуют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая технология составляет базу Face ID от Apple.

Как это действует:

• Точечный проекционный прибор отображает на физиономию пользователя невидимую сетку из тысяч инфракрасных меток (например, Face ID использует около 30 000 точек).
• ИК устройство записывает искривление данной решетки по плоскости лица.
• Создаётся трехмерная карта глубины, которая почти невозможна для имитации обычной фото или маскировкой.

Плюсы

• Надёжная работа даже в полной неосвещённости.
• Высокая устойчивость к подделкам.
• Точность распознавания выше 99%.

Добавочные сенсорные устройства

В определённых аппаратах задействуются также дополнительные сенсоры: ToF (Time-of-Flight), которые фиксируют период распространения луча до объекта и обратно; RGB-датчики глубины; специальные световые лидары для формирования более точной 3D-модели физиономии.

Эти технологии используются в основном во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные процедуры: искусственный интеллект в действии

Текущие системы опознания лиц немыслимы при отсутствии использования ИИ и машинного обучения. Именно вследствие таким технологиям, как вулкан россии, аппарат может узнавать юзера даже при изменениях внешнего вида: новая укладка, щетина, линзы или косметика не становятся барьером для разблокировки.

Обнаружение лица

На первом шаге программа необходимо оперативно распознать ликовое изображение среди полного изображения с камеры. Для этого задействуются многоуровневые классификаторы Хаара или более современные конволюционные нейронные сети (CNN), которые „обучены” распознавать лиц человека среди множества других объектов.

Пример: процесс MTCNN в состоянии находить лицо даже с частичном закрытии (например, платком или ладонью).

Выделение важных точек

После распознавания лица устройство, такая как вулкан россии, устанавливает положение ключевых точек: уголки глаз, конец носа, границы губ и так далее. Часто используется от 68 до 128 ключевых маркеров на лицевой области.

Это нужно для нормализации визуала: если человек удерживает телефон под углом, или склонил голову, программа исправляет картинку до стандартного положения для дальнейшего анализа.

Формирование биометрического модели

Далее искусственная сеть строит компактное цифровое представление („эмбеддинг”) облика пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Этот шаблон крайне сложно подделать: он не хранит само фото юзера, а лишь исключительные характеристики его внешности, что делает его идеальным для таких площадок, как vulkan russia.

Сопоставление и осуществление заключения

В случае, когда юзер хочет открыть телефон взглядом, механизм воспроизводит все указанные шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый границу (обычно больше 99%), телефон, как и платформа vulkan russia, открывается; если нет — доступ блокируется.

Адаптация к трансформациям внешности

Увлекательная черта современных систем — способность самостоятельного обучения. Если ты часто открываете мобильное устройство с свежей укладкой или оптикой, система постепенно обновляет эталонный шаблон вашего лица для повышения точности работы без снижения уровня безопасности.

Охрана биометрических данных информации.

Многие клиенты боятся сохранять свои био-идентификационные данные на смартфоне из-за вероятности утечки данных или взлома устройства. Иные фирмы, вроде vulkan russia, предлагают решения для увеличения сохранности данных клиентов.

• Локальное сбережение: Преимущественно девайсов записывает биометричные шаблоны лишь внутри безопасного чипа Secure Enclave (Apple) или TrustZone (Android). Они всегда не выходят из гаджет и закрыты включая производителю.

• Шифрование: Все информация сохраняются только в кодированном виде с использованием современных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних девелоперов не обладают прямого возможности доступа к биометрическим; они могут лишь требовать факт подтверждения идентичности через системный API.

Необходимо отметить существенную подробность: в случае, если кто-то достанет физический доступ к вашему телефону (к примеру, во время сна), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому значительное количество изготовители внедряют защиту от автоматического разблокирования — в частности, заставляют разомкнуть глаза во время сканирования или использовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают типы идентификации лиц?

В настоящее время можно различить три ключевых подхода к реализации этой операции:

Софтверное 2D идентификация

Эксплуатируется только фронтальная видеокамера без вспомогательных детекторов глубины. Такой метод наблюдается наиболее часто в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Преимущества: простота реализации; низкая затраты; оперативная деятельность при достаточном освещении.
Минусы: несложно одурачить снимком; нестабильная деятельность ночью; недостаточная охрана.

Оборудование для объёмное оцифровка

Применяет инфракрасную камеру + проекционный модуль точек + датчики глубины (Face ID от Apple; аналогичные технологии у Huawei Mate).
Плюсы: значительная надежность; невозможно исказить фото/видео; стабильная функционирование при любом освещении.
Минусы: повышение стоимости устройства; увеличение толщины верхней рамки экрана („чёлка”)

Гибридные способы с дополнением ИИ

Используют комбинацию софтверных методов + аппаратно-техническую обработку + дополнительную обработку нейросетями для усиления устойчивости к атакам („anti-spoofing”). Например, подобные изделия, например вулкан россии и Google Pixel Face Unlock последних поколений, объединяют фронталку c ИК датчиком движения Soli Radar для защиты от фальсификаций жестами/масками/видеодисплеями чужих устройств.

Образцы применения различных методов

• iPhone модели X/11/12/13/14 применяют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition в первый раз внедрил подобие Face ID в числе Android.
• Samsung Galaxy S10 модель/S20 имеют как программное обеспечение 2D определение по изображению селфи-камерой, так и датчик ириса глаза.
• Huawei Mate20 Pro задействует систему из ИК-инфракрасного света + Dot Projector + ToF-датчик

Трудности охраны и ошибочные тревоги

Несмотря на замечательный прогресс технологий за последние годы, идеальных системы пока не имеется:

1. Шанс подвоха: Бюджетные телефоны просто „разблокируются” четкой снимком хозяина или же видеозаписью с экрана другого устройства.
2. Идентичные близнецы: Даже самые идеальные системы могут ошибиться между монозиготными близнецами либо родственниками с очень похожей внешностью.
3. Метаморфозы внешности: Внезапное утрата веса/увеличение массы тела, пластические операции или повреждения в некоторых случаях требуют повторной регистрации биометрии.
4. Условия фотографирования: Сильная засветка солнечным светом либо плотная тень могут понизить верность идентификации признаков.

Ниже несколько советов для защищённому использованию:

• Для значимых операций всегда применяйте двухфакторную аутентификацию;
• Не активируйте возможность „Разблокировка по лицу” на дешёвых устройствах без ИК-сенсоров;
• Постоянно обновляйте программное обеспечение телефона для предотвращения угроз от новых видов атак;
• Включайте функцию „Требовать открытых глаз” там, где она есть.

В каких местах дополнительно применяется технология помимо мобильных телефонов?

Хотя основная мысль данной работы сосредоточена на именно смартфонам и планшетам, стоит упомянуть о альтернативных областях использования технологии:

• Контроль прохода в рабочих помещениях и резиденциях;
• Платёжные аппараты банков („Face Pay”);
• Цифровые паспорта нового типа;
• Комплексы видеоконтроля городских подразделений;
• Автоматизирование отслеживания присутствия образовательных учреждений/университетов;
• Авторизация участников ПК/ноутбуков.

Например: В городском метро уже испытывается система платежа проезда по лицу („Face Pay”) — нужно лишь пройти через барьер без пластика или мобильника! Похожие инициативы осуществляются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким способом трансформируется техпроцесс в наше время?

Любой год появляются современные идеи для улучшения уровня работы систем лицевого распознавания:

1. Увеличивается чёткость сенсорных устройств — чем больше деталей фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность ошибки;
2. Совершенствуются нейронные сети — передовые архитектуры модели MobileNetV3 дают возможность быстро адаптироваться к свежим характеристикам вида обладателя непосредственно на девайсе без отправки данных в облако.
3. Улучшаются технологии антиспуфинга — теперь мобильные устройства могут отличать реальные живые лица от статичных фото/маскировок по незаметным микродвижениям.
4. Взаимодействие со смарт-гаджетами — смарт-часы могут автоматически заблокировать смартфон, если владелец удалился на значительное расстояние.
5. Проявляются гибридные устройства — к примеру объединяющие голосовую опознание + лицо + пальцевой отпечаток.

Вот, те тренды очень популярны в данный момент:

1) Сокращение компонентов

Производители намереваются минимизировать величину отверстия („чёлки”) для датчики на дисплее за счёт интеграции миниатюрных ИК-проекторов прямо под поверхность дисплея либо выдвижных модулей камеры.

2) Обработка прямо на устройстве

Для повышения личной безопасности всё более расчётов выполняется внутри устройства без пересылки данных во дополнительный облачный сервис.

3) Унификация регламентов

Google активно продвигает норму BiometricPrompt API, чтобы подобные системы, например как вулкан россия, и любые Android-аппы были совместимы с различными типами биометрии унифицированно.

Что подобрать сегодня?

В случае если тебе необходима предельная сохранность информации, выбирайте флагманские модели с вмонтированным ИК-проектором или ToF-сенсором глубины.

• iPhone каждого последних поколений
• Huawei Mate/Series P ряда
• Xiaomi Expert
• Vivo X модели
• Oppo Обнаружить X серий.

Если бюджет ограничен – лучше выбирать традиционным средствам безопасности (PIN-код/сканер отпечатка), а опцию „разблокировка по лицу”, такую как в вулкан россия, использовать только как дополнительную опцию комфорта.

Каким образом улучшить удобство использования опции?

Есть пара хитростей для тех, кто уже пользуется разблокировку по лицу:

1. Регулярно обновляйте свою фото-шаблон, если сильно изменяется внешность.
2. Не пренебрегайте чистить объектив фронтальной камеры – разводы могут снизить четкость!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего телефон сам запускает камеру как только вы берёте его в руки.
4. Во время регистрационного процесса пытайтесь держать лицевую часть прямо перед объектива без значительного наклона головы.
5. Задействуйте возможность “Attention Aware” (“Реакция на внимание”) – она блокирует смартфон, если вы отворачиваетесь от дисплея.

Перспективы эволюции техники

В скоро наступающие периоды можно предвкушать появления полностью дистанционных способов опознания персоны сразу по нескольким биометрическим характеристикам параметрам одновременно: физиономия + речь + шаги + жесты рук!

Также вероятно появление новых способов защиты конфиденциальности – скажем, изменяющееся корректировка диджитал паттерна после каждой удачной авторизации, чтобы усложнить его копирование злоумышленниками.

Идентификация лиц – одна из наиболее захватывающих технологий нашего периода! Она делает взаимодействие со телефоном проще чем когда-либо прежде, и такие программы, как vulkan russia, могут в разы повысить ваш опыт, но запрашивает внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, раз вы понимаете, как работает эта система изнутри, – сумеете вдумчиво определять свой следующий девайс!