В прошлом году Apple развернула на своих устройствах механизм, который идентифицирует достопримечательности на пользовательских фотографиях и позволяет после находить на мобильных устройствах и компьютерах пользователей снимки по названиям этим самым достопримечательностей. Производитель включил эту функцию без явного согласия владельцев устройств, и замечать это они стали только теперь.
Функция получила название «Улучшенный визуальный поиск» (Enhanced Visual Search), и впервые о ней рассказал общественности программист Джефф Джонсон (Jeff Johnson). По его словам, новая служба начала работать 28 октября 2024 года на iOS 18.1 и macOS 15.1, и Apple не потрудилась внятно объяснить принципы работы этой технологии.
В датированном 6 ноября 2024 года документе на сайте Apple говорится: «Улучшенный визуальный поиск в приложении „Фото“ позволяет искать фото по достопримечательностям и другим ориентирам. Ваше устройство конфиденциально сопоставляет места на Ваших фото с каталогом мировых локаций, который хранится на серверах Apple. Мы применяем технологии гомоморфного шифрования и дифференциальной конфиденциальности, а также используем узел протокола OHTTP, который скрывает IP‑адрес. Это не даёт Apple возможности собрать какую‑либо информацию о том, что изображено на Ваших фото. Функцию „Улучшенный визуальный поиск“ можно выключить в любой момент. Для этого на устройстве iOS или iPadOS откройте „Настройки“ –> „Приложения“ –> „Фото“. На Mac откройте приложение „Фото“ и выберите „Настройки“ –> „Основные“».
Подробное объяснение принципов работы технологии приводится в статье на сайте Apple от 24 октября 2024 года — примерно в то же время и был запущен «Улучшенный визуальный поиск». В его основе лежит модель машинного обучения, работающая локально на устройствах. Она анализирует фотографии на предмет присутствия достопримечательностей. Если искусственный интеллект находит совпадение, система вычисляет векторное вложение — массив чисел, представляющий этот фрагмент изображения. Затем векторное вложение шифруется с использованием гомоморфного шифрования, позволяющего производить вычисления над зашифрованными данными без их расшифровки.
После этого данные отправляются на удалённый сервер, где производится поиск по базе достопримечательностей. Результаты возвращаются на устройство пользователя, которое, по утверждению Apple, единственное способно расшифровать эту информацию. Дополнительным уровнем защиты выступает механизм дифференциальной конфиденциальности, исключающий идентификацию субъекта в базе данных, даже если злоумышленник получит доступ ко всей базе.
Однако эксперты, опрошенные британским изданием *The Register*, выразили сомнения в новой службе Apple. Компания активировала «Улучшенный визуальный поиск» по умолчанию для всех пользователей, включая тех, кто отключил выгрузку фотографий в iCloud из соображений конфиденциальности.
Более трёх лет назад Apple планировала проверять изображения на устройствах пользователей на предмет материалов, связанных с жестоким обращением с детьми, но отказалась от этой инициативы из-за вопросов к конфиденциальности. Новая система, как утверждают критики, принудительно обрабатывает локально сохранённые фотографии и отправляет данные обо всех изображениях, а не только о тех, где найдены подозрительные хеши.
Кроме того, остаётся неясным, почему Apple запустила «Улучшенный визуальный поиск», не убедившись, что пользователи её устройств были должным образом уведомлены.