Исследователи из компании Netcraft выяснили, что ChatGPT и другие чат-боты нередко ошибаются, когда пользователи просят их подсказать официальные сайты крупных компаний. В ходе тестов модели GPT-4.1 предлагали правильный URL только в 66 % случаев. Остальные варианты либо вели на несуществующие страницы (29 %), либо на легитимные, но не те, что запрашивались (5 %).
Как пояснил Роб Дункан (Rob Duncan), руководитель отдела исследования угроз Netcraft, такие ошибки открывают новые возможности для мошенников. Если ИИ предлагает неработающий домен, злоумышленники могут его зарегистрировать и создать фишинговую страницу. Проблема в том, что чат-боты анализируют слова и ассоциации, а не проверяют репутацию сайтов. Например, на запрос о сайте Wells Fargo ChatGPT однажды выдал адрес фейковой страницы, которую ранее использовали в фишинговых атаках.
По словам Дункана, киберпреступники адаптируют методы под новые реалии, так как пользователи всё чаще полагаются на ИИ вместо поисковиков, не учитывая, что чат-боты могут ошибаться. Мошенники специально создают контент, который с большей вероятностью попадет в ответы ИИ. Так, Netcraft обнаружила фейковый API Solana, который распространялся через GitHub-репозитории, обучающие материалы и поддельные аккаунты в соцсетях, и всё для того, чтобы встроить вредоносный код в результаты работы чат-ботов.
Эксперт отметил, что эта схема напоминает атаки на цепочку поставок, но здесь цель иная — заставить разработчиков использовать неверный API. В обоих случаях злоумышленники действуют постепенно, но результат одинаково опасен.