Я больше 20 лет работаю в контент-маркетинге, репутации и продвижении в интернет, и за это время рынок менялся не раз. Но сейчас перемены особенно заметны: контент уже давно читают не только люди, но и нейросети, которые сами выбирают, что рекомендовать пользователю, а что нет. И оказывается одна убедительная фейковая страница может сбить с толку даже ИИ-ассистента.
Недавнее исследование Китайского университета Гонконга показало. что генеративные рекомендатели уязвимы к фейковому веб-контенту. Проще говоря, ИИ можно повести за собой, если подложить ему страницу, которая выглядит правдоподобно. Для бизнеса это уже не абстрактная научная история, а вопрос видимости бренда, доверия и того, попадете ли вы в рекомендации нейросетей вообще.
Авторы работы проверяли, как ИИ-ассистенты реагируют на фейковый или заведомо искаженный контент интернет-сайтов, когда подбирают товары и услуги для пользователя. И оказалось, что иногда одной поддельной страницы достаточно, чтобы нейросеть выдала ошибочную рекомендацию. А если в поисковой выдаче подменить информацию на нескольких ТОПовых ресурсах, то вероятность ошибки кратно возрастает.
Примечательно, что это не выглядело как случайная погрешность. Система стабильно демонстрировала уязвимость там, где человек обычно опирается на краткое описание, структуру страницы и доверительный тон текста. ИИ, по сути, тоже попадается на убедительную упаковку.
Что такое FORGE
Чтобы проверить эту уязвимость, исследователи использовали тестовую среду FORGE ( Fake Online Recommendations in Generator Environments ). Простыми словами, это стенд, который имитирует обычный путь пользователя: поиск, просмотр страниц, выбор товара или услуги и финальную рекомендацию ИИ.
FORGE позволяет подсовывать моделям фейковые страницы, где контент выглядит правдоподобно, но специально искажен. Именно в этом и суть эксперимента: не проверить ИИ на абстрактной задаче, а посмотреть, что произойдет в почти реальном сценарии, где пользователь ищет что-то в сети, а ИИ-ассистент анализирует и предлагает решение.
Тестовая среда FORGE доступна по ссылке
Какие ИИ-ассистенты тестировали
Что и как тестировали
Где риск выше всего
Если посмотреть с точки зрения бизнеса
Читать другие статьи:
info@informationsupport.ru