Исследователи обнаружили новую технику атаки, использующую языковую модель OpenAI ChatGPT, которая позволяет злоумышленникам распространять вредоносные пакеты в средах разработчиков. Об этом они сообщили в совместном совете, опубликованном сегодня.
«Мы видели, как ChatGPT генерирует URL-адреса, ссылки и даже библиотеки и функции кода, которые на самом деле не существуют. Эти галлюцинации больших языковых моделей уже были зафиксированы ранее и могут быть результатом устаревших данных для обучения», - объясняют авторы технического доклада.
Злоумышленники могут использовать возможности генерации кода ChatGPT для создания поддельных библиотек кода (пакетов) и распространения вредоносных пакетов, обходя традиционные методы, такие как typosquatting или маскировка. Ланьядо сказал, что команда выявила новую технику распространения вредоносных пакетов, которую они назвали «галлюцинацией пакетов AI».
Техника заключается в том, что злоумышленник задает вопрос ChatGPT, запрашивая пакет для решения проблемы кодирования, и получает несколько рекомендаций по пакетам, включая некоторые, которые не опубликованы в легитимных репозиториях. Заменив эти несуществующие пакеты своими собственными вредоносными, злоумышленники могут обмануть будущих пользователей, которые полагаются на рекомендации ChatGPT.
Обнаружение пакетов AI может быть сложным, так как угрозы используют техники обфускации и создают функциональные троянские пакеты.
Для снижения рисков разработчики должны тщательно проверять библиотеки, учитывая такие факторы, как дата создания, количество загрузок, комментарии и прикрепленные заметки. Осторожность и скептицизм по отношению к подозрительным пакетам также важны для обеспечения безопасности программного обеспечения.
