🔬 Вэйбинь Ху (Городской университет Ланьчжоу, Китай) и Сюэжу Чжан (Нанкинский педагогический университет специального образования, Китай) в письме в Nature предупреждают: невидимые водяные знаки в текстах ИИ тоже уязвимы для атак. В испытаниях прежних систем злоумышленники подделывали или удаляли метки примерно в 80 % случаев, затратив менее $50. Авторы призывают к независимой публичной проверке.
Поводом для письма стала новость о невидимых водяных знаках Anthropic. Такие метки могут указывать, что текст создан с помощью искусственного интеллекта, однако их возможности как свидетельства недобросовестных действий ограничены.
Авторы приводят результаты работы, представленной на конференции по машинному обучению в 2024 году. В тех испытаниях атакующие делали запросы к модели, выявляли закономерности маркировки, а затем подделывали или удаляли водяные знаки.
✅ Независимая публичная проверка поможет оценивать, насколько водяные знаки устойчивы к атакам. Главное ограничение приведённых данных: они относятся к прежним системам; результатов испытаний меток Anthropic это письмо не сообщает.
