Привет читатели seoslim.ru! Современные нейросети развиваются с по-настоящему впечатляющими темпами. Они уже могут рисовать картины, ничуть не хуже именитых художников, а также писать тексты, которые порой сложно отличить от работ профессионального копирайтера.
Если у вас возник вопрос, а какая вообще проблема в текстах от нейросети, если они такие классные?
А причина в следующем: неточность. Стилистика текста — это ещё одно дело, но ИИ часто грешит тем, что предоставляет неточную, искажённую или вообще полностью ложную информацию.
Конечно, он не делает это преднамеренно, дело в том, что он использует в качестве источников открытые онлайн-ресурсы, на которых, очевидно, может публиковаться полный бред, не имеющий ничего общего с действительностью.
Тот же ChatGPT часто таким грешит, не говоря уже о том, что в бесплатных версиях он вовсе предоставляет данные только до 2022, о чём сам постоянно повторяет.
В этой статье я разберу эффективность работы сервисов по проверке текста на авторство искусственного интеллекта, используя два образца: первый будет полностью сгенерирован при помощи GPT, а второй – отрывок из романа Фёдора Михайловича «Преступление и наказание».
Посмотрим, не использовал ли временем гениальный писатель 19 столетия нейросети при написании своих шедевров.
ZeroGPT
Плюсы: бесплатный в использовании, проверяет текст быстро и относительно точно.
Минусы: лимит в 15 тысяч символов проверки для бесплатного использования.
Стоимость: бесплатно, есть платная версия от 8$/месяц.
Схема работы крайне проста: вставляете текст в соответствующее поле и нажимаете «Detect Text», после чего Zero выдаёт вам результаты проверки в процентах и подсвечивает те места, которые, по его «мнению», были сгенерированы ИИ.
Итак, я попросил у Chat написать историю об обычном бедном студенте, без каких-то деталей, конечный результат также никак не редактировал. В итоге, проверка показала следующее.
Система заявляет, что наш текст был сгенерирован ИИ, абсолютно верное замечание. Теперь, посмотрим на второй образец, аналогичный по объёму.
Впечатляюще. Видимо, Достоевский совсем не пользовался ГПТ, а всё писал самостоятельно.
В общем-то Zero хорошо справился с поставленной задачей. Одно только замечание, первый текст я попробовал проверить несколько раз, чтобы посмотреть, не изменятся ли результаты, а они действительно изменились: то 45%, то 67%.
Кажется, что разница невелика, но всё же такие странные изменения в числах от проверки к проверке буквально одного и того же текста выглядят странновато. Хотя в целом, результат радует, пусть и не точен на 100%.
- URL адрес сервиса www.zerogpt.com
Copyleaks
Плюсы: высокая точность, возможность бесплатного использования, удобная и быстрая проверка.
Минусы: выводит вероятность ИИ генерации не в числовом значении, а по цвету выделения текста, что даже не сразу заметно.
Стоимость: бесплатно, есть платная версия от 7.99$/месяц.
Следующий на очереди у нас Copyleaks, позиционирующий себя как «самый точный детектор искусственного интеллекта». Посмотрим же, насколько это близко к истине.
Удивительно, но здесь нам показали, что вообще весь текст был сгенерирован ИИ, что так-то чистая правда. Но так ли хорошо справиться сервис с отрывком романа Достоевского?
Да, он справился отлично. Своё звание сервис вполне себе оправдал, по крайней мере на примере этой проверки.
Что ж, попробуем сделать следующим образом – возьмём сгенерированный текст и попробуем добавить туда отсебятины. Как это воспримет программа и сможет ли определить кусок, написанный человеком?
Увы, определить факт того, что последнюю часть написал живой человек он не смог. С другой стороны, это не отменяет факта верности его окончательного вердикта – текст был написан под авторством ИИ.
Впрочем, обратите внимание: цвет выделения на последнем скриншоте стал более «светлым». Это значит, что сервис предполагает, мол вероятность генерации искусственным интеллектом уже меньше, но всё ещё достаточно высока.
Интересная фишка, хотя почему он не пишет об этом в процентном соотношении? Непонятно.
- URL адрес сервиса https://copyleaks.com
Detecting-AI.com
Плюсы: полностью бесплатная и быстрая проверка.
Минусы: результаты оказались неточными.
Стоимость: бесплатно.
Ничего принципиально нового мы здесь не увидим: текстовое поле и внизу кнопка для проверки. Разве что есть приятная возможность загружать файлы на проверку или вставлять ссылку. Посмотрим, как этот ИИ-детектор справиться с задачей.
Увы, результат оказался крайне плачевным. Полностью сгенерированный искусственным интеллектом текст детектор воспринял как написанный человеком на более чем 80%.
Для показательности давайте всё-таки попробуем вставить и отрывок романа.
Здесь всё практически также. В общем, с задачей этот сервис категорически не справился.
Быть может, дело в том, что ЧатГПТ написал мне текст художественный, а не информационный, но даже так это не помешало предыдущим сайтам определить авторство нейросетей.
- URL адрес сервиса https://detecting-ai.com
GPT-2 Output Detector Demo
Плюсы: бесплатно, быстрая и простая проверка.
Минусы: результаты не совпали с действительностью, сервис определил всё как «фейк».
Стоимость: бесплатно.
Уже исходя из названия можно предположить, что сервис по нынешним меркам уже немного так устаревший, всё-таки вторая модель GPT вышла ещё в 2019 году. Однако давайте дадим детектору шанс продемонстрировать себя.
Очень даже хорошо. На сгенерированный текст он указал результат в более чем 94% «фейковости». Увы, не подсвечивает конкретно фрагменты, созданные с помощью нейросети. Переходим теперь к творению Достоевского.
А вот тут всё совсем плачевно. По всей видимости, сайт полагает, что книга от 1865 года была написана нейросетью. Справедливости ради, попытаемся взять другой отрывок, на этот раз из «Отцы и дети» Тургенева. Может, в этот раз результат будет более точным.
Увы, вторая попытка не увенчалась успехом. Итого, сервис словно бы клеймит написанное нейросетью вообще всё подряд. Хотя ради чистоты эксперимента давайте попробуем использовать кусок текста, который я написал вот буквально только что. Была ли это нейросеть по мнению детектора?
Ну, по всей видимости, я тоже использовал нейросеть, сам того даже не замечая. В общем, странным образом все образцы были «оклеймены» как сгенерированные искусственным интеллектом.
Удивительный противовес предыдущему сайту, утверждающему, якобы полностью написанный ИИ текст был полностью человеческим.
- URL адрес сервиса https://openai-openai-detector.hf.space
ChatGPT
Плюсы: полностью бесплатная и быстрая проверка
Минусы: результат не сошёлся с действительностью, вновь.
Стоимость: бесплатно.
Напоследок я решил оставить небольшой эксперимент. Многие предполагают, что если показать ЧатГПТ текст, написанный ИИ, то он ответит якобы «Да, это я написал» или другая нейросеть. Так ли это? И может ли он присвоить себе авторство чужих работ? Давайте посмотрим.
Неутешительно. Чат-бот не смог узнать даже собственное творение, не говоря уже о том, как он будет справляться с текстами от других сервисов или просто тех, которые были слегка подкорректированы.
Хорошо, он утверждает, что это художественный рассказ, поэтому, давайте попробуем проверить статью информационного стиля.
И снова мимо. Увы, миф о «возможностях» ГПТ проверять текст на наличие ИИ на практике оказался полностью несостоятелен.
Более того, я даже помню случаи, когда люди вводили человеческие текста ему на проверку и он утверждал о своём авторстве. Отличный пример того, насколько нейросети бывают неточными и дизинформирующими.
- URL адрес сервиса https://chat.openai.com
Итак, подведём итог. Всего 2 из 5 рассмотренных сервисов справились со своей задачей как следует. ZeroGPT и Copyleaks в самом деле определили, где был текст «машинный», а где написанный настоящим человеком.
К сожалению, сейчас не так много подобных онлайн-сайтов для русского языка, но англоязычные ресурсы в этом списке я решил не рассматривать, так как это уже можно совсем отдельную статью писать, желательно причём на этом же английском.
Вывод таков: хотите быстро проверить текста на ИИ – используйте один из двух названных выше сервисов. Однако помните, что даже они не гарантируют стопроцентного результата.
В конце концов, они ведь и сами нейросети, а значит наиболее точным будет результат проверки от живого человека, желательно, опытного копирайтера.
Загрузка...
