Можно ли делегировать нейросетям написание текстов, корректуру, составление метатегов, подбор семантики, продвижение сайтов? И самое интересное — насколько хорошо искусственный интеллект это выполнит? В агентстве Kokoc.com провели эксперимент и проверили, что умеет чат GPT.
Задача — проверить текст
Начать решили с простенькой задачки и поручили GPT проверить уже написанный материал на грамотность. При этом ИИ должен был соблюсти несколько условий:
- Журналистский стиль.
- Легкая подача текста: понятный, написанный человеческим языком.
- Разрешается менять местами слова в предложении и сами фразы, но изначальный смысл сохранить.
- Двойные пробелы — тоже грамматическая ошибка.
Поглядим, что получилось. Желтым цветом указаны места, где GPT допустила ошибки:
Результаты корректуры текста искусственным интеллектом
Итоги, прямо скажем, ниже среднего. ИИ допустил все типы ошибок: орфографические, пунктуационные и стилистические. Такой текст публиковать нельзя, нужно вручную его корректировать.
Задача — написать текст
Ладно, качественно переделать чужой текст нейросети оказалось не под силу. Может быть, выполнить работу с нуля проще? Предложим GPT создать новый текст на относительно сложные тематики: медицинскую и строительную. Не станем делать никаких скидок и поблажек. Вперед!
В промте указали несколько вводных: структуру текста, его объем, количество вхождений ключевиков, а также назначение. Смотрим, что выдал искусственный интеллект:
Текст на медицинскую и строительную тематику, написанный нейросетью
Мда… «ребенская кожа», «противоморская болезнь», «кожная высыпка»… Это, простите, что? И такой результат не где-нибудь, а в медицинской тематике, где крайне важны E-A-T-факторы: экспертность, достоверность и авторитетность. А такие дилетантские формулировки экспертности не добавляют, скорее наоборот.
Хорошо, ставим провокационную задачу: сделать краткий пересказ произведения. Вроде просто и стандартно, если бы не одно «но»: произведения, которое мы просим ИИ пересказать, попросту не существует. Да, вот такие мы шутники. Но искусственному интеллекту не до шуток и он добросовестно выдал следующее:
Все бы хорошо, но Александр Сергеевич никогда не писал такого произведения
Может, хотя бы рерайт готового текста GPT сделает относительно нормально? Берем написанный текст на сайт, прогоняем через нейросеть и… сразу не добираем по объему.
Извинение приняты!
Да еще и уникальности никакой, по мнению сервиса Text.ru это обычный плагиат:
Уникальность менее 30 % — плохой показатель
При этом плюсы тоже существуют:
- При написании текстов с нуля уникальность замечательная: до 100 % (по text.ru)
- Если говорить о простом контенте наподобие объявлений или отзывов, качество приемлемое.
- Нейросеть грамотно подбирает замены словам.
- ИИ спокойно выдает несколько десятков уникальных вариантов одного и того же текста.
Но минусов куда больше:
- При рерайте уникальность подводит — менее 30 % (по text.ru).
- Объем текста меньше указанного в техническом задании.
- Нейросеть не использует все указанные в промте ключевые слова и просто пропускает их на свое усмотрение.
- Ощутимо спамит.
- Есть большие недочеты по стилистике, орфографии и пунктуации.
- Много ошибок, если речь идет о больших текстах в несколько тысяч знаков.
- Нет желаемой гибкости: для каждой задачи нужно заново переучивать нейросеть.
Задача — написать SEO-тексты и продвинуться по позициям
Несмотря на то, что предыдущие задачи дались ИИ нелегко и трудно сказать, что он справился, мы идем дальше в сторону усложнения. Итак, нам нужны SEO-тексты на знакомый уже медицинский сайт. В промте указали объем текста, структуру, а также ТЗ по использованию ключевиков. А еще попросили учесть мелочи вроде того, как обращаться к потенциальным пациентам, в каком стиле писать и так далее.
Страницы сайта почти не получали органический трафик, и главная задача — продвинуться в поиске и улучшить позиции.
Так выглядел наш промт для нейросети
Тексты, сгенерированные нейросетью, взяли в формате «как есть», то есть без корректировок со стороны человека: это могло исказить результаты эксперимента. Времени взяли три недели: этого вполне хватит для индексации страниц и определения позиций в выдаче.
Что в итоге (а ничего!):
- Позиции страниц в «Яндексе» почти не поменялись.
- В верхние строчки (топ 10 «Яндекса) выдачи они также не попали.
- В Google результаты те же: роста по позициям и попадания в топ не наблюдается.
Результаты SEO-эксперимента
Задача — продвинуться в зарубежном SEO
Рунет рунетом, здесь нейросеть показала весьма посредственный результат. Может быть, как изделие западных разработчиков, она лучше справится с продвижением зарубежного англоязычного сайта? Давайте проверять.
В эксперименте — англоязычный сайт брендингового агентства, регион США (NY, SF, LA).
Что указали в промте для ИИ:
- Генерация Title и Description.
- Генерация подводок к подзаголовкам.
- Рерайт заголовков.
- Подбор маркеров для сбора семантического ядра.
ТЗ отдали клиенту, он самостоятельно создавал их при помощи CGPT версии 4.
Ждали уже не 3 недели, а целых полтора месяца. И на этот раз результаты гораздо лучше!
Явный рост попадания в топ в Google
Рост по позициям тоже есть:
С зарубежным SEO нейросеть справилась лучше
Разберем детали и напомним, что промт содержал ТЗ по созданию title и description, уникализацию подзаголовков, создание подводок к ним.
Создать Title и Description
Мета-заголовок должен включать ключевые слова, которые надо вставить в порядке убывания частотности. Что вышло:
Главный недостаток — шаблонность
Уникализировать короткие заголовки
А что здесь? Напомним, речь про зарубежный сайт:
И здесь никуда без редактуры Title и Description
Создать подводки для статей
Задача — написание подводки для каждого заголовка:
Результат лучше и подходит как для прямой задачи (создание подводки),
так и для уточнения информации для копирайтера
Подобрать маркеры для СЯ
Последняя задача — подобрать ключевые слова и фразы в соответствии с темой:
Здесь тоже все в порядке
В целом можно сказать, что с зарубежным сайтами ИИ справляется куда лучше: мы отметили рост трафика, позиций и попадания страниц в топ выдачи.
Результаты эксперимента
В российском поиске тексты от Chat GPT отработали практически в ноль. Работу копирайтеров и корректоров нейросеть не упрощает, т.к. допускается большое количество ошибок (пунктуация, стилистика, недостоверные данные, однотипный контент и т. д.).
Для зарубежного поиска все куда как более радужно. Мы увидели хороший рост позиций и трафика в Google — для этого понадобилось 3 месяца. Можно утверждать, что Chat GPT в зарубежном поиске ускоряет работу специалистов на всех этапах работы с текстами, начиная от сбора семантического ядра и заканчивая написанием текстов и заголовков. А вы как считаете, коллеги? Был ли у вас подобный опыт? Поделитесь, пожалуйста!
