Разбираем алгоритм фильтрации контента: от удаления стоп-слов до проверки логических связей между абзацами на базе Claude 3.5
Нейросеть убирает воду из SEO-статей не интуитивно, а по конкретным параметрам: плотность значимых слов, длина предложений, наличие пассивного залога и повторяющихся конструкций. Claude 3.5 в связке с модулем очистки анализирует каждый абзац как отдельный смысловой блок и сравнивает его вклад в раскрытие темы. Если блок не добавляет новой информации — он помечается как кандидат на сокращение или замену.
Ниже разберем три вещи: почему Яндекс наказывает за избыточность, как работает семантическая чистка на уровне алгоритма и что получается на практике — на примере реальной обработки лонгрида в ТекстЗаводе.
Почему Яндекс пессимизирует за водность выше 15%
Алгоритмы Яндекса реагируют на соотношение значимых слов к общему объему текста. Если это соотношение падает ниже 60%, страница теряет позиции — не сразу, но стабильно.
Баден-Баден и Y1 — как они считают полезность текста
Баден-Баден запустили в 2017 году против SEO-переоптимизации, но его логика актуальна и сейчас. Алгоритм оценивает не ключевые слова, а информационную плотность: сколько новых фактов или аргументов содержит каждый абзац. Если абзац из пяти предложений несет один тезис, который можно было сформулировать в двух — это сигнал.
Y1, запущенный позже, добавил поведенческую составляющую. Он отслеживает, на каком предложении пользователь закрывает страницу. Длинные вводные конструкции вроде «Данная статья поможет вам разобраться в вопросе…» дают первый повод уйти — и алгоритм это фиксирует.
Что считается водой по классификации text.ru:
- Вводные фразы без информационной нагрузки — «как известно», «следует отметить», «не секрет, что»
- Плеоназмы — «прейскурант цен», «свободная вакансия», «первый дебют»
- Тавтологии — «спланировать план», «предупредить заранее»
- Избыточные определения — прилагательные, которые не уточняют смысл, а лишь занимают место
- Конструкции пассивного залога там, где возможен активный — «было принято решение» вместо «команда решила»
По данным text.ru, средняя водность статей в Рунете составляет 18-22%. Порог, после которого Яндекс начинает снижать позиции, — около 15-17% для коммерческих и информационных запросов. Разница небольшая, но именно она отделяет топ-3 от второй страницы выдачи.
Нейроштампы как отдельная категория риска
Языковые шаблоны — отдельная проблема. Они не всегда попадают в классификатор text.ru, но алгоритмический подход Яндекса их считывает через поведенческие паттерны.
Пользователь открывает статью с заголовком «Как выбрать CRM для бизнеса» и читает первый абзац: «В современном мире автоматизация бизнес-процессов стала неотъемлемой частью успешной деятельности компаний». Это предложение не содержит ответа на вопрос из заголовка. Пользователь уходит. Яндекс фиксирует короткий визит.
Три нейроштампа, которые гарантированно увеличивают отказы:
Обобщения без конкретики — «многие компании сегодня используют…», «все больше специалистов понимают…». Читатель ждет факт, получает воздух.
Ложные уступки — «несмотря на то что метод имеет недостатки, он все же эффективен…». Эта конструкция не несет аргумента — только имитирует аналитику.
Синонимический переспам — когда один объект называют пятью разными словами в одном абзаце ради мнимого разнообразия. Читатель теряет нить, алгоритм теряет семантическую связность.
Нейросеть для текста решает эту проблему системно. Не точечной правкой одного предложения, а пересмотром логики всего абзаца — с проверкой, несет ли он добавочную ценность относительно предыдущего.
Как водность влияет на семантическое ядро
Избыточные вводные конструкции физически вытесняют ключевые слова из текста. При объеме 10 000 знаков с водностью 20% у вас остается 8 000 знаков рабочего контента. При водности 8% — 9 200 знаков. Это 1 200 дополнительных символов, которые можно занять LSI-фразами, конкретными примерами или FAQ-блоком.
Частотность главного запроса в тексте напрямую зависит от того, сколько места занимает нерелевантный контент. Чем выше водность — тем ниже доля значимых слов и тем хуже соответствие запросу по мнению поисковика.
Механика работы ИИ — как происходит семантическая чистка
Семантическая чистка — это не поиск и замена слов по стоп-листу. Claude 3.5 анализирует контекст: зачем это предложение стоит именно здесь, что оно добавляет к предыдущему, не дублирует ли оно мысль из следующего абзаца.
Анализ пассивного залога и его замена
Пассивный залог — один из главных маркеров «официозного» текста, который воспринимается как сложный и скучный. Модель выявляет конструкции типа «было установлено», «является», «осуществляется» и перестраивает предложение в активный залог.
Пример. Исходное предложение: «Данный подход был разработан с целью повышения эффективности процесса редактуры». После обработки: «Мы разработали этот подход, чтобы редактура занимала меньше времени». Смысл тот же. Длина сократилась с 13 до 10 слов. Читаемость выросла.
Claude делает это не просто заменой глагола. Алгоритм перестраивает субъектно-объектные отношения в предложении — кто действует, на что и с каким результатом. Это требует понимания контекста, а не шаблонной замены.
Что модель проверяет при анализе залога:
- Есть ли в предложении явный субъект действия или он скрыт за безличной конструкцией
- Можно ли переставить субъект в начало без потери смысла
- Не создаст ли активный залог двусмысленность в данном конкретном контексте
- Соответствует ли результирующее предложение тону и стилю окружающего текста
На практике около 20% предложений в типичном SEO-тексте написаны в пассивном залоге — и большинство из них можно переписать без потери смысла. Это дает заметный прирост по показателю Readability Score.
Автоматическое удаление плеоназмов и тавтологий
Человек при вычитке 20 000 знаков пропускает повторы. Это физиология — после третьего часа работы с текстом редактор перестает видеть очевидное. Модель не устает.
Claude проверяет каждую пару слов на семантическое перекрытие. «Прейскурант цен» — слово «прейскурант» уже содержит значение «список цен», «цен» избыточно. «Заранее предупредить» — «предупредить» по определению означает сообщить до события, «заранее» не добавляет смысла.
Список типичных плеоназмов, которые модель удаляет автоматически:
| Исходная конструкция | Проблема | Результат после чистки |
|---|---|---|
| Прейскурант цен | «Прейскурант» = список цен | Прейскурант |
| Свободная вакансия | «Вакансия» = незанятая должность | Вакансия |
| Заранее предупредить | «Предупредить» = сообщить до | Предупредить |
| Краткое резюме | «Резюме» = краткое изложение | Резюме |
| Первый дебют | «Дебют» = первое выступление | Дебют |
| Сервисное обслуживание | «Обслуживание» = сервис | Обслуживание |
| Полностью завершить | «Завершить» = довести до конца | Завершить |
Тавтологии сложнее — они не всегда очевидны. «Спланировать план» режется сразу. Но «рассказать рассказ» или «написать в письме» — модель тоже фиксирует и предлагает замену.
Сокращение длинных предложений без потери фактуры
Предложения длиннее 25 слов снижают читаемость. Это не субъективная оценка — это метрика Flesch Reading Ease, которую считают Яндекс и Google при оценке качества страницы.
Модель разбивает длинные предложения по смысловым границам. Главное правило: одно предложение — одна мысль. Если в предложении два союза «который» или «что» — оно кандидат на разбивку.
Пример. Исходное предложение (32 слова): «Алгоритм анализирует структуру текста, выявляя избыточные конструкции, которые не несут дополнительной информационной нагрузки, и заменяет их более короткими эквивалентами, что улучшает общую читаемость материала». После обработки: «Алгоритм выявляет конструкции без информационной нагрузки. Каждую из них он заменяет коротким эквивалентом. Читаемость растет».
Три предложения вместо одного. Суммарная длина почти та же. Но читатель воспринимает их как три отдельных факта — и усваивает лучше.
Проверка логических связей между абзацами
Это самый сложный уровень чистки — и именно здесь Claude 3.5 работает принципиально иначе, чем простые редакторы на основе правил.
Модель строит граф смысловых связей между абзацами. Каждый абзац получает метку: он вводит новую информацию, развивает предыдущий тезис, приводит пример или делает вывод. Если два соседних абзаца имеют одинаковую метку «вводит новую информацию» — один из них, скорее всего, лишний или их нужно объединить.
Четыре паттерна нарушения логики, которые модель выявляет:
Повтор тезиса другими словами — один и тот же аргумент сформулирован дважды в разных местах текста. Модель предлагает оставить более точную формулировку.
Потерянный переход — между двумя абзацами нет смысловой связи. Читатель не понимает, почему следующий блок идет именно здесь. Модель либо добавляет переход, либо переставляет абзацы.
Вывод без доказательства — абзац заканчивается утверждением, которое не следует из предшествующего текста. Флаг для автора: здесь нужен аргумент или пример.
Пример без привязки к тезису — иллюстрация есть, но читателю не объяснено, что именно она доказывает. Модель добавляет связующее предложение.
На практике это означает, что автор получает не просто «чистый» текст, а структурно переработанный материал. Логика становится линейной: тезис — доказательство — вывод — следующий тезис.
Как работает стоп-список и почему он недостаточен сам по себе
Базовая фильтрация по стоп-словам — это первый уровень. Text.ru считает водность именно так: берет список из нескольких сотен слов и фраз, проверяет их наличие в тексте. Это быстро и дает ориентир.
Но стоп-список не видит контекст. Слово «является» в стоп-листе — но «является ли это достаточным основанием?» в риторическом вопросе уместно. Слово «данный» в стоп-листе — но «данный показатель» в техническом тексте точнее, чем «этот».
Claude работает на уровне выше: он оценивает, несет ли конкретное слово или конструкция смысл в данном конкретном предложении. Это алгоритмический подход, а не механическое применение правил.
Трехуровневая схема чистки в ТекстЗаводе:
- Уровень 1 — стоп-слова и типичные водные конструкции. Быстрая автоматическая фильтрация.
- Уровень 2 — синтаксический анализ: пассивный залог, длина предложений, плеоназмы. Claude перестраивает структуру.
- Уровень 3 — семантический анализ: логические связи между абзацами, повторы тезисов, пустые переходы. Модель оценивает текст целиком, а не предложение за предложением.
Именно третий уровень дает главный результат — сокращение объема без потери смысла. Первые два убирают лишние слова. Третий убирает лишние абзацы.
Редактирование текста ИИ и контроль качества
После прохождения трех уровней чистки текст проходит верификацию: антиплагиат через text.ru и проверку на признаки машинной генерации. Это два независимых фильтра с разными метриками.
Антиплагиат считает совпадения с проиндексированными источниками — целевой показатель выше 95% уникальности. Детектор AI-текста анализирует статистические паттерны: равномерность длины предложений, частотность определенных конструкций, предсказуемость лексических выборов. Чем ровнее ритм — тем выше вероятность машинного происхождения.
Парадоксально, но именно чистка от штампов помогает тексту проходить AI-детекторы. Штампы — это высокочастотные конструкции, которые языковые модели воспроизводят предсказуемо. Убрав их, текст становится лексически менее предсказуемым — и детектор перестает видеть в нем машинный паттерн.
Кейс ТекстЗавода — сокращение лонгрида с 12 000 до 8 500 знаков
Конкретный пример из практики платформы: лонгрид по теме «продвижение сайта в Яндексе», исходный объем 12 000 знаков. Задача — подготовить к перепубликации с улучшенными SEO-показателями.
Исходные параметры текста
Перед обработкой модуль AI-анализа ТекстЗавода снял базовые метрики:
| Параметр | До обработки | Целевой показатель |
|---|---|---|
| Водность (text.ru) | 22% | До 8% |
| Уникальность | 87% | Выше 95% |
| Средняя длина предложения | 31 слово | До 20 слов |
| Доля пассивного залога | 34% предложений | До 10% |
| Readability Score | 42 | 60-70 |
| Количество плеоназмов | 18 | 0 |
Водность 22% означала: из 12 000 знаков около 2 640 — это вводные конструкции, повторы, нейроштампы и прочий балласт. Редактор при ручной вычитке такого объема работает 3-4 часа и все равно пропускает часть — просто потому что глаз замыливается.
Что модель сделала с текстом
Обработка заняла около 4 минут. За это время Claude прошел все три уровня чистки и вернул отчет с изменениями.
Основные действия модели:
- Удалила 14 из 18 плеоназмов автоматически, четыре отметила как спорные — с объяснением контекста
- Перестроила 41 предложение из пассивного залога в активный
- Разбила 23 предложения длиннее 25 слов на более короткие конструкции
- Выявила 6 абзацев с повтором тезиса — предложила удалить или объединить
- Убрала 11 вводных конструкций без информационной нагрузки
Итоговый объем — 8 500 знаков. Это сокращение на 29% без потери ни одного факта или аргумента. Просто убрали воздух.
Если хотите увидеть, как это работает на вашем тексте — проверьте статью через AI-модуль очистки ТекстЗавода на textzavod.ru.
Результаты после перепубликации
Через 30 дней после публикации обновленной версии статьи позиции в Яндексе по целевым запросам выросли на 40% в топ-10. Это не мгновенный результат — алгоритм переиндексировал страницу примерно на 10-й день, после чего начался рост.
Метрики через 30 дней:
| Показатель | Было | Стало |
|---|---|---|
| Позиция по главному ключу | 23 | 8 |
| CTR в выдаче | 2,1% | 4,7% |
| Среднее время на странице | 1:42 | 3:18 |
| Показатель отказов | 68% | 41% |
| Водность текста | 22% | 8% |
Время на странице выросло почти вдвое — с 1 минуты 42 секунд до 3 минут 18 секунд. Это поведенческий сигнал для Яндекса: пользователи читают статью, а не закрывают её после первого абзаца.
Показатель отказов упал с 68% до 41%. Разница критическая: при 68% отказов алгоритм считает страницу нерелевантной запросу. При 41% — страница решает задачу пользователя.
Экономия времени на ручной редактуре
Четыре часа на ручную вычитку 12 000 знаков — стандарт для опытного редактора. Это не потому что редактор медленный. Это потому что при таком объеме нужно удерживать в голове всю структуру текста, отслеживать повторы на уровне нескольких абзацев и одновременно следить за стилем.
После обработки модулем AI-анализа редактор работал с текстом 15 минут. Его задача — проверить спорные случаи, которые модель отметила флагом, и убедиться, что факты переданы корректно. Механическую часть — поиск плеоназмов, длинных предложений, пассивного залога — делать вручную уже не нужно.
При штате из 20 авторов и потоке в 80-100 статей в месяц экономия составляет 300-380 часов редакторского времени ежемесячно. Это примерно два полных штатных редактора. Посмотреть примеры обработки «до» и «после» можно на textzavod.ru — там есть несколько реальных кейсов с метриками.
FAQ — часто задаваемые вопросы
Чем нейросеть для текста отличается от обычной проверки на водность в text.ru?
Text.ru считает водность по стоп-листу — это быстрый скрининг, который дает общий ориентир. Claude 3.5 анализирует контекст каждого предложения: зачем оно здесь стоит, что добавляет к предыдущему, не дублирует ли следующее. Стоп-лист убирает конкретные слова. Модель убирает смысловой балласт — абзацы и предложения, которые не несут новой информации, даже если в них нет ни одного стоп-слова.
Не потеряется ли экспертность текста после автоматической чистки?
Нет, если модель настроена правильно. Claude работает с тремя уровнями: стоп-слова, синтаксис, логика. На каждом уровне он сохраняет факты, цифры и аргументы — убирает только конструкции, которые их обрамляют без добавления смысла. Спорные случаи модель помечает флагом для ручной проверки редактором. Финальное решение остается за человеком.
Как ИИ, меняющий текст, справляется с отраслевой спецификой?
Модель учитывает контекст компании, который задается в профиле проекта. Технические термины, отраслевые аббревиатуры и специфические конструкции она не трогает — они не попадают под критерии водности. Если термин встречается в тексте без объяснения, модель не добавляет расшифровку автоматически — это задача автора на этапе написания.
Насколько безопасно использовать контент через нейросеть для публикации в Яндексе?
Яндекс не запрещает AI-контент напрямую. Алгоритм оценивает полезность страницы для пользователя — независимо от того, кто написал текст. Риск возникает, если AI-текст содержит штампы, низкую информационную плотность или нарушает E-E-A-T. Именно поэтому чистка от воды и проверка на признаки машинной генерации — обязательный этап перед публикацией.
Можно ли автоматизировать весь цикл — от генерации до публикации?
В ТекстЗаводе цикл выглядит так: парсинг семантики через Яндекс Wordstat → анализ выдачи → генерация текста через Claude или Gemini → AI-чистка → антиплагиат и детекция → экспорт в CMS. Каждый этап автоматизирован. Редактор подключается только на финальной проверке спорных мест — это 10-15 минут на статью вместо 3-4 часов.
Как формирование текста нейросетью влияет на уникальность?
Генерация через LLM-модели дает высокую уникальность по антиплагиату — модели не копируют источники дословно. Проблема в другом: AI-детекторы выявляют машинный текст по статистическим паттернам — равномерному ритму, предсказуемым конструкциям, частотным штампам. Чистка от шаблонов снижает предсказуемость текста — и он проходит детекцию как написанный человеком. Целевой показатель по GigaCheck и аналогичным инструментам — ниже 20% вероятности AI-происхождения.
Работает ли GPT для создания контента так же, как Claude при чистке?
GPT-модели и Claude используют разные архитектурные решения. На практике Claude 3.5 показывает лучшие результаты именно при редактуре и структурном анализе длинных текстов — он удерживает контекст на уровне нескольких тысяч слов без потери логики. GPT сильнее в генерации с нуля по детальному промпту. ТекстЗавод использует обе модели: Gemini и Claude — в зависимости от задачи на конкретном этапе цикла.
