Агентский стек для SEO

Четыре слоя: от источников данных до готового результата

Архитектура стека

Любой SEO-агент состоит из четырёх слоёв. Каждый слой решает свою задачу — важно понимать их границы, чтобы правильно выбирать инструменты.

Минимальный Python-агент

Вот скелет простейшего SEO-агента. В реальном проекте каждая функция расширяется, но структура остаётся той же:

import anthropic
import sqlite3
from datetime import datetime

# --- 1. Data Sources ---
def fetch_gsc_data(site_url: str, days: int = 28) -> list[dict]:
    """
    Возвращает топ-страницы из Google Search Console API.
    Требует: google-auth, google-api-python-client
    Scope: googleapis.com/auth/webmasters.readonly
    """
    # ... инициализация credentials ...
    # ... вызов searchanalytics.query(...) ...
    return [
        {"page": "/blog/seo-guide", "clicks": 320, "position": 4.2},
        # ...
    ]

def fetch_serp(keyword: str) -> dict:
    """
    Реальная выдача через SerpAPI / DataForSEO.
    """
    # import serpapi; результаты top-10
    return {"organic_results": [...]}

# --- 2. Processing ---
def normalize_pages(raw_data: list[dict]) -> list[dict]:
    """Дедупликация URL, нормализация позиций."""
    seen = set()
    result = []
    for row in raw_data:
        url = row["page"].rstrip("/")
        if url not in seen:
            seen.add(url)
            result.append({**row, "page": url})
    return result

def save_to_db(conn: sqlite3.Connection, rows: list[dict]) -> None:
    conn.execute("""
        CREATE TABLE IF NOT EXISTS pages
        (page TEXT, clicks INT, position REAL, date TEXT)
    """)
    for row in rows:
        conn.execute(
            "INSERT INTO pages VALUES (?,?,?,?)",
            (row["page"], row["clicks"], row["position"],
             datetime.today().isoformat())
        )
    conn.commit()

# --- 3. Agent Logic ---
client = anthropic.Anthropic()

def analyze_pages(pages: list[dict]) -> str:
    """LLM анализирует данные и генерирует рекомендации."""
    data_str = "\n".join(
        f"- {p['page']}: позиция {p['position']:.1f}, кликов {p['clicks']}"
        for p in pages[:20]  # топ-20
    )
    message = client.messages.create(
        model="claude-sonnet-4-6"  # актуальный ID: проверьте docs.anthropic.com,
        max_tokens=1024,
        system=(
            "Ты SEO-аналитик. Анализируй позиции страниц, "
            "выявляй возможности роста, давай конкретные приоритеты."
        ),
        messages=[{
            "role": "user",
            "content": f"Данные GSC за 28 дней:\n{data_str}\n\n"
                       "Выдай топ-5 рекомендаций в формате Markdown."
        }]
    )
    return message.content[0].text

# --- 4. Output ---
def save_report(text: str, path: str = "report.md") -> None:
    with open(path, "w", encoding="utf-8") as f:
        f.write(f"# SEO-отчёт {datetime.today().date()}\n\n{text}")
    print(f"Отчёт сохранён: {path}")

# --- Main ---
if __name__ == "__main__":
    conn = sqlite3.connect("seo.db")
    raw = fetch_gsc_data("example.com")
    pages = normalize_pages(raw)
    save_to_db(conn, pages)
    report = analyze_pages(pages)
    save_report(report)

Выбор инструментов

SERP API: сравнение по цене и возможностям

LLM: выбор модели для SEO-агента

Калькулятор стоимости агентского стека

При 10 000 запросов/мес полный стек обходится около $30/мес — меньше одного часа работы SEO-специалиста. Рассчитайте свой сценарий:

Проверьте себя

Технический аудит сайта

Агент-аудитор: находить, приоритизировать, сообщать

Чеклист технического SEO

Агент-аудитор последовательно проверяет каждый из этих пунктов при обходе сайта:

• robots.txt и sitemap.xml — файлы доступны, синтаксис корректен, sitemap зарегистрирован в GSC
• Статус индексации — нет нежелательных noindex; canonical указывает на правильные URL
• Broken links (4xx / 5xx) — все внутренние ссылки возвращают 2xx
• Дублированный контент — одинаковые или почти одинаковые страницы без canonical приводят к каннибализации
• Core Web Vitals — LCP ≤ 2.5 сек, CLS ≤ 0.1, INP ≤ 200 мс (прямые факторы ранжирования Google)
• HTTPS и mixed content — весь контент загружается по HTTPS, нет HTTP-ресурсов на HTTPS-странице
• Мобильная адаптация — viewport meta присутствует, контент не обрезается на экранах < 375 px
• Structured Data / Schema.org — разметка валидна, охватывает ключевые типы сущностей
• Alt тексты у изображений — каждое значимое изображение имеет описательный alt
• Мета-теги — title 50–60 символов, description 120–158 символов, уникальны на каждой странице
• Глубина вложенности страниц — важные страницы доступны не более чем за 3 клика от главной
• Orphan pages — ни одна индексируемая страница не лишена входящих внутренних ссылок

Архитектура агента-аудитора

crawl(url)
  → fetch_page(url)          # скачать HTML, статус, заголовки
  → check_all(page): [findings]  # прогнать все 12+ проверок
  → prioritize(findings):    # priority = severity × traffic_impact
  → generate_report(findings)    # JSON / Markdown / HTML-отчёт
  → notify(report)           # Slack / email / Jira ticket

Инструменты краулера

Приоритизация находок

Сырой список из сотен находок бесполезен. Агент-аудитор применяет формулу:

• Severity (1–5): 5 = прямой фактор ранжирования Google, 1 = косметическая правка
• Traffic Impact (1–5): 5 = затрагивает весь сайт, 1 = одна страница
• Итоговый диапазон: 1–25

Примеры приоритетов

Калькулятор приоритета находки

Проверьте себя

Keyword Intelligence

Кластеризация, intent mapping и поиск gap-возможностей

Классификация ключевых слов

Прежде чем агент приступит к работе с семантикой, ему нужна таксономия ключевых слов — единая система классификации по длине и по намерению. Без неё кластеризация не имеет смысла: агент не знает, каким страницам назначать найденные слова.

По длине запроса

По намерению (Search Intent)

Search intent — это цель пользователя за запросом. Агент, неправильно определивший intent, назначит ключ на неправильный тип страницы и контент никогда не выйдет в топ — даже при высоком техническом качестве.

Семантическая кластеризация

Агент собирает тысячи ключевых слов, но без группировки это просто шум. Кластеризация превращает плоский список в карту будущей структуры сайта: каждый кластер — одна страница (или раздел).

Выход агента после кластеризации — карта кластеров с предложением по структуре сайта: «Кластер "покупка iPhone" (42 ключа, avg KD 35) → создать раздел /shop/iphone/ с 1 категорийной и 4 продуктовыми страницами».

Keyword Gap Analysis

Gap Analysis — это поиск ключевых слов, по которым конкурент уже ранжируется, а вы — нет. Это готовые к захвату позиции: спрос подтверждён, релевантность доказана конкурентом, ваша задача — создать лучшую страницу.

«Sweet spot» в gap-анализе — ключи с высоким Volume + низким KD + matching intent под существующие страницы или страницы, которые легко создать. Агент умеет автоматически выделять этот квадрант.

Пример Python-псевдокода:

# gap_analysis.py — псевдокод агентного Gap Analysis

import requests

AHREFS_TOKEN = "..."

def fetch_domain_keywords(domain: str) -> set[str]:
    """Возвращает множество ключевых слов домена через Ahrefs API."""
    # GET api.ahrefs.com/v3/site-explorer/organic-keywords
    resp = requests.get(
        AHREFS_TOKEN,  # endpoint вынесен в конфиг
        params={"target": domain, "limit": 10000},
        headers={"Authorization": f"Bearer {AHREFS_TOKEN}"}
    )
    resp.raise_for_status()
    return {row["keyword"] for row in resp.json()["keywords"]}

def fetch_kw_metrics(keywords: list[str]) -> dict:
    """Получает Volume и KD для списка ключевых слов."""
    # POST api.ahrefs.com/v3/keywords-explorer/overview
    resp = requests.post(
        AHREFS_TOKEN,  # endpoint вынесен в конфиг
        json={"keywords": keywords},
        headers={"Authorization": f"Bearer {AHREFS_TOKEN}"}
    )
    resp.raise_for_status()
    return {r["keyword"]: r for r in resp.json()["keywords"]}

def gap_analysis(your_domain: str, competitor_domain: str, top_n: int = 50):
    your_kws     = fetch_domain_keywords(your_domain)
    competitor_kws = fetch_domain_keywords(competitor_domain)

    gap_kws = list(competitor_kws - your_kws)          # разница множеств
    metrics  = fetch_kw_metrics(gap_kws)

    # Сортировка: высокий объём, низкая сложность — сначала
    ranked = sorted(
        gap_kws,
        key=lambda kw: metrics.get(kw, {}).get("volume", 0)
                       / (metrics.get(kw, {}).get("kd", 100) + 1),
        reverse=True
    )

    return [
        {
            "keyword": kw,
            "volume":  metrics[kw]["volume"],
            "kd":      metrics[kw]["kd"],
            "intent":  metrics[kw].get("intent", "unknown"),
            "score":   metrics[kw]["volume"] / (metrics[kw]["kd"] + 1),
        }
        for kw in ranked[:top_n]
        if kw in metrics
    ]

if __name__ == "__main__":
    results = gap_analysis("yoursite.com", "competitor.com", top_n=50)
    for r in results:
        print(f"{r['score']:6.1f}  Vol={r['volume']:5d}  KD={r['kd']:2d}  "
              f"[{r['intent'][:4]}]  {r['keyword']}")

Карта ключевых слов

Scatter-карта «Volume vs Difficulty» — главный визуальный инструмент приоритизации. Каждая точка — ключевое слово; пунктирные линии делят пространство на квадранты.

Проверьте себя

Контентный агент

От ключевого слова до готовой SEO-статьи за один пайплайн

6-этапный пайплайн

Контентный агент не пишет статью за один вызов — он проходит шесть последовательных этапов, каждый из которых сужает контекст и повышает качество результата.

System Prompt: что внутри

Качество контентного агента на 80% определяется системным промптом. Вот обязательные компоненты:

• Целевое ключевое слово и LSI-слова — явным списком, чтобы агент знал, какие варианты использовать естественно.
• Search intent — что именно хочет пользователь: узнать (информационный), купить (транзакционный) или найти сайт (навигационный).
• Требуемая структура — H1 с ключевым словом, 4–5 H2, обязательный вывод/CTA.
• Ограничения-запреты — НЕ выдумывать статистику без источников, НЕ использовать ключ чаще 2% от объёма текста.
• Примерная длина — 1000–1500 слов для информационного контента, 500–800 для транзакционного.

Шаблон системного промпта (псевдокод):

Ты SEO-копирайтер. Напиши статью строго по параметрам.

ЦЕЛЕВОЙ ЗАПРОС: {target_keyword}
LSI-СЛОВА: {lsi_list}
INTENT: {intent_type}  # informational | transactional

СТРУКТУРА:
  H1: обязательно содержит {target_keyword}
  H2 x 4-5: {h2_list}
  Заключение: краткое резюме + призыв к действию

ОГРАНИЧЕНИЯ:
  - НЕ придумывать статистику без ссылки на источник
  - Плотность ключевого слова: 1-2% от текста
  - Длина: {min_words}-{max_words} слов

META:
  title: 50-60 символов, содержит {target_keyword}
  description: 120-158 символов, призыв кликнуть

АУДИТОРИЯ: {audience_description}
ТОНАЛЬНОСТЬ: {tone}  # formal | conversational | expert

Когда агент, когда редактор

Стоимость контент-пайплайна

Рассчитайте реальную стоимость производства контента при вашем масштабе.

Проверь себя

SERP-мониторинг и ссылочный профиль

Агент следит за позициями и backlinks — и бьёт тревогу первым

SERP-мониторинг

Поисковые позиции меняются каждый день. Мониторить их вручную — значит всегда узнавать об изменениях с опозданием. Агент-монитор решает это системно.

Что отслеживать

Пороги аномалий

• Падение > 20% трафика за день — немедленная диагностика: algo update или техническая проблема
• Падение позиции > 10 мест за день по одному ключу — проверить конкурентов и свежий контент на странице
• Падение по всем ключам одновременно — скорее всего robots.txt / noindex или Google algo update

Волатильность рынка в целом отслеживают инструменты MozCast и SERPoscope — если их индексы высокие, "штормит" не только ваш сайт.

Агент-монитор: псевдокод

# Агент-монитор позиций (cron: каждые 24ч)

def serp_monitor_agent(keywords: list, threshold_drop: int = 5):
    state = load_state("serp_positions.json")   # предыдущие позиции
    alerts = []

    for keyword in keywords:
        current_pos = fetch_position(keyword)   # GSC API / DataForSEO
        prev_pos    = state.get(keyword, current_pos)

        drop = current_pos - prev_pos           # положительное = хуже

        if drop > threshold_drop:
            alerts.append({
                "keyword":  keyword,
                "prev":     prev_pos,
                "current":  current_pos,
                "drop":     drop,
                "severity": "HIGH" if drop > 15 else "MEDIUM"
            })

        state[keyword] = current_pos            # обновить состояние

    save_state("serp_positions.json", state)

    if alerts:
        # Дополнительный контекст: проверить MozCast
        volatility = fetch_mozcast_score()
        context = "algo-update likely" if volatility > 80 else "site-specific issue"

        send_alert(alerts, context=context)

    return alerts

Динамика позиций за 30 дней

На графике ниже: чем ниже линия — тем выше позиция в поиске (позиция 1 лучше позиции 25).

Ссылочный профиль

Backlinks — один из ключевых факторов ранжирования Google с момента появления PageRank. Ссылки передают "авторитет" (link equity) от одного домена к другому.

Метрики качества ссылки

Токсичные ссылки и риски

Признаки токсичных ссылок:

• Домены с DR < 5 и нерелевантной тематикой
• Один и тот же anchor text в сотнях ссылок (over-optimized anchors)
• Ссылки с форумных подписей, комментариев, каталогов низкого качества
• Внезапный прирост сотен ссылок за короткий период (ссылочный взрыв)

Link Gap Analysis

Link Gap — домены, с которых ссылаются на конкурентов, но не на вас. Это готовый список перспектив для получения ссылок.

# Агент: анализ ссылочного профиля + link gap

def link_profile_agent(my_domain: str, competitors: list):

    # 1. Получить backlinks через API (Ahrefs / Semrush)
    my_backlinks  = fetch_backlinks(my_domain)
    comp_backlinks = {c: fetch_backlinks(c) for c in competitors}

    # 2. Скорить домены-доноры
    scored = []
    for link in my_backlinks:
        score = compute_link_score(
            dr=link["domain_rating"],
            tf=link["trust_flow"],
            relevance=link["topical_relevance"]   # 0..1
        )
        scored.append({**link, "score": score})

    # 3. Фильтровать токсичные (score < 0.2)
    toxic    = [l for l in scored if l["score"] < 0.2]
    healthy  = [l for l in scored if l["score"] >= 0.2]

    if toxic:
        build_disavow_file(toxic)   # -> disavow.txt для Google

    # 4. Link Gap: домены конкурентов, которых нет у нас
    my_domains   = {l["domain"] for l in healthy}
    gap_domains  = set()
    for comp, links in comp_backlinks.items():
        for link in links:
            if link["domain"] not in my_domains:
                gap_domains.add(link["domain"])

    # 5. Приоритизировать проспекты по DR
    prospects = sorted(gap_domains,
                       key=lambda d: get_dr(d), reverse=True)[:50]

    return {
        "healthy_links": len(healthy),
        "toxic_links":   len(toxic),
        "prospects":     prospects
    }
  

Проверь себя

Оркестрация SEO-пайплайнов

Как собрать все воркеры в единую систему с надёжными триггерами

Паттерн оркестратор-воркеры

В агентской SEO-системе оркестратор — это центральный агент-координатор. Он не выполняет задачи сам: получает задачу, декомпозирует её на подзадачи, раздаёт воркерам и собирает результаты. Воркеры — специализированные агенты, каждый знает свою область.

Параллельный запуск воркеров существенно сокращает общее время выполнения: пока KeywordWorker собирает данные, AuditorWorker краулит сайт.

class SEOOrchestrator:
    def route_task(self, task_type, complexity):
        """Выбор модели по типу задачи (интеграция с M10)."""
        if complexity == 'high' or task_type in ('strategy', 'eeat', 'competitive'):
            return 'claude-opus-4'       # frontier — глубокий анализ
        elif task_type in ('content', 'audit', 'monitor'):
            return 'claude-sonnet-4-6'   # workhorse — контент и аудит
        else:
            return 'claude-haiku-4-5'    # bulk — массовая обработка

    async def run(self, task: SEOTask):
        # Декомпозиция задачи
        subtasks = self.decompose(task)

        # Параллельный запуск воркеров
        results = await asyncio.gather(
            self.auditor.run(subtasks.audit),
            self.keyword.run(subtasks.keywords),
            self.monitor.run(subtasks.serp),
        )

        # Агрегация и принятие решений
        plan = self.aggregate(results)

        # HITL-проверка перед необратимыми действиями
        if plan.requires_human_approval:
            await self.request_approval(plan)
        else:
            await self.execute(plan)

Типы триггеров

Пайплайн запускается тремя способами — каждый подходит для своего сценария:

Интерактивный пайплайн

Нажмите на любой блок, чтобы узнать подробнее о его роли в системе.

Human-in-the-loop: когда обязателен

Автоматизация не означает полное отсутствие человека. Есть сценарии, где HITL обязателен — когда действие необратимо, репутационно рискованно или может уронить сайт.

Обработка ошибок и управление состоянием

Устойчивость к ошибкам

delay = base * (2 ** attempt)
# 1s → 2s → 4s → 8s
# для API 429 / 503

Что хранить между запусками (State)

Пайплайн должен «помнить» предыдущие запуски — без этого невозможно обнаружить аномалии и тренды.

Проверь себя

Оценка и итерация

KPI, anti-patterns и путь от курса к первому рабочему агенту

KPI для SEO-агентов

Метрики делятся на два уровня: операционные (система работает правильно) и бизнес (система приносит пользу).

Операционные KPI

Бизнес KPI

A/B тесты контента

Anti-patterns — что убивает систему

ROI SEO-автоматизации

Рассчитай, сколько экономит агентская система по сравнению с ручным SEO.

5 шагов к первому рабочему агенту

Проверь себя

AI-поиск и GEO

Как изменить SEO-стратегию, когда поиск уходит в AI-ответы

Что происходит с поиском

За 2024–2026 годы поисковая выдача претерпела структурный сдвиг: AI-сгенерированный ответ появляется над органическими результатами, и пользователь всё реже доходит до синих ссылок.

GEO — новый термин, новая логика

GEO (Generative Engine Optimization) — оптимизация не под клик пользователя, а под цитирование AI-движком. Цель: стать источником, который Perplexity, Google AI Overview или ChatGPT Search включит в свой ответ.

Как AI выбирает источники

• E-E-A-T (Experience / Expertise / Authoritativeness / Trustworthiness) — Google и LLM-движки выше доверяют авторитетным доменам с явными экспертами.
• Структурированные данные — FAQ schema, HowTo schema, Article schema помогают парсеру AI вычленить структуру.
• Цитируемость — сколько других авторитетных ресурсов ссылается на страницу.
• Авторитетность домена — Domain Rating / Domain Authority как прокси надёжности.

Форматы контента, которые AI предпочитает

Вероятность AI Overview по типу запроса

Стратегия по типам запросов

Не все запросы одинаково подвержены AI Overviews. Правильная тактика зависит от intent:

Агент мониторинга AI Overviews

Задача агента — отслеживать, появился ли AI Overview по вашим ключевым словам, и менять контент-стратегию по алерту.

Инструменты

• DataForSEO SERP API — поддерживает ai_overview в объекте ответа (поле items_types[]).
• SerpAPI / Bright Data — альтернативы с аналогичным детектированием AIO.
• Хранилище состояний — SQLite/Redis: фиксировать дату первого появления AIO и динамику.

Псевдокод агента

# AIO Monitor Agent — псевдокод
# Запуск: cron каждые 24 ч (или webhook по изменению позиций)

import serp_api, db, alerts

def run_aio_monitor(keywords: list[str]):
    for kw in keywords:
        result = serp_api.fetch(kw, features=["ai_overview", "featured_snippet"])

        aio_present = result.has("ai_overview")
        prev_state  = db.get_aio_state(kw)          # True/False/None

        if aio_present and not prev_state:
            # AIO появился впервые
            db.set_aio_state(kw, True, date=today())
            alerts.send(
                channel="slack",
                msg=f"[AIO ALERT] AI Overview появился для '{kw}'. "
                    f"Текущий URL в топ-1: {result.top_organic_url}. "
                    f"Рекомендация: переключить стратегию на GEO."
            )
            content_pipeline.schedule_geo_rewrite(kw)

        elif not aio_present and prev_state:
            # AIO исчез — возврат к традиционному SEO
            db.set_aio_state(kw, False, date=today())
            alerts.send(
                channel="slack",
                msg=f"[AIO GONE] AI Overview исчез для '{kw}'. "
                    f"Традиционный SEO снова приоритетен."
            )

        # Логировать позицию в органике независимо от AIO
        db.log_rank(kw, result.organic_position, result.url)

Обновление контент-пайплайна для GEO

Мост к модулю M5: добавляем GEO-слой поверх существующего пайплайна генерации контента.

1. Изменения в system prompt контент-агента

2. Добавить structured data

# Генерация FAQ schema (добавить в SEO Check шаг пайплайна)

def generate_faq_schema(faq_items: list[dict]) -> str:
    """
    faq_items: [{"question": "...", "answer": "..."}, ...]
    Возвращает JSON-LD строку для вставки в <head>.
    """
    schema = {
        "@context": "schema.org",
        "@type": "FAQPage",
        "mainEntity": [
            {
                "@type": "Question",
                "name": item["question"],
                "acceptedAnswer": {
                    "@type": "Answer",
                    "text": item["answer"]
                }
            }
            for item in faq_items
        ]
    }
    return f'<script type="application/ld+json">{json.dumps(schema)}</script>'

# Аналогично: HowTo schema для пошаговых инструкций,
# Article schema с author.name + author.url для E-E-A-T

3. Intent detection как шаг SEO Check

# Добавить в SEO Check Agent перед публикацией:

def check_aio_risk(keyword: str, content: str) -> dict:
    intent = classify_intent(keyword)          # 'informational'|'commercial'|...
    aio_prob = AIO_RISK_MAP.get(intent, 0.5)   # из базы данных мониторинга

    if aio_prob > 0.4:
        geo_score = score_geo_readiness(content)
        # geo_score: 0..1 (наличие FAQ, определений, структ. данных, авторства)
        if geo_score < 0.6:
            return {
                "status": "warn",
                "msg": f"AIO-риск {aio_prob:.0%}, GEO-готовность {geo_score:.0%}. "
                       "Рекомендуется: добавить FAQ, structured data, улучшить определение."
            }
    return {"status": "ok", "aio_prob": aio_prob}

Тест: проверь понимание