Автономный агент для исследовательских задач веб-инженера

01Развёртывание Hermes Agent

Hermes Agent — опенсорсный (MIT) оркестратор агентов от Nous Research. Он состоит из шлюзов (CLI, Telegram, Discord…), инструментов (терминал, файлы, браузер, планировщик), навыков и подключаемой LLM. За основу взято руководство thecode.media, детали сверены с официальной документацией. Все файлы лежат в репозитории сайта, в каталоге agent-lab/.

Журнал параметров

Фактические значения подставляются из journal.json. Пустые поля ещё не зафиксированы.

Ход работы

1. Сервер

   Используется сервер сайта: Ubuntu 26.04.1, 1 vCPU, 891 МБ RAM, 14 ГБ диска, Амстердам. На нём же работают nginx, API стенда и PostgreSQL. Модель облачная, поэтому минимальных требований Hermes (1 vCPU, 1 ГБ) хватает с учётом swap. Провайдер, тариф и цена записываются в журнал.

2. Подготовка сервера — deploy/agent/setup-agent.sh, запускается один раз
   • swap 1 ГБ: сайт, Postgres и агент вместе не помещаются в 891 МБ;
   • пользователь agent без пароля и sudo; доступ к серверу — только по SSH-ключу;
   • сетевая изоляция контейнера — agent-firewall.sh (сервис systemd, правила восстанавливаются после перезагрузки);
   • агенту не нужны входящие порты: Telegram-шлюз работает через исходящий long polling.

   Из контейнера curl 172.x.0.1:3001 (API) и :5432 (Postgres) не проходят, https://simakov.space открывается.

3. Docker и Compose

   Пакеты docker.io и docker-compose-v2 из репозитория Ubuntu. Ротация логов задаётся в /etc/docker/daemon.json. Пользователь agent в группу docker не добавляется: группа docker равносильна root, а на сервере сайта это недопустимо. Контейнером управляет администратор.

   docker run --rm hello-world печатает «Hello from Docker!»

4. LLM-провайдер и ключ

   Основная модель — deepseek-v4-flash через OpenAI-совместимый шлюз llms.dotpoin.com. Это сторонний перепродавец DeepSeek, а не официальный API: запросы агента проходят через него. Шлюз сообщает окно 1 048 576 токенов; вызов инструментов проверен запросом с tools. Hermes отклоняет модели с окном меньше 64 000 токенов, поэтому окно проверяется до запуска. Для P4 дополнительно подключаются GigaChat 2 Max (отечественная, 128K) и Qwen3 8B через Ollama (локальная, контекст поднят до 65 536). Бесплатные :free-модели для работы не годятся: общий лимит запросов, частые HTTP 429.

5. Лимит расходов

   Лимит ставится до первого запуска планировщика: в кабинете провайдера — лимит на ключ или только предоплаченный баланс без автопополнения. Значения лимитов записываются в журнал. Ошибочная cron-задача раз в 5 минут — это 8 640 запусков в месяц; расчёт ниже, в разделе «Экономика».

6. Telegram-шлюз

   Бот создаётся в @BotFather (/newbot), числовой ID пользователя берётся у @userinfobot. Токен хранится только в ~/.hermes на VPS, в репозитории его нет. Если токен утёк — /revoke в @BotFather и новый токен.

7. Мастер настройки в контейнере

   cd /opt/hermes
   docker compose run --rm hermes-agent setup
   ls /home/agent/.hermes   # config.yaml, .env, memories/, skills/ — конфиг записан на хост

   Мастер запускается тем же compose-сервисом, что и шлюз, поэтому пишет ровно в тот каталог, который смонтирован при работе: /home/agent/.hermes на хосте = /opt/data в контейнере. Модель и шлюз задаются в config.yaml (образец — deploy/agent/config.example.yaml), ключи — в .env с правами 600.

8. compose.yaml — deploy/agent/compose.yaml → /opt/hermes/compose.yaml

   services:
     hermes-agent:
       image: nousresearch/hermes-agent:latest
       container_name: hermes_agent
       restart: unless-stopped
       command: gateway run
       environment:
         HERMES_UID: "${AGENT_UID}"     # процесс — под UID пользователя agent
         HERMES_GID: "${AGENT_GID}"
       volumes:
         - /home/agent/.hermes:/opt/data
       networks: [agent]                # мост br-agent, см. agent-firewall.sh
       security_opt: [ "no-new-privileges:true" ]
       cpus: 0.8
       mem_limit: 700m
       memswap_limit: 1400m
       pids_limit: 256
       logging:
         driver: json-file
         options: { max-size: "10m", max-file: "5" }
   networks:
     agent:
       driver_opts: { com.docker.network.bridge.name: br-agent }

   Портов наружу нет. Лимиты CPU, памяти и числа процессов не дают зациклившемуся агенту положить сайт.

9. Запуск и логи

   docker compose up -d && docker compose logs -f

   В строке навыков ненулевое число (… 87 total bundled), предупреждения No messaging platforms enabled нет.

10. Первое сообщение

    Боту отправляется «Кто ты и какие у тебя инструменты?». Время отклика — от отправки до первого ответа, по меткам времени Telegram, медиана трёх попыток. Записывается в журнал.

11. Ограничение доступа

    В ~/.hermes/.env указан только TELEGRAM_ALLOWED_USERS=<мой ID>; GATEWAY_ALLOW_ALL_USERS не задан. Проверка — сообщение с тестового аккаунта.

    Бот не отвечает постороннему аккаунту. Запись об этом ищется в hermes logs gateway.

12. Память — agent-lab/server/memories/ → ~/.hermes/memories/

    USER.md (568 из 1 375 символов) хранит предметную область, стиль, формат ответов и язык. MEMORY.md (770 из 2 200) — контекст исследования и договорённости. Агент читает их при старте сессии, так что после правки нужна новая сессия (/new).

    Контрольный вопрос: «Как мы договорились считать стабильный FPS и как называется эталонная сцена?» Правильный ответ («5-й перцентиль за 30 с», «Нива») есть только в MEMORY.md, в интернете его не найти.

13. Инструменты

    Проверяется каждый набор по отдельности: веб-поиск («найди RFC 9110, раздел про 413»), чтение страницы (https://agent.simakov.space/fixtures/changelog.html), файлы (создать и прочитать /opt/data/research/test.md), терминал (df -h, uname -a), планировщик (/cron list). Отдельно проверяется, что опасная команда (например, rm -rf вне рабочего каталога) запрашивает подтверждение. Эту защиту не отключать.

14. Первый навык — agent-lab/server/skills/source-digest/SKILL.md

    «Конспект источника». Условие срабатывания: пользователь прислал ссылку и просит конспект, сводку или разбор. Шаги: загрузить страницу, извлечь метаданные, выписать 3–5 утверждений с дословными цитатами, сохранить файл в /opt/data/research/digests/, ответить путём и итоговой строкой. Негативная проверка — вопрос без ссылки: навык срабатывать не должен.

    По сообщению «сделай конспект https://…» появился файл, в ответе есть «Источников: N, из них первичных: M».

15. Задача по расписанию

    /cron add "0 9 * * *" "Проверь https://simakov.space/ и https://simakov.space/api/benchmarks: код ответа, время ответа, число записей в JSON. Допиши строку в /opt/data/research/monitoring.csv. Если что-то не 200 — начни ответ со слова ALERT, иначе ответь [SILENT]."

    Задания хранятся в ~/.hermes/cron/jobs.json, вывод каждого запуска — в ~/.hermes/cron/output/<job>/<время>.md, журнал попыток — hermes cron runs. [SILENT] подавляет доставку в Telegram, когда всё в порядке.

16. Логи
    • stdout контейнера: json-file, 5 × 10 МБ (не больше 50 МБ);
    • ~/.hermes/logs/ (agent.log, errors.log, gateway.log) — встроенная ротация Hermes (agent.log.1…), просмотр через hermes logs gateway -f;
    • вывод cron и отчёты P4: срок хранения 90 дней. Пользовательский crontab: find ~/.hermes/cron/output -type f -mtime +90 -delete;
    • сессии в state.db не удаляются: они нужны для анализа шагов и отказов в P4.
17. Отладка

    Ошибки, гипотезы и решения ведутся в журнале (раздел debug в journal.json) и показываются в таблице ниже. Известные по руководству и документации ситуации:

    Симптом	Гипотеза	Решение
    0 total bundled + No messaging platforms enabled	Агент не видит конфиг: смонтирован не тот каталог	Монтировать в /opt/data (не /opt/hermes) тот же каталог, куда писал setup
    HTTP 429 от провайдера	Бесплатная модель, общий лимит	Платная модель с лимитом бюджета на ключе
    Auxiliary title generation failed	Не задана вспомогательная модель для заголовков сессий	Безвредно; при желании задать дешёвую модель в auxiliary
    Модель отклонена при старте	Окно контекста меньше 64K	Другая модель; для Ollama — OLLAMA_CONTEXT_LENGTH=65536
    Контейнер перезапускается, Killed	OOM на 1 ГБ RAM	swap 1 ГБ, mem_limit, не запускать параллельно второй шлюз на те же данные

T2Память, контекст и навыки

Как агент живёт с ограниченным контекстным окном: что он видит в каждом запросе, что достаёт по требованию и что переносит между сессиями. Описание механики Hermes опирается на документацию разделов Memory, Skills и Cron.

Три уровня: окно, история, память

Отсюда главная разница. Окно — это рабочий стол: всё в нём сразу видно, но места мало и оно дорогое. История — архив: туда помещается всё, но искать приходится вручную. Файловая память — записка на мониторе: всегда перед глазами, поэтому в ней только то, что нужно почти в каждой задаче.

Механика файловой памяти

Сравнение с другими подходами к памяти

В Hermes эти слои совмещаются. Файловая память остаётся всегда, история доступна через session_search, а внешние провайдеры памяти (Honcho, Mem0, Supermemory и др., hermes memory setup) работают рядом с файлами, но не вместо них.

Когда файловой памяти достаточно

• Персональный ассистент одного исследователя: стиль ответов, язык, формат таблиц, договорённости о метриках.
• Одна текущая тема исследования, небольшой набор постоянных фактов: адреса стенда, названия сцен, рабочие каталоги.
• Регламентные задачи (мониторинг, еженедельные сводки), где важна стабильность поведения, а не объём знаний.

Когда недостаточно

• Обзор литературы на десятки и сотни источников: нужен RAG по конспектам (их и складывает навык source-digest) или граф «источник → утверждение → цитата».
• Работа с количественными данными: замеры FPS за месяцы должны жить в базе (у стенда это PostgreSQL за /api/benchmarks), а не в памяти модели. Модель запрашивает и считает, а не вспоминает.
• Несколько тем или проектов параллельно: 2 200 символов не хватит, факты начнут вытеснять друг друга. Тут нужны профили Hermes (~/.hermes/profiles/<имя>) со своей памятью у каждого.
• Требования к воспроизводимости и происхождению фактов: файловая память не хранит, откуда взят факт и когда он записан.

Навыки: происхождение и риски

Навык — это каталог с SKILL.md: frontmatter с name, description и version, в теле — условие применения, шаги и проверка, рядом могут лежать вспомогательные файлы. Навыки подгружаются постепенно (progressive disclosure). В окне всегда только имя и описание из skills_list(); полный текст загружается через skill_view(), только когда модель решила, что навык подходит. Так сотни навыков почти не занимают контекста.

Автоматическое порождение. У агента есть инструмент skill_manage (create, patch, delete…). Документация называет поводы создать навык: многошаговый процесс, который удалось выстроить и стоит повторить, и исправление подхода пользователем. Фоновый review после хода тоже может предложить навык. По сути агент пишет себе регламент по следам удачной сессии.

Риски:

• Закрепление ошибочной процедуры. «Удачной» сессию считает модель, а не внешний критерий. Если задача решилась случайно (сработал обходной путь, тест был слабый, пользователь просто не заметил ошибку), процедура превращается в правило и воспроизводится во всех похожих задачах.
• Переобучение на частный случай. Конкретный URL, путь или версия пакета в шагах навыка ломаются, как только меняется окружение.
• Дрейф поведения. Навыки патчатся по ходу работы. Через месяц поведение агента определяется набором правок, которые никто не просматривал, и уже нельзя сказать, почему агент делает именно так. Для исследования это прямой удар по воспроизводимости: тот же запрос даёт другой результат.
• Конфликт навыков. Два навыка с пересекающимися описаниями — и модель выбирает между ними непредсказуемо.
• Внедрение инструкций. Текст с веб-страницы может попасть в навык и остаться там надолго. Навыки из Hub проходят сканер (эксфильтрация, prompt injection, деструктивные команды), а созданные самим агентом проверяются отдельным сканером skills.guard_agent_created.

Меры, принятые в работе: skills.write_approval: true — новые навыки и правки ждут ручного одобрения (/skills pending); каталог ~/.hermes/skills под git, чтобы каждая правка была видна диффом; у каждого навыка раздел «Проверка» с внешним признаком успеха; на время эксперимента P4 память и навыки откатываются к снимку перед каждым прогоном.

T2Экономика: модель стоимости

Агентная задача — это цикл. На каждом шаге модель получает весь накопленный контекст и отвечает вызовом инструмента или итоговым текстом. Результат инструмента дописывается в контекст, и следующий шаг стоит дороже предыдущего.

Модель

Пусть C₀ — постоянная часть запроса (системный промпт, схемы инструментов, память, список навыков, сообщение пользователя), Δ — сколько токенов добавляет один шаг (вызов и результат инструмента), n — число шагов, o — выходных токенов на шаг. Тогда за одну задачу:

входные токены   T_in  = n·C₀ + Δ·n(n−1)/2        # растут квадратично по числу шагов
выходные токены  T_out = n·o
стоимость        S = [ (1−h)·T_in·p_in + h·T_in·p_cache + T_out·p_out ] / 10⁶
месяц            M = 30·(задач_в_день·S(n) + cron_в_день·S(n_cron)) + VPS

Здесь h — доля входных токенов, прочитанных из кэша промпта. Постоянный префикс C₀ одинаков во всех шагах, поэтому почти весь вход попадает в кэш. Значения по умолчанию измерены на этом агенте (отчёты --usage-file и журнал вызовов API): ответ одним словом — 14 188 входных токенов, шаг cron-задачи — 14 943, доля кэша — 97–99 %. Отсюда C₀ = 14 500 и h = 95 % с запасом. Δ зависит от инструмента: вывод команды терминала — сотни токенов, загруженная веб-страница — тысячи. Взято 1 500.

Что видно из модели

Цифры ниже — при параметрах по умолчанию (C₀ = 14 500, Δ = 1 500, h = 95 %, VPS 400 ₽, 82 ₽/$).

Расходы на модель в месяц, без VPS.

• Доминирует вход, а не выход. Задача на 8 шагов — 158 000 входных токенов против 3 200 выходных, и почти весь вход — один и тот же префикс C₀, повторённый на каждом шаге.
• Решает кэширование, а не цена за токен. У GigaChat нет скидки на кэш, поэтому даже Lite с ценой 65 ₽ за 1M (≈ $0,8) выходит дороже DeepSeek у перепродавца с ценой $1, а Max — в 14 раз дороже. Для агента с длинным постоянным префиксом это главный критерий выбора провайдера.
• Один и тот же DeepSeek стоит в 15 раз дороже у перепродавца, чем через OpenRouter: $1 против $0,14 за вход и $0,5 против $0,028 за кэш. Удобство оплаты из России — заметная статья расходов.
• Число шагов работает квадратично. Задача на 16 шагов использует в 2,6 раза больше входных токенов, чем на 8. Зацикливание опасно для бюджета, а не только для качества.
• Частый cron сопоставим со всей интерактивной работой. Проверка раз в 5 минут — 8 640 запусков в месяц и около 47 % расходов в тяжёлом сценарии. Для регламентных проверок частота расписания — первый параметр, который стоит пересмотреть.
• VPS — главная статья только у дешёвого провайдера при лёгкой нагрузке. Через OpenRouter аренда (≈ 400 ₽) дороже токенов до среднего сценария включительно. У перепродавца токены дороже VPS уже в лёгком сценарии, у GigaChat Max — в 30 раз.
• Бесплатный пакет GigaChat для физлиц (25M токенов Max на год) покрывает лёгкий сценарий примерно на 1,3 месяца — хватит для эксперимента, но не для эксплуатации.

Как снизить расход

P4Сравнительный эксперимент качества

Десять контрольных задач из реальной работы веб-инженера-исследователя, три модели, по три прогона каждой задачи на каждой модели — всего 90 прогонов. Успех проверяет код, а не модель-судья и не автор на глаз. Стенд: agent-lab/p4/.

Контрольные задачи

Веб-фикстуры опубликованы на этом сайте (vps-plans, changelog) и закрыты от индексации. Файловые фикстуры копируются в контейнер агента в /opt/data/p4. Правильные ответы известны заранее или вычисляются из фикстур.

Модели

Процедура

• Каждый прогон — отдельная одноразовая сессия: hermes -z "<задача>" --provider … --model … --usage-file …. Из отчёта --usage-file берутся токены (с учётом вспомогательных вызовов), число вызовов API (= шаги) и оценка стоимости. Время измеряется по часам.
• Перед каждым прогоном память и навыки откатываются к снимку. Агент не учится между повторами, и третий прогон не получает подсказок от первого.
• Порядок — повтор → задача → модель. Колебания нагрузки у провайдеров во времени распределяются по всем моделям поровну.
• Таймаут 10 минут: превышение считается зацикливанием. Пустой ответ — преждевременная остановка. Все URL в ответе проверяются запросом; неоткрывающиеся помечаются как выдуманная или битая ссылка.
• Ложные и непроверяемые утверждения размечаются вручную в annotations.json по тексту ответа, без оглядки на автоматический вердикт.
• Стоимость считается по токенам и прайсу из models.json в рублях. Для локальной модели токены бесплатны, её стоимость — железо и электричество; она обсуждается отдельно.

Результаты

Итоги и выводы

Выводы предварительные: протокол выполнен как пилот, по одному прогону на ячейку «модель × задача», поэтому разброс по повторам не измерен.

Стоимость одной успешной задачи

Задача T07 (подсчёт IP и ответов 5xx в журнале nginx) — единственная, которую прошли все три модели. Цены — по прайсу шлюза llms.dotpoin.com; колонка OpenRouter — тот же расход токенов по цене DeepSeek на OpenRouter.

• Стоимость определяют шаги и кэш, а не цена токена. Qwen 9B — самая дешёвая модель за токен ($0,2), но на той же задаче сделал 7 шагов вместо 5, а в кэш у него попало 16 % входа против 98 % у DeepSeek. В итоге он прочитал в 5 раз больше токенов и вышел самым дорогим за успешную задачу, к тому же в 10 раз медленнее. Это подтверждает модель стоимости из T2: главные рычаги — число шагов n и доля кэша h.
• GLM-5.3 Flash — самый дешёвый за успех (1,90 ₽), но вдвое медленнее DeepSeek.
• Провайдер важнее модели. Тот же прогон DeepSeek через OpenRouter стоил бы около 0,20 ₽, в 16 раз дешевле, чем через перепродавца.

Какая модель для какого класса задач

Наблюдавшиеся отказы

• В четырёх прогонах протокола зацикливания, преждевременной остановки, выдуманных ссылок и неверных вызовов инструментов нет. Все ответы засчитаны проверкой, единственная ссылка открывается.
• Отклонённый вызов инструмента с восстановлением (cron, проверки задания 2). Агент попытался выполнить скрипт через -c и получил отказ «BLOCKED: Command flagged as dangerous… cron jobs run without a user present to approve it». После этого он сам нашёл другой путь и дописал строку в monitoring.csv.
• Различие режимов по безопасности. В одноразовом режиме -z агент выполнил rm -rf без подтверждения, а в cron такая же команда блокируется. Это не ошибка модели, а свойство режима: защитой от опасных команд здесь служит изоляция контейнера.
• Сбой стенда, а не агента. В прогоне T06 отчёт --usage-file не записался: каталог был создан от root. Шаги и токены восстановлены из журнала сессий Hermes (state.db, таблица sessions). Ошибка исправлена в run.mjs.

Оценка полного протокола

По стоимости T07 полный протокол (10 задач × 3 повтора) обошёлся бы примерно в 100 ₽ для DeepSeek, 57 ₽ для GLM и 185 ₽ для Qwen — около 340 ₽ на три модели. Это нижняя граница: задачи с загрузкой веб-страниц (T01, T05, T08) добавляют в контекст тысячи токенов на шаг. Через OpenRouter часть DeepSeek стоила бы около 6 ₽. Стенд готов: node run.mjs --resume досчитает недостающие прогоны, и таблицы на странице обновятся из results.json.

Ограничения эксперимента

• Малая выборка. 3 прогона × 10 задач на модель — это 30 исходов. 95-процентный доверительный интервал для доли успехов 0,7 на 30 прогонах — примерно ±0,16. Разница в 10–15 п. п. между моделями статистически не различима. Выводы — о порядке величины, а не о рейтинге.
• Смена модели у провайдера. Идентификатор вроде deepseek-v4-flash может указывать на разные снимки, а OpenRouter может маршрутизировать запросы к разным хостерам с разной квантизацией. Фиксируются дата прогона, по возможности датированный идентификатор модели и digest образа Hermes.
• Нестационарность внешнего мира. T05 зависит от текущих версий пакетов, задачи с поиском — от выдачи поисковика в момент прогона. Поэтому проверка T05 сверяется с реестром npm сразу после прогона, а не с заранее записанным ответом.
• Строгость и субъективность критериев. Автоматические проверки ищут конкретные признаки: правильный по сути ответ в неожиданной форме может быть засчитан как неуспех, и наоборот. Неуспехи просматриваются вручную, расхождения отмечаются в annotations.json. Разметка ложных утверждений субъективна по определению.
• Агент, а не модель. Измеряется связка «Hermes + модель»: системный промпт, набор инструментов и формат вызовов у всех моделей одинаковы, но разные модели по-разному с ними совместимы. Плохой результат может означать плохую совместимость с форматом инструментов Hermes, а не слабую модель.
• Нет отечественной и по-настоящему локальной модели. Все три модели работают через один шлюз llms.dotpoin.com. Qwen3.5 9B — малая открытая модель того класса, что запускают локально на GPU с 8–16 ГБ, но здесь она работает удалённо, поэтому её время ответа не равно локальному. GigaChat 2 Max (контекст 128K, вызов функций есть) в прогон не вошёл: нет ключа API. Бесплатного пакета для физлиц (25M токенов Max) хватило бы на весь эксперимент — это следующий шаг.