От чат-бота к Claude Tag: как мы встраиваем агентов в работу Цельса

Борис Чёрный, один из создателей Claude Code, выкатил пост с пятью уровнями внедрения ИИ в компании:

  • Gated - доступа к ИИ нет или ограничений слишком много для нормальной работы (скажем, только локальные модели)
  • Assisted - человек и ИИ-агент работают как напарники, люди ставят задачи, активно наблюдают за процессом и проверяют результаты вручную
  • Parallel - здесь человек уже выходит на уровень оркестрации нескольких агентов и активно пользуется фичами типа авто-режима или управления агентами со смартфона
  • Supervised autonomy - на этом уровне весь код уже пишется агентами, и часть задач они уже даже подхватывают проактивно
  • AI-native - агенты запускают десятки и сотни других агентов, люди работают на стратегическом уровне

Переход на каждый следующий уровень требует как изменений инженерной культуры и подходов к работе, так и добавления нужного инструментария. Сегодня хочу рассказать о наших первых шагах от Parallel к Supervised autonomy: общем агенте для всей команды и ИИ-дежурном, который сам подключается к расследованию инцидентов.

Общий ИИ-агент в Mattermost

На прошлой неделе очень захотелось затащить в Маттермост аналог Claude Tag. Причины две:

  • Кодинговыми агентами сейчас пользуются только технари, а у менеджеров есть доступ только к очень ограниченным инструментам типа OpenWebUI или ChatGPT, у которых нет доступа к данным компании
  • Такой ассистент может значительно облегчить жизнь и инженерам - даже в TUI не надо заходить, просто задавай вопросы прям из мессенджера

Реализация достаточно простая:

  • На сервере в офисе запущен сервис, который мониторит Маттермост на предмет вызова бота
  • Если найден вызов, создаётся сообщение-заглушка “смотрю”
  • Запускается новая сессия агента, в контекст которой подаётся весь тред
  • У агента есть доступ к базе знаний о компании, которую он сам пополняет в ходе своей работы
  • Основной рабочий инструмент - это MCP-реестр, в котором есть куча инструментов. Можно посмотреть статистику в БД, прочитать логи из ELK, заглянуть в правильный кубик-кластер, сходить в Маттермост, посмотреть код и многое другое. Большинство инструментов работают только на чтение. Из write-действий пока разрешено лишь создание пулл-реквестов в отдельной ветке.

Скажем, если мы спрашиваем, почему не обработалось то или иное исследование, агент может пройти весь путь:

  • найти исследование в БД и посмотреть текст ошибки
  • свериться с этапами обработки
  • проверить состояние подов в кластере
  • заглянуть в код нужного проекта
  • изучить анонимизированные теги снимка
  • собрать все улики в вывод

По итогу знания агента и результаты его работы шарятся между всеми сотрудниками.

Пример работы общего ИИ-агента

Как ИИ-помощника уже используют

Бота уже затестили более 10 человек, суммарно накопилось 90 обращений в 16 каналах. Основные сценарии такие:

  • Расследование инцидентов и ошибок обработки
  • Статистика по клиентам и модальностям
  • Поиск по коду, документам и истории сообщений
  • Построение графиков
  • Напоминалки в тредах

Раньше даже простой ответ на вопрос о причинах ошибок на одном из клиентов занял бы у инженера от 5 до 30 минут и отвлёк бы от задачи. Сейчас менеджер может самостоятельно получить нужную информацию.

Чтобы люди знали, на что бот способен, я сам активно в разных тредах зову ИИ, да и в целом это реально удобно и экономит кучу времени.

ИИ-дежурный

Иногда есть ситуации, когда не хочется самому звать агента, а было бы неплохо, чтоб он действовал проактивно. Самый простой пример такой ситуации - это инциденты. Когда в Маттермосте появляется новый инцидент, ИИ-дежурный сам начинает расследование, проверяет статистику, логи, метрики, инфру, перепроверяет гипотезу из карточки инцидента и публикует вердикт, улики и рекомендуемое действие. Финальное решение и действия пока за человеком.

Пример работы ИИ-дежурного

На данный момент ИИ-дежурный подготовил уже 54 автоматических расследования, и почти во всех случаях точно локализовал причину или верно сделал вывод о ложности алерта.

Где мы сейчас?

Само собой, скакать галопом по уровням AI Adoption не стоит, если вы не позаботились о базовой безопасности. У нас это решается несколькими способами:

  • Общий MCP-сервер с рид-онли или очень ограниченными правами
  • Явный список разрешённых команд через Bash
  • Sandbox включен на уровне организации
  • Все данные в БД хранятся в анонимизированном виде
  • При пополнении базы знаний есть отдельный шаг, который делает финальную проверку, что в базу не попадёт никакая чувствительная информация
  • Все запросы в облако проходят через LLM Proxy, который маскирует секреты или персональную информацию или блокирует такие сообщения

Вряд ли нас пока можно назвать AI-native компанией, где рои агентов сами находят себе задачи и работают в полностью замкнутом цикле. Но мы уже точно вышли за пределы сценария, где один человек сидит и общается со своим чат-ботом, у которого нет безопасных доступов к нужным данным. Сейчас я хочу сделать небольшую паузу, последить за тем, как сотрудники используют ИИ-агента, какие ошибки он делает, каких инструментов не хватает.

Главный вывод пока довольно прост - чтобы превратить ИИ в полноценного члена команды, недостаточно просто запустить мощную LLMку. Нужно дать агенту безопасные доступы к данным, обеспечить наблюдаемость размышлений агента для дебаггинга, научить агента накапливать контекст и учитывать обратную связь. Ведь ошибки, конечно, тоже встречаются. Например, агент может довериться устаревшей документации или собрать правдоподобную, но неверную цепочку причин и следствий. Лечится по-разному - в частности прямо в треде можно указать ему на ошибку, и он запишет инфу в свою базу знаний.

В перспективе, конечно, мы хотим двигаться от пассивного расследователя/помощника к проактивному ассистенту, который может сам закрывать несложные задачки и чинить баги. Но перед этим нужно собрать побольше данных и продумать, какие ещё меры по безопасности стоит добавить. Например, скорее всего, придётся продумать систему ролей в базе знаний.