Автоматизация бизнес-процессов с ИИ: как проверить

Проверку автоматизации с ИИ начните с трёх вещей: задача завершилась, данные пришли полностью, результат сверили с независимым источником. Полученный от нейросети текст тоже проверяйте по исходным данным.

Наш утренний отчёт собирает обычный скрипт. Три утра подряд он приходил вовремя и показывал обвал. За 13 октября Метрика дала 8 визитов из поиска, аналитика сайта 141 посетителя из поиска. Когда мы дали Claude только цифры Метрики, один из двух ответов добавил падение прямых заходов, которых в сводке не было. Те же проверки подходят к заявкам в CRM и оплатам.

Как устроен утренний отчёт

Запуск скрипта на ноутбуке назначен на 9:00. Сейчас он берёт из аналитики сайта три числа за вчера: людей из поиска, всех посетителей и читателей блога. Сравнивает с тем же днём неделей раньше. Изменения помечает цветом, отсутствие данных белым кружком.

Журнал отмечает запуск каждое утро с 10 сентября по 14 октября. Но строку «sent» скрипт пишет сразу после вызова Telegram и ответ не проверяет. 18 сентября у ноутбука не было связи с интернетом: скрипт записал отказ и попробовал о нём сообщить, но и это сообщение не ушло. Утро прошло молча, след остался только в журнале ошибок.

Три утра ложной тревоги

С 11 октября цифры Метрики резко разошлись с аналитикой сайта. Тогда отчёт брал посещаемость из Метрики. Сводка за 13 октября пришла 14-го в 9:00:

Защита от сбоя была: ответ с ошибкой превращался в «нет данных» и белый кружок. Но Метрика ошибки не вернула. Пришёл обычный ответ с маленьким числом, и защита промолчала.

Аналитика сайта, где каждый просмотр записывает сам сайт, насчитала за 11 октября 124 человека, из поиска 118. Журнал веб-сервера показал 91 тысячу запросов без серверных ошибок. При проверке тег Метрики загружался и отправлял запрос. 14 октября мы перевели отчёт на аналитику сайта: этот источник мы держим сами.

Проверка отчёта после смены источника

Мы без сети повторили расчёт на сохранённых обезличенных суммах Метрики. Получились те же три красные строки. Затем запустили новую версию отчёта за тот же день, без отправки в Telegram. С данными сайта она показала рост:

Пустой ответ вместо ошибки

Пока мы готовили статью, нашёлся второй вид сбоя. 15 октября в 03:44 Метрика вернула пустой ответ с кодом 429 («слишком много запросов»). Старая версия отчёта в пробном запуске нарисовала три жёлтых кружка без чисел. Защита искала в ответе поле с ошибкой, а в пустом ответе полей нет.

Новая версия принимает от аналитики сайта только ответ из шести чисел: три за вчера и три за неделю назад. Пустой или неполный ответ становится «нет данных».

Как сверить два источника данных

Резкое падение может быть связано и с трафиком, и с его учётом. Второй источник покажет расхождение; причину проверяют отдельно. Мы сравнили дневные визиты Метрики с людьми по аналитике сайта за семь дней. В обычные дни отношение Метрики к сайту держалось от 0,97 до 1,48: Метрика считает визиты, а человек может зайти дважды. С 11 октября оно упало до 0,10 и ниже.

Правило «отношение ниже 0,5 или выше 2: строку не красить и писать „источники расходятся“» отделило оба дня расхождения от пяти обычных. Семи дней для точного порога мало, граница взята грубо. В рабочий отчёт сверка не встроена: с 14 октября он читает один источник.

Где здесь ИИ

Мы проверили, что добавит к отчёту Claude (Opus 5.5). В первом условии модель получила только цифры Метрики, во втором к ним добавили аналитику сайта. Просили три-пять предложений: что произошло и что делать. На каждое условие получили два ответа без поиска в интернете, около $0,03 за ответ по тарифам API.

С одной Метрикой оба ответа начали с падения примерно на 93 % и заподозрили, что упал сайт или пропал счётчик. Полезное тоже было: оба посоветовали сверить Метрику с журналом сервера, то есть найти второй источник.

С цифрами аналитики сайта оба ответа сразу написали, что трафик не упал. Причину оба искали у нас: счётчик пропал из шаблона или его блокирует баннер cookies. Ни один из четырёх ответов не предложил проверить состояние самого сервиса Яндекса.

Числа и сверку источников стоит считать кодом. Нейросеть может написать пояснение, но её числа и утверждения нужно сравнить с исходной сводкой. Причину сбоя подтверждают отдельно. Что отдавать агенту, разобрано в статье про ИИ-агента для бизнеса.

«Включено» ещё не «работает»

В реестре включены пять задач для Claude: недельная сводка аналитики, проверка позиций в выдаче, поиск площадок для ссылок и другие. По заданию каждая должна записать завершение в журнал. При ручной проверке скрипт сопоставляет эту запись со стартом.

15 октября сверка показала: по записям планировщика три задачи ни разу не стартовали, две последний раз стартовали 13 августа. Причина не в модели. Задачи запускает настольное приложение Claude, а оно с 13 августа не открывалось. О пропущенных запусках нам никто не сообщил. 6 сентября мы уже находили молчащие задачи, перенастроили их и не проверили первый запуск.

Сторож, который ждёт запись о завершении к сроку и пишет в Telegram, должен жить на другой машине: оба наших тихих сбоя случились на одном ноутбуке. Его логику мы проверили на копиях журнала, а отказ Telegram получили заведомо неверным ключом бота:

С прежней отправкой сторож поверил ложной записи «sent», с исправленной увидел отказ Telegram. Пропуск запуска мы имитировали на копии журнала. Пока сторож печатает предупреждения в терминал; на другой машине он ещё не запущен.

Пять проверок для своей автоматизации

1. Найдите, где записывается завершение. Если такой записи нет, добавьте её последним шагом: дата, время, итог одной строкой.
2. Сравните за месяц расписание, старты и записи о завершении. Настройте проверку пропусков на другой машине и убедитесь, что она присылает предупреждение. После починки проверьте первый результат.
3. Записывайте успешную отправку только после подтверждения от принимающего сервиса. Если важна доставка человеку, проверяйте её отдельно.
4. Посмотрите, что процесс делает с пустым ответом. Он должен становиться «нет данных»: ноль и «без изменений» здесь врут. Если вывод пишет ИИ, найдите в исходных данных подтверждение каждому его утверждению.
5. Сверьте главное число со вторым источником за тот же период: заявки в CRM с письмами формы, оплаты в учёте с выпиской банка. Разберите расхождения по отдельным записям: одинаковые итоги могут скрывать пропуск и дубль.

Если автоматизацию делал подрядчик, перешлите ему список: по каждому пункту он должен показать, где это видно. В n8n зелёная отметка запуска тоже данные не проверяет, пример с телефоном есть в статье про n8n. Заявки в amoCRM и Битрикс24 мы сверяем в аудите CRM.