Прозрачные метрики вместо миллионных гаданий: зачем бизнесу маркетплейс ИИ-агентов

Мик Вайсман CEO платформы AI-агентов WaiWai

Текущий ландшафт агентного ИИ

В WowUni мы обучаем корпорации внедрению ИИ в разных сферах — финансы, продажи, рекрутмент, маркетинг, логистика. По нашим наблюдениям, из-за новизны решений и отсутствия единого бенчмарка в компаниях часто не понимают, что конкретно внедрять. При этом, как уже писал TAdviser, агентный ИИ стал одним из самых обсуждаемых направлений в корпоративной сфере. Уровень проникновения агентного ИИ для кодирования Lovable и Cursor в американских корпорациях всего за полгода (с декабря по май) вырос с 50% до 82%, пишет Business Insider.

В упрощенном виде ИИ-агент — это программа-помощник, которая умеет не только отвечать на вопросы, но и выполнять полезные действия. ИИ-агент — это не просто абстрактный чат-бот, а связка: модель + инструкция + инструменты. Именно эта комбинация превращает ИИ-агента из пассивного собеседника в исполнителя, способного автономно решать задачи. Модель обеспечивает понимание контекста и генерацию решений, инструкция задает роль, поведение и границы допустимых действий, а инструменты дают ему «руки» для работы с внешними системами — будь то отправка email, создание тикета в Service Desk или заказ пиццы. Павел Рыков

Например, GitHub Copilot Reviewer, Cursor BugBot Agents, CodeRabbit, а также перспективные Graphite, Cline и Greptile дают компаниям серьезное конкурентное преимущество, ускоряя создание цифровых продуктов. В России их используют с ограничениями из-за их иностранного происхождения, особенно в корпоративном сегменте.

По нашему опыту, проблемы у российских компаний типичны: разрозненность инструментов, сложность внедрения решений в уже устоявшуюся инфраструктуру, отсутствие прозрачных метрик для оценки эффективности ИИ. Накладываются и локальные особенности: необходимость понимания языковыми моделями российского бизнес-контекста и строгое соблюдение законодательства о защите персональных данных.

Россия закономерно славится талантливыми разработчиками. Уже сейчас они создают множество эффективных AI-агентов. Появление единой национальной платформы для их размещения — маркетплейса — станет катализатором взрывного роста, аналогичного тому, что пережила индустрия мобильных приложений после запуска App Store. Изобилие AI-решений быстро перерастет в качество. При этом маркетплейс должен соответствовать жестким требованиям к безопасности, конфиденциальности и защите интеллектуальной собственности.

Рынок пока на старте, но интерес к ИИ-агентам огромный. Готовы не все, однако многие компании уже на этапе активного тестирования. Первыми подключаются банки, ритейл, телеком и даже отдельные структуры госсектора. Иван Юницкий

В целом, российский рынок к внедрению ИИ готов. У нас достаточно зрелое ИТ, но есть нюансы. Внутри страны мало больших языковых моделей, отсюда возникают ограничения: либо из-за попыток работать «с тем, что есть», без использования передовых мировых или хотя бы китайских подходов, либо из-за рисков блокировок, нарушения положений «закона Яровой». Преодолевать эти ограничения проще небольшим и малозаметным игрокам, которые могут позволить себе рисковать, двигаясь быстро. Именно там мы видим максимальную перспективность применения ИИ. Павел Хмелинский

Готовность российского рынка к внедрению ИИ-агентов крайне неравномерна. Есть компании-лидеры, уже активно экспериментирующие с ИИ, но их меньшинство. В больших корпорациях и банках внедрение инициируется «сверху»: оно становится корпоративным стандартом, и ты либо внедряешь и пользуешься, либо уходишь. Но есть и скептики: одни боятся повторить неудачные опыты, другие слишком завышают ожидания и быстро разочаровываются. Самая высокая готовность — в сферах с большими объемами рутинных задач: банки, телеком, ритейл, страхование. Дина Попова

Сложно говорить, про весь рынок, так как он внутри очень разнообразен. В основном в вопросах цифровизации наиболее продвинуты компании с большими ресурсами — банки, телеком, ритейл и производственные отрасли. Им внедрение AI-агентов дается проще, ведь у них есть данные и процессы, с которыми можно работать. Андрей Грабарник

Главные задачи платформы ИИ-агентов

Ситуация c AI-агентами сегодня напоминает времена мобильных приложений до появления App Store. Тогда рынок был фрагментирован, а приложения внедрялись сложно. Сегодня та же проблема: изобилие инструментов, целый зоопарк решений, но нет единой платформы. Маркетплейс должен стать местом, где можно собрать команду агентов под конкретные бизнес-задачи или личные нужды.

Единая площадка по образцу сторов для мобильных приложений создаст конкурентную и прозрачную среду. Станут понятны стоимость и реальная польза. Сегодня разброс цен на внедрение ИИ огромен: от 12 млн до 200 млн рублей. У корпораций это вызывает растерянность и недоумение: необходимость внедрять технологии очевидна, но решение о том, какой агент нужен и как интегрировать его в существующую инфраструктуру, принять крайне сложно.

Идея подобного маркетплейса кажется логичной и востребованной. Но реализовать проект такого масштаба смогут лишь крупные поставщики нейросетевых решений. Здесь вопрос не столько в технологиях, сколько в готовности инвестировать в экосистему Павел Рыков

Платформа ИИ-агентов задумана как централизованный гарант качества и измерения эффективности. Для этого можно использовать специализированные метрики:

1. LLM as a judge — автоматическая оценка ответов агентов по предзаданным датасетам;
2. Human in the loop — экспертная оценка ответов специалистами из организации.

Оба метода уже доказали свою эффективность. Например, я создал «агента, который судит агентов» на хакатоне ETH Global в Брюсселе, и это решение заняло первое место. Таким образом можно оценивать не только LLM, но и самих агентов, создавая своего рода компас для бизнеса.

Сейчас наступает эра гиперспецифичных агентов. Для создания ИИ-агента в определенной отрасли, недостаточно уметь «просто кодить»: нужна в том числе высокая отраслевая экспертиза. Разработчик ИИ-агентов для сбора урожая должен провести много времени на посевных где-нибудь в Ростове, прежде чем советовать агрофирмам, как вести бизнес. Маркетплейс позволит специалистам с экспертизой в узких областях создавать и легко публиковать ИИ-агентов, монетизируя уникальные знания.

Инструменты и эффективность: разработка и оценка ИИ-агентов

Успех платформы зависит от мнения двух сторон: бизнеса, который должен получать измеримый результат, и разработчиков, которым должно быть легко и удобно работать.

Например, в Альфа Банке и ГК «Самолет» мы обучали как создавать своих ИИ-агентов. У корпораций возник вопрос — как сделать единую точку входа, создавать и использовать ИИ агентов безопасно. И главное, какие бенчмарки вводить?

Маркетплейс должен позволять запускать агентов в безопасной изолированной среде в контуре организации. Для разработки агентов нужен SDK как для инженеров, так и для специалистов в своих областях, но без навыков программирования. Также SDK может самостоятельно выбирать подходящую модель под ту или иную задачу, в том числе применяя кастомные модели и улучшенные версии open source моделей, дообученные на русских текстах.

На платформе нужно интегрировать как глобальные MCP, так и локальные. Т.е можно интегрировать агентов и ПО от почты, до Jira.

Так разработчики могут создавать агента на привычном языке, не заботясь о памяти и файнтюнинге. Собирав логику агента, его легко подключить через админ-панель. Главное — комфортная среда и привычные инструменты.

Что касается оценки эффективности ИИ-агентов, то большинство экспертов рекомендуют использовать классические бизнес-метрики. Кроме этого можно внедрить возможность оценивать ИИ-агентов с помощью ИИ.

Когда мы внедряли агента для продаж билетов для конференций Ontico, то метрикой эффективности стало повышение конверсии. Она выросла в 2.21 раза. В случае со студией разработки Kodix, где продавался сложный b2b продукт, главные показатели — охваченные контакты и выходы на встречи с потенциальными клиентами — 2970 и 12 соответственно. Также мы разрабатывали AI-агента для рекрутмента специалистов редких профессий в крупный банк. Главными метриками выступили не только количество закрытых вакансий за месяц — 27, но и сэкономленное время HR-менеджеров на процесс рекрутмента — 48%.

Если про эффективность в целом, на уровне компаний или даже отраслей, то метрики эффективности ИИ должны быть те же, что и для бизнеса в целом: заработанные или сэкономленные деньги, структура расходов. Например, даже если денег больше не стало, но вместо 50% трат на ручной труд теперь тратим 20% на ручной и 30% на ИИ — это успешная автоматизация. А иногда речь идет не об экономии, а о возможности делать то, что раньше сделать было невозможно. В этом случае расходы могут даже вырасти, но и отдача — тоже». Борис Цейтлин

Все зависит от задачи. Метрикой может быть скорость обработки обращений, снижение ошибок, рост продаж или просто экономия времени сотрудников. Можно использовать те же метрики, которые измерялись до внедрения ИИ, — часто это хороший подход для качественного аудита и оценки эффективности». Иван Юницкий

Метрики эффективности ИИ — это те же бизнес-KPI, что и всегда: GMV, EBITDA, рост продаж. Важно проверять, действительно ли улучшения связаны с внедрением ИИ, используя инструменты тестирования гипотез. Павел Хмелинский

Главные метрики эффективности — это экономия или прирост дохода, улучшение процессов и коммуникаций, а также готовность к будущему. Даже если эффект в моменте невелик, внедрение ИИ создает фундамент для дальнейшего роста и конкурентоспособности. Дина Попова

Важной метрикой является изменение производительности труда. Например, когда у сотрудников появляется ИИ-ассистент, который выполняет часть работы, или когда отдельные позиции целиком автоматизируются за счет ИИ. Но конечным ключевым показателем эффективности является финансовый результат — насколько решение помогло компании сэкономить или заработать. Андрей Грабарник

Локализация — конкурентное преимущество

Задача разработчика — взять на себя сложную работу по доработке LLM под местные особенности: от стиля общения до строгого соблюдения 152-ФЗ (закона о персональных данных).

Хороший пример того, как можно создать востребованный продукт, не конкурируя напрямую с лидерами — опыт французской LLM Mistral. Эта не самая мощная модель нашла свою нишу, полностью соответствуя европейским регуляторным нормам (GDPR), позволяя хранить данные внутри ЕС и, будучи обученной на французских текстах, лучше понимает локальный контекст.

Для российского бизнеса критичен не столько перевод интерфейса, сколько возможность легального и надежного размещения ИИ-сервисов внутри страны. Многие западные решения недоступны по лицензии или не могут работать на российских серверах. Пока внедрения точечные, компании часто закрывают глаза на формальные нарушения и используют зарубежные сервисы через прокси. Но с ростом масштабов и ужесточением государственного регулирования критичность локализации превысит все остальные барьеры. Дина Попова

Каким должен быть маркетплейс

Чтобы ИИ-маркетплейс стал востребованным и эффективным инструментом, он должен отвечать ряду ключевых требований.

1. Простота в использовании и установке. Интерфейс маркетплейса должен быть интуитивно понятным для нетехнических пользователей. Это может быть, например, мессенджер или браузер. Не нужно заставлять «нетехнаря» открывать Cursor и писать код. Настройка должна осуществляться текстовыми командами. Агенты должны с единой локальной памятью организации, обучаться на внутренних данных компании и обмениваться контекстом между собой.
2. Техническая безопасность. Она может быть обеспечиваться через:
   1. Собственный guardrails — систему фильтров и правил безопасности;
   2. Гарантию конфиденциальности — приватные данные компании не должны попадать к разработчикам агентов.
   3. Двухуровневое ревью: автоматическое и ручное (по аналогии с App Store).
3. Независимость. Пользователь не быть привязан к одной LLM, будь то OpenAI, Т-Банк, Яндекс или Сбер. Важно сохранять возможность выбирать лучшие решения под каждую задачу.

В результате рынок ИИ-агентов станет более прозрачен и доступен. Для бизнеса это означает быстрый выбор проверенных решений с понятной ценой и метриками эффективности, а для разработчиков — возможность сосредоточиться на создании специализированных агентов, не тратя ресурсы на продажи и интеграцию. Такой эффект может запустить массовое внедрение ИИ в компаниях и вывести отечественный рынок на новый уровень зрелости.