Как измерить эффективность внедрения AI в командах
Кейс из Nebius. Как измерить эффективность внедрения AI в команде? 🤔
#кейс Романа Бунина, AI Adoption Lead @ Nebius (с конференции AI SKILLS)
Главный вывод сразу: самооценка эффективности обманывает. AI внедрение надо мерить, как retention продукта ⚡️
1. Как лидировать AI adoption в компании?
У нас в Nebius есть команда AI adoption, которой я руковожу: мы раздаём людям инструменты, обучаем и собираем success stories. И отдельно есть команда агентов.
С агентами всё просто: было время и качество, стало лучше, эффект видно. А вот когда ты просто дал людям ChatGPT, Claude и Codex, померить пользу резко становится неочевидно.
Простой мысленный эксперимент: как изменилась лично ваша эффективность после того, как появились эти инструменты? Честный ответ обычно: непонятно.
2. Три слоя измерения (и почему первый врёт)
- Опросы. Спрашиваем людей, помогает ли. Беда в том, что самооценка обманчива: исследования показывают, что люди репортят рост скорости, а на практике его нет.
- Использование. Сколько сообщений, какие инструменты, кто чем пользуется. Видно реальное проникновение.
- Логи. Самый ценный слой: что люди реально писали и закрыли ли задачу. Но он недоступен: никто не хочет, чтобы читали его переписку с агентом. Так что работаем по первым двум.
3. Что реально кладём на дашборд
- Люди: Считаем, сколько людей реально пользуется инструментами: не только в абсолюте, но и в проценте от всех сотрудников в командах, потому что именно доля показывает настоящее проникновение.
- Форматы: При этом отдельно смотрим использование чат-инструментов и AI-агентов сотрудников
- Инструменты: Далее данные разделяем по провайдерам (Open AI vs Anthropic)
- Деньги: сколько тратим, в разбивке по департаментам и на человека, плюс затрата на человека как процент от его стоимости для компании.
- Тренинги и квартальные опросы: Количественная аналитика даёт срез, но топ-пользователей всё равно идём интервьюировать руками: цифры показывают что, а живой разговор показывает почему.
4. Главный трюк: смотреть на retention, а не на старт
Начал пользоваться не равно внедрил. Важно, приживается ли инструмент. Поэтому считаем по когортам (кто когда начал) и делим людей на новичков, растущих, стабильных и отваливающихся.
Сразу видно, куда бежать: где много новичков, туда дать тренинг; кто перестал пользоваться, с тем поговорить и понять причину. По сути это retention и когорты, как в продукте, только для адопшна AI.
5. Где реально больно
- Сбор данных. У каждого инструмента свой формат, нормального экспорта нет, поля меняются каждую неделю. API только появляются. Поэтому обязателен семантический слой: что за метрика, как считается и что использовать.
- И обучение. Без него внедрения не существует. Парадокс: те, кто пользуется, думают, что и все умеют, и базовые тренинги не нужны. А базовые заходят лучше всего и поднимают использование сильнее остального.
Ключевой инсайт: меряйте внедрение AI как retention продукта, а не как разовый факт «выдали доступ». И не верьте самооценкам: смотрите на использование и приживаемость по когортам, а качество добирайте живыми интервью.
Удачи с AI Adoption в ваших компаниях,
Роман Бунин, AI Adoption Lead @ Nebius
Запись выступления Романа на конференции
Канал Community Sprints про AI, growth и продукт ⚡
Полные записи встреч, конспекты и материалы спикеров получают участники подписки. Каждую неделю новая Live-встреча с практиком из бигтеха.
Подключиться к AI Champions
