ИИ‑ассистенты в Т‑Банке: как качество выросло в 1,5 раза за день без смены модели
Кейс Анны Подображных, ex-руководителя AI-ассистентов в Т-Банке: пять принципов запуска ИИ-ассистентов, от запросов настоящих пользователей до дистрибуции.
#кейс Анны Подображных, ex-Руководителя AI-ассистентов @ Т-Банк (с Live-встречи в AI Champions 13 октября)
Ключевой инсайт: за три с половиной года в Т-Банке я поработала с шестью AI-ассистентами. Главный принцип, который я вынесла: чем ниже слой, в котором ошибка, тем дороже она обходится ⚡️
1. Проверяйте ассистента на запросах настоящих пользователей в том контексте, где он будет жить
Тревел-ассистента мы проверяли на запросах сотрудников, и два месяца качество на GPT-4 не росло. После запуска в прод оно за один день выросло в 1,5 раза: сотрудники просили сложные маршруты по Европе, а обычные люди просили «подешевле летом на море».
Но и прод не гарантия. Для шопинг-ассистента мы взяли настоящие запросы из поисковой строки и получили поиск. Какая корзинка, такой и продукт.
Поэтому запросы мы собираем с настоящих пользователей в том контексте, где ассистент будет жить.
2. Ассистент ошибается, если ошибаются данные
Финансовый ассистент утверждал, что я трачу 10 000 ₽ в месяц на кофе, хотя я его не пью. Многие транзакции не покрыты чеками, и трату в «Кофемании» он записывал в кофе.
AI усиливает данные: если они плохие, то и ассистент будет плохо отвечать поверх них. А работа с данными часто занимает кратно больше времени, чем построение ассистента.
3. Хороший ответ определяет пользователь
Инвест-ассистент делал саммари того, что произошло с рынком и портфелем. Retention был около 15%, и улучшение источников и текстов его больше не двигало.
На интервью выяснилось, что людям недостаточно саммари. Им нужно понять, что это значит для них и что им делать. Мы переписали критерии качества с «рассказал, что случилось» на «объяснил, что это значит для меня», и retention вырос ещё в несколько раз.
4. Планка для запуска это уровень самого человека
В шопинг-ассистенте цель 90% мы поставили без обоснования: «Кто-то сказал, никто не возразил». Потом дали те же задачи людям, и люди тоже ошибались. Целью стал их уровень: качество такое же, а человек экономит время.
5. Сначала дистрибуция, потом продукт
Канал дистрибуции и точка входа внутри него влияют на то, что люди спрашивают у ассистента. А набор запросов влияет на то, какой продукт строить.
Ошибка в бейзлайне стоит 1-2 месяца работы, в критериях качества около квартала, в наборе запросов до полугода, а из-за ошибки в дистрибуции можно выкинуть весь продукт. Поэтому сначала мы проверяем дистрибуцию через fake door и только потом строим продукт.
Сначала спрос, потом продукт!
Анна Подображных, ex-Руководитель AI-ассистентов @ Т-Банк
Запись Live-встречи в AI Champions
P.S.
Полную запись и конспект встречи получат участники подписки AI Champions ⚡️
Полные записи встреч, конспекты и материалы спикеров получают участники подписки. Каждую неделю новая Live-встреча с практиком из бигтеха.
Подключиться к AI ChampionsЗа один день сотрудники запускают свои команды AI-агентов на реальных рабочих задачах.
Узнать программу и стоимость
