Когда ИИ должен остановиться и спросить человека — и почему «уточните требования» не вопрос
Разбираем, по каким поводам ИИ обязан прервать разбор и обратиться к человеку, почему «спрашивай, когда не уверен» не работает как правило, каким должен быть вопрос, чтобы на него можно было ответить, и как у нас однажды молча пропали все вопросы.
Разбор идёт двадцать минут, и вдруг останавливается. На экране вопрос:
В спецификации указана марка утеплителя, которой нет ни в одном из приложенных листов. Продолжать, считая её равной ближайшему аналогу из ведомости, или дождаться недостающего листа?
Первая реакция обычно раздражённая: я заплатил за то, чтобы машина работала сама. Вторая, если подумать, — другая. Альтернатива этому вопросу не «машина справилась сама». Альтернатива — машина молча выбрала одно из двух, не сказав какое.
Это статья о том, где проходит граница между «ИИ решает сам» и «ИИ обязан спросить», и почему провести её оказалось сложнее, чем кажется.
Вопрос выглядит как заминка, но сравнивать его надо не с идеальным разбором, а с молчаливым выбором.
Почему «спрашивай, когда не уверен» не работает
Самое очевидное правило — «пусть спрашивает, когда не уверен» — не работает, и по причине, которую мы уже разбирали: модель не умеет измерять собственную уверенность. Число, которое она называет в ответ на «насколько ты уверена», — это ещё один сгенерированный токен, а не измерение.
Из этого следует неприятное: порог «спрашивай при уверенности ниже такой-то» настроить невозможно — настраивать нечего. Практика даёт два вырождения, и оба мы видели.
Порог слишком низкий — ИИ спрашивает обо всём. Каждая неоднозначность превращается в вопрос, разбор рассыпается на два десятка уточнений, и человек тратит на них больше времени, чем потратил бы на самостоятельную проверку. Инструмент, требующий сопровождения на каждом шаге, не экономит ничего.
Порог слишком высокий — ИИ не спрашивает никогда. И тогда он делает то, что языковые модели делают по умолчанию: заполняет пробел правдоподобным. Не из злого умысла — просто продолжение текста всегда находится, а «здесь данных нет» продолжением не является.
Значит, повод остановиться должен быть структурным, а не эмоциональным. Не «мне кажется, я не уверена», а «вот конкретное условие, при котором двигаться дальше нельзя».
Три повода остановиться — и один, которого быть не должно
Условий, при которых разбор обязан прерваться, оказалось три.
Первое: ответа физически нет в предоставленных документах. Спецификация ссылается на лист, которого нет в комплекте. Расчёт опирается на величину, которая нигде не приведена. Здесь важно не перепутать: «данных нет» — это не то же самое, что «я не смогла найти». Разница между ними и есть предмет проверки, а не повод для вопроса; о том, как отличить одно от другого, мы писали отдельно. Вопрос уместен, когда отсутствие показано, а не предположено.
Второе: два источника противоречат друг другу, и ни один не старше. План говорит одно, разрез другое, и в комплекте нет ничего, что делало бы один из них главнее. Машина может показать противоречие — но выбрать между двумя равноправными документами она не вправе: это уже не чтение, а проектное решение.
Третье: развилка не техническая, а хозяйственная. «Считать по СП или по заданию заказчика, если они расходятся» — вопрос не про документ, а про то, как вы договорились с заказчиком. У машины нет доступа к этой договорённости, и придумывать её она не должна.
А вот повод, которого быть не должно: «на всякий случай». Вопрос, заданный ради подстраховки, выглядит ответственно, но по сути перекладывает работу обратно на человека. Здесь тот же соблазн, который мы описывали у проверяющей роли: объявить задачу нерешаемой безопаснее, чем решить её. Разница в том, что теперь за эту безопасность платит не отчёт, а чужое время.
Повод остановиться должен быть проверяемым условием, а не ощущением модели.
Вопрос, на который нельзя ответить, — не вопрос
Правильный повод — половина дела. Вторая половина в том, как вопрос сформулирован, и здесь языковые модели по умолчанию ведут себя плохо.
Модель, которую попросили задавать вопросы, охотно выдаёт вежливые формулы: «рекомендуется уточнить требования к отделке», «просьба предоставить дополнительные сведения». На такое нельзя ответить. Непонятно, что именно спрашивают, какие есть варианты и что изменится от ответа.
Работающий вопрос устроен иначе, и в нём три обязательные части:
- Что конкретно неизвестно — с адресом: лист, строка, величина. Не «есть неоднозначность в спецификации», а «в позиции 14 указана марка, которой нет в ведомости».
- Какие есть варианты — по возможности готовым списком. Отвечать выбором из двух пунктов занимает секунды; отвечать свободным текстом на неясный запрос — нет.
- Что изменится от ответа — «если ближайший аналог, расчёт объёмов пойдёт по нему; если ждём лист, эта часть разбора останется незакрытой». Человек должен понимать цену своего выбора, а не угадывать её.
Проверить формулировку легко: прочитайте вопрос вслух и попробуйте ответить одним предложением. Если не получается — это не вопрос, а перекладывание ответственности, оформленное вежливым текстом.
«Уточните требования» — это не запрос информации, а просьба сделать работу за машину.
Как у нас пропали вопросы — и мы этого не заметили
Теперь неприятная часть.
В какой-то момент вопросы перестали задаваться. Не «стало меньше» — исчезли совсем, на всех типах разбора сразу. Ничего при этом не сломалось: разборы шли, отчёты формировались, ошибок в логах не было.
Причина оказалась в одной строчке инструкции. Модели было сказано: прежде чем задать вопрос, зафиксируй текущий прогресс — и дальше назывался конкретный способ это сделать. На части разборов такого способа физически не существует: там другой набор инструментов. Условие стало невыполнимым, а раз предварительное условие невыполнимо, то и действие невозможно. Модель добросовестно перестала задавать вопросы везде.
Самое поучительное здесь не сама ошибка, а то, почему её не было видно. ИИ, который перестал спрашивать, выглядит ровно как ИИ, которому нечего спросить. Отсутствие вопросов не выглядит поломкой — оно выглядит как гладкая работа. Мы какое-то время считали, что разборы стали чище.
Отсюда правило, которое мы вынесли и которое шире нашего продукта: у любой функции, проявляющейся редко, должен быть отдельный признак того, что она жива. Не «вопросов нет, значит всё хорошо», а видимый след: функция сработала и решила промолчать — это одно состояние, функция не сработала вовсе — совсем другое. Пока их нельзя различить, вторая тихо ждёт своего часа.
Тишина не бывает свидетельством. Это два разных состояния, которые надо уметь различать.
Чего мы не утверждаем
Пауза стоит денег. Остановленный разбор ждёт человека, а человек занят. Вопрос, заданный вечером пятницы, стоит выходных; поэтому уведомления о вопросах уходят по всем доступным каналам независимо от того, как настроены остальные оповещения — если пользователь не узнает о вопросе, вся предыдущая работа просто повиснет. И по той же причине число уточнений ограничено: разбор, который спрашивает бесконечно, не разбор.
Ответ должен продолжать работу, а не начинать её заново. Первая версия паузы теряла уже проделанное, и после ответа модель перечитывала комплект с нуля — а иногда и просила приложить те же файлы ещё раз. Вопрос, обнуляющий прогресс, дороже той неопределённости, ради которой задавался.
Вопрос может устареть. Если разбор пошёл другим путём, старое уточнение теряет смысл, и хуже всего — если человек на него всё-таки ответит. Ответ на неактуальный вопрос выглядит как полноценные данные и ведёт разбор не туда.
Правильно заданный вопрос не делает вывод верным. Он лишь возвращает вам выбор, который иначе был бы сделан за вас молча. Что делать с этим выбором — по-прежнему решает человек.
Что с этим делать
Если вы оцениваете инструмент, который «сам разбирает документы», спросите две вещи.
Что он делает, когда данных не хватает? Ответ «он всегда даёт результат» — это не достоинство. Это означает, что пробелы заполняются, и вы не узнаете, где именно.
Как выглядит его вопрос? Попросите показать реальный пример. Если это «уточните требования» — вопросов как функции там, по сути, нет.
Как выглядит разбор, в котором у каждой находки есть адрес и основание, а неопределённости вынесены отдельно, можно посмотреть в открытом демо-отчёте FIBRA.
В следующей статье — про арифметику: почему все расчёты у нас считает обычный движок, а не нейросеть, и почему это не перестраховка.
Для технической аудитории: пара уточнений
- Пауза сделана на границе шага, а не в середине рассуждения. Так проще гарантировать, что состояние, к которому вернутся после ответа, целостно: прерванная на полуслове цепочка рассуждений после паузы всё равно не восстанавливается осмысленно.
- Уведомление о вопросе — единственный тип оповещения, который игнорирует пользовательские настройки каналов. Это осознанное исключение: остальные уведомления сообщают о завершившейся работе, а это — о работе, которая без ответа не завершится вообще. Единственный фильтр — подтверждён ли канал; поэтому при запуске разбора, умеющего задавать вопросы, система предупреждает о неподтверждённых.
- Уточнения не расходуют бюджет повторных попыток разбора. Иначе вопрос конкурировал бы с работой за один и тот же лимит, и модель оказалась бы наказана за то, что спросила.