Когда ИИ должен остановиться и спросить человека — и почему «уточните требования» не вопрос

Разбираем, по каким поводам ИИ обязан прервать разбор и обратиться к человеку, почему «спрашивай, когда не уверен» не работает как правило, каким должен быть вопрос, чтобы на него можно было ответить, и как у нас однажды молча пропали все вопросы.

Разбор идёт двадцать минут, и вдруг останавливается. На экране вопрос:

В спецификации указана марка утеплителя, которой нет ни в одном из приложенных листов. Продолжать, считая её равной ближайшему аналогу из ведомости, или дождаться недостающего листа?

Первая реакция обычно раздражённая: я заплатил за то, чтобы машина работала сама. Вторая, если подумать, — другая. Альтернатива этому вопросу не «машина справилась сама». Альтернатива — машина молча выбрала одно из двух, не сказав какое.

Это статья о том, где проходит граница между «ИИ решает сам» и «ИИ обязан спросить», и почему провести её оказалось сложнее, чем кажется.

Две развилки: слева ИИ выбирает молча и вы не знаете о выборе, справа останавливается и показывает развилку

Вопрос выглядит как заминка, но сравнивать его надо не с идеальным разбором, а с молчаливым выбором.

Почему «спрашивай, когда не уверен» не работает

Самое очевидное правило — «пусть спрашивает, когда не уверен» — не работает, и по причине, которую мы уже разбирали: модель не умеет измерять собственную уверенность. Число, которое она называет в ответ на «насколько ты уверена», — это ещё один сгенерированный токен, а не измерение.

Из этого следует неприятное: порог «спрашивай при уверенности ниже такой-то» настроить невозможно — настраивать нечего. Практика даёт два вырождения, и оба мы видели.

Порог слишком низкий — ИИ спрашивает обо всём. Каждая неоднозначность превращается в вопрос, разбор рассыпается на два десятка уточнений, и человек тратит на них больше времени, чем потратил бы на самостоятельную проверку. Инструмент, требующий сопровождения на каждом шаге, не экономит ничего.

Порог слишком высокий — ИИ не спрашивает никогда. И тогда он делает то, что языковые модели делают по умолчанию: заполняет пробел правдоподобным. Не из злого умысла — просто продолжение текста всегда находится, а «здесь данных нет» продолжением не является.

Значит, повод остановиться должен быть структурным, а не эмоциональным. Не «мне кажется, я не уверена», а «вот конкретное условие, при котором двигаться дальше нельзя».

Три повода остановиться — и один, которого быть не должно

Условий, при которых разбор обязан прерваться, оказалось три.

Первое: ответа физически нет в предоставленных документах. Спецификация ссылается на лист, которого нет в комплекте. Расчёт опирается на величину, которая нигде не приведена. Здесь важно не перепутать: «данных нет» — это не то же самое, что «я не смогла найти». Разница между ними и есть предмет проверки, а не повод для вопроса; о том, как отличить одно от другого, мы писали отдельно. Вопрос уместен, когда отсутствие показано, а не предположено.

Второе: два источника противоречат друг другу, и ни один не старше. План говорит одно, разрез другое, и в комплекте нет ничего, что делало бы один из них главнее. Машина может показать противоречие — но выбрать между двумя равноправными документами она не вправе: это уже не чтение, а проектное решение.

Третье: развилка не техническая, а хозяйственная. «Считать по СП или по заданию заказчика, если они расходятся» — вопрос не про документ, а про то, как вы договорились с заказчиком. У машины нет доступа к этой договорённости, и придумывать её она не должна.

А вот повод, которого быть не должно: «на всякий случай». Вопрос, заданный ради подстраховки, выглядит ответственно, но по сути перекладывает работу обратно на человека. Здесь тот же соблазн, который мы описывали у проверяющей роли: объявить задачу нерешаемой безопаснее, чем решить её. Разница в том, что теперь за эту безопасность платит не отчёт, а чужое время.

Три структурных повода прервать разбор — и один анти-повод, который выглядит ответственно, но перекладывает работу на человека

Повод остановиться должен быть проверяемым условием, а не ощущением модели.

Вопрос, на который нельзя ответить, — не вопрос

Правильный повод — половина дела. Вторая половина в том, как вопрос сформулирован, и здесь языковые модели по умолчанию ведут себя плохо.

Модель, которую попросили задавать вопросы, охотно выдаёт вежливые формулы: «рекомендуется уточнить требования к отделке», «просьба предоставить дополнительные сведения». На такое нельзя ответить. Непонятно, что именно спрашивают, какие есть варианты и что изменится от ответа.

Работающий вопрос устроен иначе, и в нём три обязательные части:

  • Что конкретно неизвестно — с адресом: лист, строка, величина. Не «есть неоднозначность в спецификации», а «в позиции 14 указана марка, которой нет в ведомости».
  • Какие есть варианты — по возможности готовым списком. Отвечать выбором из двух пунктов занимает секунды; отвечать свободным текстом на неясный запрос — нет.
  • Что изменится от ответа — «если ближайший аналог, расчёт объёмов пойдёт по нему; если ждём лист, эта часть разбора останется незакрытой». Человек должен понимать цену своего выбора, а не угадывать её.

Проверить формулировку легко: прочитайте вопрос вслух и попробуйте ответить одним предложением. Если не получается — это не вопрос, а перекладывание ответственности, оформленное вежливым текстом.

Строение работающего вопроса: что неизвестно с адресом, какие есть варианты, что изменится от ответа

«Уточните требования» — это не запрос информации, а просьба сделать работу за машину.

Как у нас пропали вопросы — и мы этого не заметили

Теперь неприятная часть.

В какой-то момент вопросы перестали задаваться. Не «стало меньше» — исчезли совсем, на всех типах разбора сразу. Ничего при этом не сломалось: разборы шли, отчёты формировались, ошибок в логах не было.

Причина оказалась в одной строчке инструкции. Модели было сказано: прежде чем задать вопрос, зафиксируй текущий прогресс — и дальше назывался конкретный способ это сделать. На части разборов такого способа физически не существует: там другой набор инструментов. Условие стало невыполнимым, а раз предварительное условие невыполнимо, то и действие невозможно. Модель добросовестно перестала задавать вопросы везде.

Самое поучительное здесь не сама ошибка, а то, почему её не было видно. ИИ, который перестал спрашивать, выглядит ровно как ИИ, которому нечего спросить. Отсутствие вопросов не выглядит поломкой — оно выглядит как гладкая работа. Мы какое-то время считали, что разборы стали чище.

Отсюда правило, которое мы вынесли и которое шире нашего продукта: у любой функции, проявляющейся редко, должен быть отдельный признак того, что она жива. Не «вопросов нет, значит всё хорошо», а видимый след: функция сработала и решила промолчать — это одно состояние, функция не сработала вовсе — совсем другое. Пока их нельзя различить, вторая тихо ждёт своего часа.

Отсутствие вопросов имеет два несовместимых объяснения, и по внешнему виду они неразличимы

Тишина не бывает свидетельством. Это два разных состояния, которые надо уметь различать.

Чего мы не утверждаем

Пауза стоит денег. Остановленный разбор ждёт человека, а человек занят. Вопрос, заданный вечером пятницы, стоит выходных; поэтому уведомления о вопросах уходят по всем доступным каналам независимо от того, как настроены остальные оповещения — если пользователь не узнает о вопросе, вся предыдущая работа просто повиснет. И по той же причине число уточнений ограничено: разбор, который спрашивает бесконечно, не разбор.

Ответ должен продолжать работу, а не начинать её заново. Первая версия паузы теряла уже проделанное, и после ответа модель перечитывала комплект с нуля — а иногда и просила приложить те же файлы ещё раз. Вопрос, обнуляющий прогресс, дороже той неопределённости, ради которой задавался.

Вопрос может устареть. Если разбор пошёл другим путём, старое уточнение теряет смысл, и хуже всего — если человек на него всё-таки ответит. Ответ на неактуальный вопрос выглядит как полноценные данные и ведёт разбор не туда.

Правильно заданный вопрос не делает вывод верным. Он лишь возвращает вам выбор, который иначе был бы сделан за вас молча. Что делать с этим выбором — по-прежнему решает человек.

Что с этим делать

Если вы оцениваете инструмент, который «сам разбирает документы», спросите две вещи.

Что он делает, когда данных не хватает? Ответ «он всегда даёт результат» — это не достоинство. Это означает, что пробелы заполняются, и вы не узнаете, где именно.

Как выглядит его вопрос? Попросите показать реальный пример. Если это «уточните требования» — вопросов как функции там, по сути, нет.

Как выглядит разбор, в котором у каждой находки есть адрес и основание, а неопределённости вынесены отдельно, можно посмотреть в открытом демо-отчёте FIBRA.

В следующей статье — про арифметику: почему все расчёты у нас считает обычный движок, а не нейросеть, и почему это не перестраховка.

Для технической аудитории: пара уточнений

  • Пауза сделана на границе шага, а не в середине рассуждения. Так проще гарантировать, что состояние, к которому вернутся после ответа, целостно: прерванная на полуслове цепочка рассуждений после паузы всё равно не восстанавливается осмысленно.
  • Уведомление о вопросе — единственный тип оповещения, который игнорирует пользовательские настройки каналов. Это осознанное исключение: остальные уведомления сообщают о завершившейся работе, а это — о работе, которая без ответа не завершится вообще. Единственный фильтр — подтверждён ли канал; поэтому при запуске разбора, умеющего задавать вопросы, система предупреждает о неподтверждённых.
  • Уточнения не расходуют бюджет повторных попыток разбора. Иначе вопрос конкурировал бы с работой за один и тот же лимит, и модель оказалась бы наказана за то, что спросила.