Почему над документом работают две нейросети, а не одна — и вторая специально спорит с первой
Модель не умеет проверять саму себя: на вопрос «ты уверен?» она отвечает «да». Разбираем, зачем над одним документом работают две роли, почему у второй другая задача, а не тот же проход дважды, и какую ошибку мы совершили, когда проверяющий начал проверять аудитора.
Предположим, ИИ разобрал спецификацию и выдал находку: площадь в графе не сходится с геометрией на плане, расхождение в десять раз.
Хорошая находка. Осталось понять, правда ли это.
Самое естественное, что приходит в голову, — спросить у той же модели: «Ты уверена?» Мы попробовали. Модель ответила, что уверена. Мы задали вопрос иначе — «проверь себя ещё раз». Модель перепроверила и подтвердила. Проблема в том, что ровно так же уверенно она подтверждает и выдумку: нейросеть, которая 61 раз подряд назвала несуществующее имя, на вопрос о собственной уверенности отвечала так же спокойно.
Это статья о том, почему проверять ответ модели должна не она сама — и как устроена вторая роль, задача которой в том, чтобы с первой спорить.
«Ты уверена?» — это не проверка. Это просьба повторить ответ, и модель её честно выполняет.
Почему модель не может проверить сама себя
Причина не в лени и не в качестве модели. Она структурная.
Ответ, который модель уже дала, становится для неё контекстом. Когда вы просите перепроверить, она перечитывает не документ — она перечитывает свой вывод и ищет ему подтверждения. Это не злой умысел: так устроено продолжение текста. Утверждение, уже написанное выше, — самый сильный из доступных сигналов о том, что писать дальше.
Отсюда два следствия, оба неприятные.
Первое: ошибки коррелируют. Если запустить одну и ту же модель с одним и тем же заданием дважды, вы получите не две независимые попытки, а две очень похожие. То, что она не разглядела с первого раза, она с большой вероятностью не разглядит и со второго — по той же причине, по которой не разглядела в первый: надпись слишком мелкая, таблица легла неудобно, нужного листа не было в запуске. Повторение прохода лечит случайный промах и не лечит систематический, а именно систематические промахи и дороги.
Второе: вопрос об уверенности не даёт информации. Число, которое модель называет в ответ на «оцени свою уверенность», — это не измерение. Это ещё один сгенерированный токен, такой же, как остальные. Он звучит убедительно и почти не связан с тем, верен ли ответ.
Вывод из этих двух пунктов один: второй проход имеет смысл, только если у него другая задача. Не «сделай то же самое ещё раз», а «сделай то, чего первый не делал».
Второй агент — не «ещё один проход», а другая работа
Так появилась пара ролей.
Первая роль — Аудитор. Его работа — найти. Он открывает листы, выписывает величины, пересчитывает объёмы, сопоставляет таблицу с геометрией и формулирует находки с адресом: лист, строка, из чего получается другое число.
Вторая роль — Проверяющий. Его работа — усомниться. Не «ещё раз посмотреть документ теми же глазами», а задать к уже собранному материалу вопросы, которых Аудитор себе не задавал:
- Это точно расхождение — или два числа про разное? Площадь по осям и площадь в чистоте различаются законно, и опыт показывает, что именно на таких парах рождается большинство ложных находок.
- Основание точно приведено? Если находка опирается на величину, которой в документе нет, это не находка, а гипотеза.
- Что здесь не проверено? Аудитор нашёл расхождение у одной марки — а остальные марки той же таблицы он прошёл или остановился на первой?
- Есть ли в списке одно и то же, записанное дважды разными словами?
Ключевое отличие от «перепроверь себя» в том, что Проверяющий не пытается заново получить тот же результат. Он работает с чужим результатом как с материалом — и это единственный режим, в котором вопрос «а точно?» перестаёт быть риторическим.
Ценность пары не в удвоении усилий, а в том, что второй вопрос принципиально другой.
Ошибка, которую мы совершили: Проверяющий начал проверять Аудитора
Первая рабочая версия пары выглядела логично: «вот находки коллеги, оцени их». Результат оказался неожиданным.
Проверяющий начал писать замечания о работе Аудитора, а не о документе. «Обоснование приведено недостаточно подробно», «методика подсчёта не раскрыта», «рекомендуется уточнить формулировку». Всё это грамотно, вежливо и совершенно бесполезно: заказчику нужен перечень дефектов документации, а он получал рецензию на внутреннюю кухню.
Причина простая, и она снова не про качество модели, а про постановку задачи. Если предмет проверки — чужая работа, то и замечания будут про работу. Модель исполнила инструкцию буквально; неверной была инструкция.
Лечится это одной формулировкой: предметом любой находки остаётся документация, а не действия другой роли. Проверяющий может снять находку, может потребовать доказательство, может добавить свою — но всё, что он пишет, должно быть утверждением о документе, который проверяют, а не о том, кто его проверял.
Роль и модель те же. Изменился только объявленный предмет замечания — и вместе с ним весь результат.
Урок здесь шире мультиагентных систем. Когда ИИ ведёт себя странно, первый вопрос — не «что не так с моделью», а «что именно я у неё попросил». В подавляющем большинстве случаев модель делает ровно то, что написано, включая то, что вы написали не подумав.
Спор ограничен — и он несимметричен
Две роли, которые могут спорить, порождают два новых вопроса: когда остановиться и кому верить.
Когда остановиться. Спор конечен по построению: число кругов ограничено заранее. Обычно пара сходится за два-три круга — расхождения либо снимаются доказательством, либо превращаются в отдельные находки. Если не сошлись, это не сбой, а результат: несогласие двух ролей — сигнал того, что вопрос требует человека. Про то, как ИИ должен останавливаться и спрашивать, будет отдельная статья.
Кому верить. Здесь пришлось признать неприятную вещь: две возможные ошибки стоят по-разному.
Если Проверяющий оставил ложную находку, её увидит человек: у находки есть адрес, проверка занимает минуту, цена ошибки — минута раздражения.
Если Проверяющий снял верную находку, она не вернётся никогда. Её нет в отчёте, никто о ней не знает, и обнаружится она на стройке.
Ошибки несимметричны, значит и планка должна быть несимметричной. Оставить находку можно молча. Чтобы снять — нужно назвать причину, и причина должна быть проверяемой: «величина уточнена на таком-то листе», «это дубль такой-то находки», «требование относится к другому разделу». Слова «неактуально» или «уточнено» без ссылки причиной не являются.
Признание, которое стоит сделать отдельно: сильнее всего Проверяющего тянет не подтвердить и не опровергнуть, а объявить проверку невозможной. «Данных для вывода недостаточно» — универсально безопасный ответ, который выглядит осторожным и профессиональным. Иногда он верен: в документации действительно бывает нечего проверять, и это сам по себе дефект. Но как привычка он съедает разбор — поэтому объявить невыводимость можно, только показав, что операнды искали и не нашли.
Именно из-за этой асимметрии снять находку сложнее, чем оставить, — и это сделано намеренно.
Чего мы не утверждаем
Две модели могут ошибиться одинаково. Пара снимает корреляцию частично, а не полностью: у ролей разные задачи, но общая природа. Если надпись физически не читается, её не прочитает ни первая, ни вторая. Пара защищает от невнимательности и от поспешных выводов — не от того, что документ подан плохо. Поэтому чек-лист подготовки никуда не девается.
Пара стоит дороже. Второй агент — это дополнительные проходы по тому же материалу, и платите вы за прочитанное, а не за ответ. Разбор с оппонентом дороже одиночного в разы. Это сознательный размен: разбор, которому нельзя верить, дешевле, но бесполезен.
Проверяющий — не гарантия. Он снижает долю мусора и заставляет доводить проверки до конца. Он не превращает вывод в истину и не отменяет того, что подпись под проектом ставит человек.
Что с этим делать
Если вы выбираете инструмент, который «проверяет документы нейросетью», два вопроса экономят много времени.
Первый: кто проверяет ответ? Если ответ — «мы просим модель перепроверить себя», вы уже знаете, чего это стоит. Самопроверка возвращает тот же ответ с той же интонацией.
Второй: что происходит при несогласии? Ответ «у нас такого не бывает» хуже, чем «расхождение уходит человеку». Система, в которой две проверки никогда не расходятся, — это система, где вторая проверка ничего не делает.
Как выглядит разбор, в котором у каждой находки есть адрес и основание, можно посмотреть в открытом демо-отчёте FIBRA.
Спор конечен, а несогласие после последнего круга — не поломка, а повод позвать человека.
В следующей статье — про то, где проходит эта граница: когда ИИ обязан остановиться и задать вопрос человеку вместо того, чтобы выбрать ответ самостоятельно.
Для технической аудитории: пара уточнений
- «Разные задачи» здесь не означают разные модели: роли могут исполняться одной и той же моделью с разными инструкциями. Развести нужно задачу, а не поставщика. Разные модели тоже дают эффект, но существенно меньший, чем разведение задачи, — а стоят заметно дороже.
- Ограничение числа кругов — не оптимизация, а необходимость: без него пара сваливается в бесконечное уточнение формулировок, где каждый круг стоит денег, а находок не прибавляет.
- Требование называть причину снятия — единственная часть механики, которую здесь стоит запомнить: без него проверяющая роль вырождается в удобный способ сократить список, и качество разбора формально растёт, а фактически падает.