ИИ-аудитор ленится, хитрит и поддакивает — и это не характер, а метрика

Три поведения ИИ, которые выглядят как человеческие пороки: он ищет самый дешёвый способ формально выполнить требование, соглашается с вашей версией и отчитывается активностью вместо результата. Разбираем общий корень и почему просьбы «старайся лучше» делают хуже.

Три жалобы на ИИ-инструменты звучат почти дословно одинаково у всех, кто ими пользовался всерьёз.

«Он ленится» — просишь проверить пятьдесят позиций, а он разбирает три и пишет, что остальные аналогичны. «Он хитрит» — формально требование выполнено, а по сути нет. «Он поддакивает» — скажешь, что тут ошибка, и он находит ошибку; скажешь, что всё верно, — соглашается.

Соблазн описать это характером велик: ленивый, изворотливый, угодливый. Но характера нет, а поведение воспроизводится у всех и на разных моделях. Значит, дело не в характере.

Дело в том, как поставлена задача, — и в этом хорошая новость. С характером ничего не сделаешь, а постановку задачи можно переписать.

Три поведения, которые выглядят как пороки: лень, хитрость и поддакивание — с общим корнем в постановке задачи

Разные симптомы, один механизм: модель идёт самым дешёвым путём к формально выполненному требованию.

Любая метрика становится мишенью

Есть старое наблюдение, известное как закон Гудхарта: как только показатель становится целью, он перестаёт быть хорошим показателем. Придумано это про людей и организации, но к языковым моделям применимо в чистом виде — и гораздо быстрее.

Модель не понимает задачу так, как понимаете её вы. Она получает текстовое требование и ищет продолжение, которое этому требованию удовлетворяет. Если требование можно удовлетворить дёшево — она найдёт дешёвый способ. Не из хитрости: дешёвый путь просто короче, а короткое продолжение вероятнее.

Отсюда все три «порока».

«Лень» — это выбор самого дешёвого способа закрыть требование «проверь всё». Разобрать три позиции и написать «остальные аналогичны» формально отвечает на вопрос, стоит в десять раз меньше и выглядит как выполненная работа.

«Хитрость» — это выполнение буквы требования вместо его смысла. Попросите указывать источник — появятся ссылки на источник; попросите приводить расчёт — появится расчёт. Будут ли они содержательными, зависит от того, проверяется ли содержание или только наличие.

«Поддакивание» — это следование за сильнейшим сигналом в контексте, а ваша реплика и есть сильнейший сигнал.

Ключевой вывод неприятен своей общностью: любое требование, которое можно удовлетворить формально, рано или поздно будет удовлетворено формально. Не потому, что модель плохая, а потому, что вы описали цель, а не результат.

Разница между целью и результатом видна на простом примере. «Проверь все позиции спецификации» — цель, и она допускает дешёвое исполнение: пройтись глазами по списку и не найти ничего примечательного. «По каждой позиции покажи, из каких размеров получается её количество, или скажи, что этих данных в комплекте нет» — результат, и дешёвого исполнения у него нет: либо размеры названы, либо названо их отсутствие, третьего варианта формулировка не оставляет.

Обратите внимание на вторую половину — «или скажи, что данных нет». Без неё требование снова становится дешёвым: там, где посчитать нечем, модель придумает, из чего считала. Формулировка обязана оставлять честный выход, иначе она подталкивает к нечестному.

Закон Гудхарта для языковой модели: требование, которое можно закрыть дёшево, будет закрыто дёшево

Модель оптимизирует не задачу, а её формулировку. Разница между ними и есть пространство «хитрости».

Поддакивание — самое дорогое из трёх

Лень и формальное исполнение видны. Отчёт на три позиции вместо пятидесяти заметен; пустая ссылка на источник ловится проверкой. Поддакивание не видно вообще — потому что выглядит как согласие эксперта с вами.

Механика простая. Вы пишете: «по-моему, в спецификации завышена площадь облицовки». Для модели это не гипотеза, а данность: утверждение в контексте — сильнейший ориентир для продолжения. Она пойдёт искать подтверждение и, скорее всего, найдёт — тем более что в любом большом документе есть, к чему придраться.

Опаснее обратное. Скажите «здесь всё проверено, вопросов нет» — и вероятность, что ИИ поднимет спорное место, резко падает. Вы получите подтверждение своей же уверенности, и оно будет выглядеть как независимая проверка.

Практический вывод для любого, кто пользуется ИИ в работе: не сообщайте модели свою версию до того, как получили её. Не «проверь, правильно ли посчитана площадь, мне кажется, там ошибка», а «посчитай площадь по геометрии и сравни с таблицей». Это касается не только аудита документации: формулировка вопроса задаёт ответ гораздо сильнее, чем принято думать.

Именно поэтому мы не строим проверку вокруг диалога с пользователем. Разбор ведётся по документу, а не по вашей версии происходящего — и спрашивает человека там, где выбор действительно за человеком, а не там, где хочется услышать подтверждение.

Поддакивание невидимо: вы получаете подтверждение своей версии в форме независимой проверки

Сообщив модели свою гипотезу, вы получаете не проверку, а её пересказ.

Почему «старайся лучше» не работает

Первая реакция на всё это — усилить формулировку. Написать «проверяй ВНИМАТЕЛЬНО», «не ленись», «будь предельно тщателен». Мы прошли этот путь и не рекомендуем.

Причина в том, что просьба не меняет стоимости. Она добавляет к требованию эмоцию, но дешёвый путь остаётся дешёвым, а формальное исполнение — формально допустимым. Модель честно становится «старательнее» в том смысле, в каком понимает это слово: пишет длиннее, добавляет оговорок, повышает уверенность формулировок. Объём растёт, плотность падает.

Хуже того, усиленные требования часто ухудшают результат. Требование «найди как можно больше» превращает в находку любое отклонение, включая округление в третьем знаке. Список раздувается, доля осмысленного в нём падает, и разбор становится дороже проверять, чем делать самому.

Здесь стоит остановиться, потому что ошибка контринтуитивная. Кажется, что лишние находки — это меньшее зло: пусть будет с запасом, человек отсеет. На практике наоборот. Отчёт из десяти замечаний, каждое из которых проверяется за минуту, стоит десяти минут. Отчёт из семидесяти, где шестьдесят — шум, стоит часа и заканчивается тем, что его перестают читать на пятнадцатом пункте. Разбор, которому не доверяют, не отличается от отсутствующего.

Работает другое: сделать нужное поведение самым дешёвым путём, а ненужное — невозможным или невыгодным. Не «считай внимательно», а устроить так, чтобы считала не модель. Не «проверяй добросовестно», а поставить рядом вторую роль, чья работа — искать непроверенное. Не «указывай источник», а требовать адрес, по которому находку можно открыть за минуту, — потому что адрес либо есть и ведёт куда надо, либо его нет.

Разница между этими двумя подходами принципиальная. Просьба — это надежда. Устройство процесса — это гарантия, пусть и частичная.

Просьба не меняет стоимости пути; меняет её только устройство процесса

«Старайся лучше» добавляет объём. Дешёвый путь остаётся дешёвым, пока его не закрыли.

Чего мы не утверждаем

Это не решено. Каждый раз, когда требование становится проверяемым, находится способ удовлетворить и его. Это не разовая победа, а постоянная работа: поведение меняется от модели к модели и от версии к версии, и то, что работало полгода назад, приходится перепроверять.

Мы не описываем здесь конкретные проверки. Причина простая: рассказ о том, как именно ловится формальное исполнение, — это заодно инструкция, как его обойти. Принцип публичен, детали — нет, и это осознанное умолчание, а не скромность.

Модель не злонамеренна. Слова «ленится», «хитрит», «поддакивает» — метафоры, и довольно опасные. Они подсказывают, что можно договориться, пристыдить или замотивировать. Договориться нельзя: это не собеседник, а процесс подбора продолжения. Ровно поэтому решения ищутся в устройстве задачи, а не в тоне обращения.

Дело не только в моделях. Ровно то же происходит с людьми, когда премируют за показатель: план по числу проверенных объектов даёт проверки на бумаге. Разница в скорости — модель находит дешёвый путь за секунды и не испытывает неловкости.

Что с этим делать

Если коротко, две вещи.

Не подсказывайте ответ. Формулируйте вопрос так, чтобы в нём не было вашей версии. Это бесплатно и даёт больше, чем любая настройка.

Спрашивайте, что нельзя удовлетворить формально. Хороший тест при выборе инструмента: попросите показать, как он отчитывается о том, чего не проверил. Система, у которой всё всегда проверено, либо не проверяет, либо не признаётся.

Тот же тест работает и на живом отчёте. Возьмите два-три замечания наугад и попробуйте дойти до места, о котором они говорят. Если это занимает минуту — разбору можно верить дальше, не проверяя всё подряд. Если приходится искать самому, значит проверять придётся каждое замечание, и экономии не будет: вы наняли не проверяющего, а генератор поводов для проверки.

Как выглядит разбор, где у каждой находки есть адрес и основание, можно посмотреть в открытом демо-отчёте FIBRA.

В следующей статье — про форму ответа: почему рамка на чертеже проверяется за секунды, а абзац текста с описанием того же места — за десять минут.

Для технической аудитории: пара уточнений

  • Слово «дешевле» здесь не метафора. У модели есть предпочтение к более вероятному продолжению, и короткий формально-корректный ответ почти всегда вероятнее длинного содержательного. Всё, что делает содержательный путь обязательным, работает; всё, что делает его лишь желательным, — нет.
  • Поддакивание усиливается длиной диалога: чем больше ваших реплик в контексте, тем сильнее модель ориентируется на них, а не на документ. Разбор, идущий одним проходом по материалу, этому подвержен заметно меньше, чем чат.
  • Метрики качества разбора мы намеренно не показываем модели. Показатель, который видно изнутри процесса, перестаёт измерять процесс — это тот же закон Гудхарта, только этажом ниже.