Как проверять
Видеть негодный результат до того, как он уйдёт дальше вас.
Проверка это зеркало предыдущего модуля. Там вы объясняли задачу тремя слоями. Здесь смотрите на результат теми же тремя, только в обратную сторону.
Научиться видеть негодный результат до того, как он уйдёт дальше вас. На выходе разбор одного конкретного ответа модели, где вы поймали ошибку и можете показать пальцем, что именно неверно.
Три взгляда на результат
Результат. Что получилось: верны ли факты, подходит ли под задачу, есть ли внутренние противоречия. Самый очевидный слой, и обычно единственный, до которого доходят руки.
Ход рассуждения. Как модель к этому пришла: не потерялся ли шаг, не построен ли вывод на допущении, которого никто не делал, не подменилось ли по дороге условие. Ответ бывает верным при негодном рассуждении, и такой ответ опаснее ошибочного: он приучает доверять.
Поведение. Как модель ведёт себя в работе: соглашается ли со всем подряд, спрашивает ли недостающее, держит ли ваши условия через несколько сообщений. Поведение подсказывает, где результату верить меньше.
Симметрия между постановкой и проверкой не случайна. Что описали, то и проверяете. Не описали третий слой, не заметите и проблем в нём.
Неприятная правда про проверку
Проверить можно только то, в чём вы разбираетесь.
Это ограничение никуда не девается и не обходится приёмами. В своей области вы читаете ответ и спотыкаетесь о неточность, потому что знаете, как правильно. В чужой области тот же самый ответ выглядит гладко и убедительно, а неточность вы просто не видите.
Отсюда два практических следствия. Первое: чем дальше задача от вашей экспертизы, тем меньше можно опираться на собственную оценку и тем больше нужны внешние источники. Второе: связка «отдал целиком то, чего не понимаю» ломается именно здесь. Работа выглядит сделанной, а проверить её некому.
На что смотреть в первую очередь
Места, где ошибка встречается чаще всего и стоит дороже.
| Что | Почему опасно | Как проверять |
|---|---|---|
| числа и расчёты | ошибка выглядит так же уверенно, как верный ответ | пересчитать самому хотя бы одну строку |
| даты, номера документов, названия норм | модель охотно выдумывает правдоподобные реквизиты | открыть первоисточник |
| цитаты и ссылки | ссылка бывает на несуществующую страницу | пройти по ссылке и найти цитируемое место |
| «как правило», «обычно», «эксперты считают» | обобщение без источника, часто пустое | спросить, откуда это, и посмотреть на ответ |
| ответ, полностью совпавший с вашей гипотезой | модель склонна соглашаться с собеседником | попросить возражения на свою же позицию |
Последняя строка заслуживает отдельного внимания. Согласие приятно, поэтому проходит проверку легче всего. Полезный приём: попросить разобрать вашу позицию с противоположной стороны и посмотреть, устоит ли она.
Петля
Постановка задачи и проверка работают вместе, по кругу. Описали, посмотрели, поняли, чего не хватило в описании, дописали, посмотрели снова.
Ошибка новичка в том, что он ждёт годного результата с первого раза, а получив негодный, делает вывод про инструмент. Ошибка опытного в другом: круг крутится слишком долго, потому что проще дошлифовывать формулировку, чем признать, что задача изначально была отдана не туда.
Третий заход с тем же результатом означает, что дело не в формулировке. Возвращайтесь к делегированию: скорее всего, этот кусок надо делать самому или разбивать иначе.
Практика
Возьмите тему, в которой вы разбираетесь профессионально, и попросите модель дать три разных объяснения или разбора одного вопроса из неё.
Прочитайте все три с позиции эксперта. Найдите в них неточности, натяжки, пропущенные условия.
Выберите самый слабый ответ и выпишите, что именно в нём неверно. Формулировка «звучит не очень» не годится. Нужно конкретно: какое утверждение ложное и как правильно.
Покажите этот разбор модели и попросите исправленную версию. Проверьте, исправила ли она ровно то, на что вы указали.
У вас на руках письменный разбор с конкретными претензиями, каждая из которых указывает на конкретное утверждение, а впечатления не считаются. Если конкретику найти не удалось и всё выглядело неплохо, возьмите тему, где вы разбираетесь глубже: упражнение работает только на своей территории.
Самопроверка
Модель исправила то, на что я указал, но сломала соседнее место. Это нормально?
Обычное дело. После правки проверяется весь ответ целиком, включая места, которых вы не касались. На длинных текстах это главный источник незамеченных ошибок.
Как проверять в области, где я заведомо не эксперт?
Опираться на внешние источники и сужать задачу. Просить не готовый вывод, а ссылки и цитаты, по которым вы сами дойдёте до вывода. Проверка через первоисточник работает и без экспертизы, просто занимает больше времени.
Что делать, если модель уверенно настаивает на своей версии?
Настойчивость ничего не доказывает. Попросите источник конкретного утверждения. Выдуманный факт обычно рассыпается на этом шаге: ссылки либо нет, либо она ведёт не туда.
Стоит ли проверять ответ другой моделью?
Как быстрый сигнал годится: расхождение между двумя системами подсвечивает спорное место. Совпадение при этом ничего не гарантирует, обе могут ошибаться одинаково.
Материал основан на курсе AI Fluency: Framework and Foundations. Copyright 2025 Rick Dakan, Joseph Feller, Anthropic PBC, лицензия CC BY-NC-SA 4.0. В основе The AI Fluency Framework авторства Дакана и Феллера, при поддержке Higher Education Authority (Ирландия) через National Forum for the Enhancement of Teaching and Learning. Русская версия и дополнения: JB Solutions, на тех же условиях.