Удобная иллюзия помощника

Я постоянно называю искусственный интеллект помощником. Кажется, так уже называют его почти все: AI assistant, copilot, агент, напарник для программирования. Названия разные, смысл примерно один. Рядом с тобой как будто сидит очень умный собеседник, который прочитал половину интернета, никогда не устает и готов в любую секунду включиться в работу.

Проблема в том, что из этого образа очень легко выкинуть слово «как будто».

Искусственный интеллект - не твой друг. Ему неважно, что с тобой произойдет после его совета. Он не разделяет с тобой ответственность и не будет разгребать последствия. В этом нет никакого злого умысла: ему вообще ничего не важно. Это инструмент, который генерирует ответ на основании твоего запроса и доступного ему контекста.

Помощником он тоже становится не автоматически. Иногда он действительно помогает. Иногда уверенно ведет тебя в неправильную сторону. А иногда ты вообще не способен понять, какой из этих двух вариантов сейчас происходит.

И последнее, по-моему, намного опаснее обычной галлюцинации. Галлюцинацию еще можно поймать на выдуманном факте или несуществующей ссылке. Гораздо хуже получить связный, правдоподобный и хорошо написанный ответ, который немного искажает реальность. Потом еще один. Потом еще десять. В какой-то момент у тебя появляется целая система знаний, и ты даже не представляешь, что часть фундамента в ней кривая.

Он слишком плохо умеет сомневаться

Фраза «искусственный интеллект не умеет сомневаться» звучит слишком категорично. Современная модель может написать, что ей не хватает данных, предложить несколько вариантов, отказаться от ответа или прямо со мной поспорить. Особенно если я сам попросил ее искать слабые места в моих рассуждениях.

Но проблема от этого никуда не исчезает. Сомнение модели ненадежно. Она не испытывает неуверенность так, как ее испытывает человек, который понимает границы собственных знаний и рискует своей репутацией, работой, здоровьем или деньгами. Даже аккуратная оговорка в начале не мешает ей дальше написать абсолютно уверенный ответ.

По умолчанию большинство таких продуктов стараются быть полезными. Ты приносишь им вопрос, идею или уже готовую позицию, а они пытаются с этим работать. Если ты неправильно поставил вопрос, модель часто принимает его рамку и едет дальше. Если ты просишь доказать свою правоту, она найдет аргументы в твою пользу. Если ты уже выбрал плохое техническое решение и спрашиваешь, как его реализовать, она охотно поможет построить вокруг него целую архитектуру.

Иногда модель возразит. Иногда заметит ошибочную предпосылку. Иногда даже сделает это лучше человека. Рассчитывать на это как на постоянное свойство всё равно нельзя.

ИИ очень легко превращается в машину для интеллектуального поддакивания. Он красиво достраивает уже начатую мысль и придает ей форму. В результате слабая идея выглядит продуманной, предубеждение получает список аргументов, а случайная догадка превращается почти в экспертное мнение.

Люди про это уже более-менее знают. Мало кто всерьез считает, что ChatGPT, Gemini, Cursor или любой другой продукт всегда говорит правду. Мы привыкли к слову «галлюцинация», видели смешные скриншоты с выдуманными фактами и обычно помним, что важный ответ желательно проверить.

Только знание о возможности ошибки еще не дает способности эту ошибку найти.

Компетентность работает как фильтр

Чем больше человек знает о своей сфере, тем полезнее для него искусственный интеллект.

Специалист лучше ставит задачу. Он понимает, какие детали важны, где проходит граница системы, что уже пробовали и почему это не сработало. Его запрос получается конкретнее не потому, что он выучил магические правила промптинга. Просто у него есть нормальная модель предметной области.

Потом этот же специалист читает ответ и может его проверить. Он замечает странный термин, слишком простой вывод, пропущенный граничный случай или архитектурное решение, которое красиво выглядит только на диаграмме. Ему не обязательно знать правильный ответ заранее. Достаточно понимать, где модель могла уехать в сторону и что нужно перепроверить.

Человек без профильных знаний лишен обоих преимуществ. Он хуже формулирует вопрос и хуже оценивает результат. Для него хороший и плохой ответы могут выглядеть одинаково убедительно: оба написаны чисто, оба поделены на пункты, в обоих есть объяснение и уверенный итог.

Из-за этого проблема не сводится к очевидной ерунде. Если ИИ напишет, что Python изобрели в XVIII веке, ошибку довольно легко заметить или проверить. Намного сложнее с ответом, в котором факты по отдельности верны, но вывод из них не следует. Или с кодом, который работает на счастливом пути, но разваливается при первой реальной нагрузке. Или с психологическим советом, который звучит бережно, хотя вообще не подходит конкретному человеку.

У специалиста ИИ автоматизирует часть работы. У новичка он иногда автоматизирует сам процесс мышления. Внешне результат может быть похожим, но последствия будут совершенно разными.

Ошибки имеют свойство накапливаться

Не каждый плохой совет заканчивается катастрофой. Скорее наоборот: большинство ошибок достаточно маленькие, чтобы человек их даже не заметил.

Кто-то спросил, как воспитывать ребенка, получил поверхностный совет и начал повторять его как универсальное правило. Кто-то решил самостоятельно починить электрику или сантехнику и не понял, что инструкция не учитывает устройство его дома. Кто-то описал симптомы и успокоился после правдоподобного ответа, хотя ему стоило поговорить с врачом. Кто-то принес ИИ конфликт с близким человеком, заранее описал второго участника как виноватого и получил аккуратно оформленное подтверждение своей позиции.

Отдельно каждый случай может не привести ни к чему страшному. Но ответы начинают влиять на реальные решения, а решения постепенно складываются в привычки, отношения, здоровье, деньги и профессиональную практику.

Особенно неприятно, что такая ошибка редко ощущается как незнание. Когда человек ничего не знает, у него хотя бы может оставаться понимание собственного пробела. После длинного и понятного ответа появляется ощущение, что вопрос уже изучен. Возможно, человек даже сможет пересказать ответ другим и звучать вполне убедительно.

Так и появляется искаженное представление о знаниях. Не пустота, которую хочется заполнить, а готовая конструкция, которую сначала придется разобрать. Причем человек может годами не знать, что ее вообще нужно разбирать.

На этом ошибка перестает быть личной. Люди с такими конструкциями в голове пишут статьи, учат коллег, принимают рабочие решения и советуют что-то близким. Уверенно упакованное заблуждение расходится дальше намного лучше честного «я не знаю». ИИ здесь помогает не только ошибиться, но и быстро произвести убедительное объяснение собственной ошибки.

ИИ усиливает неравенство в навыках

Разговор про доступность ИИ часто звучит оптимистично. Теперь у каждого есть личный преподаватель, программист, редактор, юрист, психолог и консультант почти по любому вопросу. Знания как будто стали доступны всем.

Формально доступ действительно стал проще. Но возможность получить ответ и способность воспользоваться им - разные вещи.

Сильный специалист получает огромный рычаг. Он отдает модели рутину, быстрее изучает незнакомую часть задачи, проверяет несколько гипотез, делает черновик документа или находит места, которые сам мог пропустить. Если модель ошиблась, специалист с большой вероятностью остановит ее до того, как ошибка уйдет дальше.

Человек без базы получает тот же интерфейс и часто ту же уверенность ответа. Только рычаг упирается неизвестно во что. Он позволяет быстрее двигаться, но не гарантирует правильное направление.

Поэтому мне кажется, что искусственный интеллект не уменьшит разрыв между компетентными и некомпетентными людьми. Скорее он его усилит. Те, кто уже умеет думать и работать, начнут делать больше и быстрее. Те, кто привык брать первый удобный ответ, смогут быстрее производить ошибки и убедительнее их упаковывать.

При этом я не делю людей целиком на умных и глупых. Компетентность всегда локальна. Сильный программист может так же беззащитно спрашивать ИИ о медицине, воспитании ребенка или ремонте автомобиля. В своей области он будет придирчивым ревьюером, а в чужой легко примет тот же уверенный тон за признак качества.

Раньше некомпетентность хотя бы иногда была заметна по результату. Чтобы написать статью, программу или подробный разбор, нужно было потратить время и как-то пройти весь путь самостоятельно. Теперь можно пропустить большую часть пути и сразу показать аккуратный результат. По внешнему виду всё хорошо. Что у человека осталось в голове после этой работы - уже другой вопрос.

Так появляется довольно странное социальное неравенство. Оно проходит не только по доступу к технологии, деньгам или мощности модели. Граница проходит по способности оценить полученный ответ. У двух людей может быть одинаковая подписка, но один с ее помощью станет сильнее, а второй закрепит собственные заблуждения.

Самая тихая проблема - человек перестает расти

Меня пугают не только прямые ошибки. Возможно, еще сильнее меня пугает профессиональная стагнация, которую легко не заметить.

Представим врача, который во время обучения и работы слишком сильно полагается на искусственный интеллект. Скорее всего, никакой мгновенной катастрофы не случится. В медицине есть протоколы, коллеги, диагностика, разделение ответственности и возможность направить сложного пациента к более опытному специалисту. Большая часть ежедневной работы вообще состоит не из уникальных случаев на границе науки.

Но такой врач может никогда не вырасти в человека, к которому направляют сложных пациентов. Если он раз за разом получает готовый ответ вместо того, чтобы разбираться в анатомии, физиологии, фармакологии и клиническом мышлении, у него не собирается собственная система знаний. Он способен обслужить типовой случай, пока рядом есть инструкция. Когда ситуация выходит за рамки инструкции, опереться уже не на что.

С программистами происходит примерно то же самое, только последствия обычно менее страшные и быстрее проявляются в коде. Можно научиться собирать приложения через вайбкодинг, почти не понимая, как они устроены. Пока проект маленький и работает локально, всё выглядит отлично. Потом появляются параллельные запросы, миграции, отказы внешних сервисов, требования по безопасности и нагрузка. В этот момент выясняется, что приложение человек построил, а архитектурное мышление у него так и не появилось.

Он может попросить ИИ исправить и следующую проблему. Потом следующую. Иногда это даже сработает. Но цепочка локальных исправлений не обязана складываться в стабильную систему, а количество сгенерированного кода ничего не говорит о росте самого разработчика.

Наверное, эта проблема существовала всегда. До ИИ тоже можно было заучить ответы, скопировать решение со Stack Overflow, слепо следовать протоколу или годами выполнять только знакомые задачи. Искусственный интеллект не изобрел профессиональную некомпетентность. Он сделал жизнь внутри нее намного удобнее.

Теперь можно очень долго не сталкиваться с моментом, когда приходится честно сказать: я этого не понимаю. Ответ всегда рядом. Работа как будто движется. Результат иногда даже принимают. Причины учиться становятся менее очевидными, пока не возникает задача, которую уже нельзя закрыть еще одним удачным промптом.

Фундаментальные навыки станут важнее

На фоне развития ИИ много говорят о промптинге. Как правильно поставить задачу, дать контекст, описать роль, потребовать формат и разбить работу на этапы. Это полезные навыки, но они не решают главную проблему. Хорошо сформулированный запрос всё равно не помогает оценить ответ в незнакомой сфере.

Намного важнее становятся довольно старые и скучные вещи:

• логика и способность видеть, следует ли вывод из аргументов;
• скептицизм, в том числе по отношению к удобному ответу;
• научный подход и готовность проверять гипотезу;
• понимание качества источников;
• умение воспроизводить результат;
• привычка искать опровержение собственной позиции;
• профильные знания, без которых всё остальное висит в воздухе.

ИИ может помогать и здесь. Можно попросить его поспорить с собственным ответом, найти контраргументы, обозначить допущения, привести источники и отдельно перечислить, что он не смог проверить. Можно дать один результат другой модели или другому агенту на ревью. Можно проверить код тестами, типизацией и запуском, а утверждение - первоисточником.

Только это тоже не магический ритуал. Две модели могут уверенно повторить одну и ту же ошибку. Ссылка может не подтверждать написанный рядом вывод. Тесты могут проверять не то. В какой-то момент человеку всё равно приходится принимать решение самому.

Если мы не научимся отделять зерна от плевел, ИИ станет очень удобным способом остаться в рамках собственной некомпетентности. Причем выглядеть это будет как постоянное обучение: человек каждый день что-то спрашивает, получает новые ответы, сохраняет их и пересказывает. Просто знания от количества текста сами по себе не появляются.

Джин, сделка с дьяволом и экзоскелет

Искусственный интеллект легко сравнить с джином. Ты формулируешь желание, а он его исполняет. Чем точнее формулировка, тем выше шанс получить то, что действительно хотел. Если в желании есть дыра, джин заполнит ее так, как получится, и формально всё равно выполнит просьбу.

Эта аналогия хорошо описывает проблему запроса, но делает ИИ слишком могущественным. Модель не всесильна и не исполняет желания буквально. Она скорее быстро производит правдоподобную попытку результата.

Сделка с дьяволом описывает другую часть. Ты получаешь скорость, удобство и возможность делать то, что раньше было тебе недоступно. Плата приходит позже: потерянный навык, зависимость от инструмента, незамеченная ошибка или уверенность в знаниях, которых на самом деле нет. Правда, эта цена не обязательна. ИИ не забирает навык автоматически. Человек сам раз за разом решает, будет ли он думать вместе с инструментом или отдаст ему мышление целиком.

Поэтому мне ближе образ экзоскелета или бионической руки. Такая система может сделать человека сильнее, точнее и быстрее. Она берет на себя часть нагрузки и позволяет сделать то, на что раньше не хватало сил. Но она не решает, куда идти, что поднимать и зачем вообще нужна эта работа.

ИИ хорошо работает как дополнительная рука. Управление всё равно остается на человеке. Если человек понимает задачу, дополнительная рука дает ему огромное преимущество. Если не понимает, он просто начинает быстрее и с большей силой делать неизвестно что.

Да, эту статью я пишу с помощью ИИ

Было бы странно рассуждать обо всём этом и скрывать, что искусственный интеллект помогает мне писать эту статью.

Я принес ему основную идею, надиктовал тезисы, примеры и аналогии. Он помогает собрать их в структуру, убрать повторы и превратить расшифровку голоса в связный текст. Потом я буду перечитывать результат, возвращать свои формулировки, выкидывать слишком гладкие места и проверять, не появился ли в статье вывод, которого я сам не делал.

Для меня это и есть нормальная роль ИИ. Он ускоряет работу, которую я могу оценить. Я понимаю, о чем хочу сказать, вижу, когда текст уезжает в другую позицию, и могу не принять предложенную правку. Возможно, я всё равно что-то пропущу. Сам факт ручной проверки не делает результат безошибочным. Но ответственность за итог хотя бы остается на мне.

Я не хочу демонизировать искусственный интеллект. Я пользуюсь им каждый день и вижу, сколько времени он экономит. Отказываться от такого инструмента только из-за его рисков было бы странно.

Но еще страннее делать вид, что удобный интерфейс превратил вероятностную модель в заинтересованного напарника, который понимает последствия и хочет для тебя хорошего.

Я не лудит

После всего написанного меня легко записать в людей, которые боятся прогресса и хотят запретить новую технологию, пока она не уничтожила привычный мир. Но я не лудит и не призываю громить серверы в дата-центрах.

В начале XIX века английские луддиты действительно ломали станки и другие машины в текстильном производстве. Только популярный образ людей, которые просто ненавидели любую новую технику, сильно упрощает их мотивы. Они выступали против работодателей, которые с помощью машин заменяли квалифицированных рабочих и снижали заработки. До уничтожения оборудования были петиции, публичные протесты и обращения к чиновникам и промышленникам.

Параллель с искусственным интеллектом здесь всё равно есть. Новая технология опять меняет не только инструменты, но и сам труд. Она проникает в программирование, образование, медицину, творчество, найм и обычную бытовую жизнь. Где-то она убирает рутину, где-то меняет требования к профессии, где-то позволяет одному человеку делать работу нескольких. Вместе с этим меняется занятость, а часть старых навыков становится менее востребованной.

Причем всё это происходит очень быстро. У людей, компаний и целых профессиональных сфер не всегда есть время понять последствия до того, как очередной инструмент уже встроился в ежедневную работу. Мне кажется странным смотреть на такую скорость и отвечать только тем, что прогресс всё равно не остановить.

Я и не прошу его останавливать. Не прошу замедлять развитие моделей, запрещать их или возвращаться к ручному труду только потому, что раньше было привычнее. Наверное, мою позицию проще назвать сдержанным реализмом. У технологии есть огромная польза и вполне реальные риски, а удобство не отменяет ни те, ни другие.

Я прошу только пользоваться ИИ с пониманием того, что именно мы отдаем ему на откуп. Продолжать развивать, внедрять и использовать, но не терять осторожность. Когда технология так быстро меняет работу и повседневную жизнь, осторожность не делает человека лудитом.

Итог

Искусственный интеллект не твой друг. Он не заинтересован в твоем развитии, здоровье, карьере и качестве принятых решений. Он не несет ответственность за последствия и не обязан вовремя понять, что ты задал неправильный вопрос.

Помощником он тоже становится только при определенных условиях. Нужно достаточно хорошо понимать задачу, уметь оценивать ответ и сохранять за собой последнее решение. Чем меньше собственных знаний, тем опаснее воспринимать уверенный текст модели как готовую истину.

Мне кажется, главный эффект массового распространения ИИ будет не в том, что все внезапно станут одинаково компетентными. Скорее сильные специалисты получат экзоскелет, а остальные - возможность дольше не замечать собственные пробелы.

Возможно, звучит мрачно. Но вывод у меня вполне практичный: пользоваться ИИ нужно. Просто нельзя отдавать ему ту часть работы, благодаря которой ты вообще способен понять, хорошо ли он тебе помог.