В издательстве Individuum вышла книга «Конец индивидуума», в которой философ и политический публицист, а также недавний (самопровозглашенный) кандидат в президенты Франции Гаспар Кениг берется за осмысление феномена искусственного интеллекта (Artificial intelligence, AI).
К искусственному интеллекту сложно относиться нейтрально. Прогрессивная часть общества самозабвенно экспериментирует с Chat GPT-4 или MidJorney и предвкушает грядущие инновации, которые изменят мир к лучшему самым немыслимым образом. Осторожная же часть, конечно, немного завидует оптимизму и смелости авангардистов, но куда больше опасается кризиса личности в мире победившего AI, цифрового концлагеря, стремительного отмирания профессий или, например, появления сверхинтеллекта («сильного AI»), способного освободиться от «гнета своих создателей» и в качестве прощальной услуги устроить апокалипсис.
Бензина в огонь подливают и специалисты по AI. Некоторые из них весной подписали письмо с требованием приостановить «подготовку систем искусственного интеллекта, более мощных, чем GPT-4» минимум на шесть месяцев. Тогда же в Time вышла паническая статья известного специалиста по AI Элиезера Юдковского, который отказался подписывать письмо из-за того, что в нем недооценивается степень угрозы, и предложил куда более радикальные меры сдерживания.
«Конец индивидуума», пожалуй, подходящая книга и для энтузиастов, и для недоброжелателей искусственного интеллекта. Кениг занимает взвешенную позицию, детально разбирает преимущества и угрозы AI, а в финале предлагает читателям способ сохранить контроль над ситуацией.
Книгу легко разделить на три смысловые части. Около сотни страниц у Кенига уходит на то, чтобы объяснить читателю суть AI и расквитаться с популярными опасениями из первого абзаца, которые по большей части кажутся ему безосновательными. Это, впрочем, не повод расслабляться. К искусственному интеллекту у философа накопились свои, авторские претензии. Здесь, пожалуй, и начинается самое интересное. Кениг препарирует идеи создателей AI и показывает, что крупнейшие корпорации вовсе не так равнодушны к идеологии, как это порой выглядит со стороны. В центре внимания философа проблема свободы воли и даже личности как таковой, которая, если «прогресс» продолжится в том же духе, со временем может оказаться рудиментом. Но почему создатели AI так ополчились против индивидуума? Несложно догадаться, что из самых благих намерений. Затем Кениг детально разбирает различия систем AI в Китае, США и Европе. А в третьей — заключительной — части объясняет, как нам переустроить взаимоотношения с искусственным интеллектом.
В ходе работы над исследованием философ пообщался со 125 ведущими сотрудниками AI-компаний, учеными и мыслителями–публичными интеллектуалами, вроде Юваля Харари и Нассима Талеба. Проект вылился в почти кругосветное путешествие из Европы в Штаты, затем в Китай и назад через Тель-Авив. В реальности Кениг последовательно двигался на запад. Однако в книге его странствие естественным образом превратилось в метания, где прыжок из Сан-Франциско в Шанхай и возвращение в Кремниевую долину занимают не больше нескольких страниц. Эти хаотичные перемещения сами собой превращаются в метафору, очень созвучную неожиданной лирической интонации книги. Она, кажется, должна говорить если не свысока, то по крайней мере уверенным тоном.
История Кенига — метания европейца, остро ощущающего цивилизационный кризис, «старость» Европы и пугающие тоталитарные флюиды противников,
но слишком культурного, задумчивого и растерянного, чтобы громко высказать свою правду. В итоге он ее озвучивает, но вряд ли эта правда способна переубедить куда более прямолинейных и устойчивых оппонентов. Такая человечная интонация — очень к лицу и книге, и теме.
Автор объясняет, что искусственный интеллект не «мыслит» в привычном смысле слова, но только воспроизводит результат мышления. Подражать процессу — работе слишком сложно устроенного человеческого мозга и сознания — он не умеет и вряд ли скоро научится. В некотором смысле деятельность AI — правдоподобная имитация мышления, производящего смысл, который сам искусственный интеллект не способен понять.
Фото: flickr
Кениг расскажет о весьма успешном, но слегка пугающем проекте Replika, созданном в Кремниевой долине россиянами Евгенией Куйдой и Филиппом Дудчуком. Replika — заточенный под чуткое личное общение виртуальный друг, который, по задумке авторов, должен поддерживать одиноких людей, одновременно помогая им наладить коммуникацию в офлайне. Скептически настроенный к AI читатель наверняка уже прокрутил в голове сюжет фильма «Она», где главный герой влюбляется в виртуальную подругу. Кениг видит в Replika извечную человеческую готовность обманываться, верить в иллюзию и наделять робота собственными живыми чертами (скажем, с подчеркнутой вежливостью общаться с Сири или Алисой, чему, по мысли философа, прощения нет). Вера в мышление AI для него, похоже, неотличима от веры в его чувствительность и эмпатичность: и то, и другое — современные формы первобытного анимизма, который заставлял наделять душой каждый встречный предмет.
В главе «Миф о суперинтеллекте» Кениг опирается на исследования нейробиолога Антонио Дамасио и напоминает, что человеческое мышление — функция не только мозга, но и всего тела. Из-за отсутствия плоти и гомеостаза AI не способен ни мыслить, ни ставить цели, вроде создания прекрасного безлюдного мира. Паникующие же, по логике Кенига, живут в плену заблуждения, что мозг работает сам по себе и в плоти не нуждается.
«Конец индивидуума» в оригинале вышел в 2019-м году. На языке исследователей AI это значит «примерно когда гуси спасли Рим». Сам Кениг в новом предисловии для российского издания поясняет, что его размышления не утратили актуальности. Для всех последующих глав это, несомненно, верно. Однако критиковать «миф о суперинтеллекте» в конце 2010-х, когда в него всерьез верили отдельные интеллектуалы и «большой ребенок, путающий кино с реальностью» Илон Маск, было гораздо проще, тем более, что и AI еще не совершил такого непредсказуемо мощного скачка. Можем ли мы, лишь отчасти представляющие, как работают и наш собственный мозг, и искусственный интеллект, быть полностью уверены в том, что мышление (пусть и отличное от нашего) не способно развиться каким-то иным способом? Это вовсе не значит, что аргумент Кенига ошибочен. Однако его успокаивающая убежденность представляется, по крайней мере, преждевременной.
Если же сверхинтеллект так и останется мифом, то дефицит работы и смена рода деятельности нам, скорее всего, не грозят. По мысли философа, все профессии изменятся (как с появлением интернета, например), но по большей части не исчезнут. Вероятно, вырастет число областей, где человек будет сотрудничать с AI. Количество же рабочих мест, считает Кениг, должно только увеличиться.
Лихо расправившись с этими заблуждениями, философ переходит к тем вопросам, которые волнуют его на самом деле. В центре внимания постоянное «подталкивание», при помощи которого AI мягко направляет человека к оптимальному (или нет?) решению и таким образом постепенно подавляет его свободу воли: «Nudge (подталкивание) повсюду, оно не оставляет никакой возможности для взвешенного и самостоятельного решения, появляясь в форме рекламы (персонализированной), уведомлений, рекомендаций, сообщений в социальных сетях или спама в почтовых ящиках. Наш мозг постоянно подвергается хакингу…»
Впрочем, ту же мысль можно выразить и самыми благожелательными словами. Дело в том, что человеческому разуму свойственно быть предвзятым, вязнуть в дурных предубеждениях и вечно страдать от недостатка информации. Все это отражается на принимаемых решениях и, конечно, не идет им на пользу. Среди собеседников Кенига немало почитателей знаменитого психолога Дэниела Канемана, детально показавшего, насколько нерационально действует наше быстрое мышление, при этом создавая иллюзию рациональности.
Искусственный интеллект (особенно в перспективе) лишен этих досадных несовершенств. Чем больше данных он соберет в свой черный ящик, тем яснее увидит наше подлинное лицо — иными словами, узнает и поймет нас лучше, чем мы сами. Уже узнал. Уже понял.
А теперь он просто хочет помочь нам стать чуточку счастливее — и, похоже, имеет шансы справиться с этим лучше нас самих.
AI подберет музыку и кино по вкусу, найдет подходящий ресторан и проложит оптимальный маршрут, разгадав наши самые потаенные желания, поможет отыскать идеально совместимого партнера и устроиться на работу мечты. Проникнув в каждую область жизни, AI-приложения привнесут в нее безошибочное благополучие. По мысли Кенига, искусственный интеллект вот-вот начнет самолично определять наши потребности — разумеется, ради нашего счастья, которое «он» понимает лучше.
Пресловутая свобода воли, возможным исчезновением которой так обеспокоен философ, для многих его собеседников столь же наивная иллюзия, как анимизм.
Всего лишь красивый миф о совсем не сверхинтеллекте. Мысли и поступки человека детерминированы генетической предрасположенностью, опытом и контекстом: «В тот день, когда нейроны будут полностью картографированы, мы сможем предсказывать наши психические процессы с той же точностью, что и рикошет бильярдных шаров». Человек — своего рода природный механизм, машинка, богато фантазирующая о себе, но на деле — не особенно совершенная (Канеман не даст соврать). Так, может, нам пора научиться принимать себя и довериться по-настоящему компетентному менеджеру?
Мы уже свыклись с мыслью, что технологические корпорации цинично манипулируют нами в своих интересах, однако Кениг убежден, что они сочетают only business с вполне искренним желанием сделать мир лучше. У Кремниевой долины есть своя неофициальная идеология — утилитаризм, наследующий идеи английского мыслителя Иеремии Бентама. Алгоритмы придумывают для того, чтобы «повысить индивидуальное благополучие, измеряемое как разность между удовольствиями и страданиями». Этот подход совпадает с утилитаризмом, стремящимся к максимизации счастья, вернее — суммы индивидуальных счастий. Кениг обращает внимание на очень важную деталь.
Утилитаризм, которому важна сумма, допускает увеличение всеобщего счастья за счет чьей-нибудь беды.
Если кто-то стал жить хуже, тогда как другие устроились благополучно и общий «индекс» счастья подрос, значит мы движемся в верном направлении. Иными словами, конкретно ваши злоключения, если вы в меньшинстве, никого интересовать не будут. Каждый отдельный индивид в этом дивном новом мире — только статистическая погрешность, которой вполне можно пожертвовать ради коллективного благополучия. В качестве примера Кениг выбирает довольно безобидный. Он объясняет, что Google Maps рекомендуют не самый удобный путь, а компромиссный вариант между оптимальным для человека и для других автомобилистов: «алгоритм, возможно, примет решение отправить вас по объездному пути, где вы потеряете десять минут, если это позволит разгрузить основную трассу для следующих за вами водителей».
Китайская картина не так радикально отличается от американской, но ярче показывает, куда может завести такая логика. Она опирается на конфуцианскую этику, в которой коллективное благо гораздо важнее личного. «Если нужно пожертвовать ею (частной жизнью), чтобы достичь большего благосостояния и большей безопасности», китайцы «пойдут на это без всяких колебаний» и воспримут произошедшее в духе благородной самоотверженности. Главным источником личностного развития в конфуцианстве оказывается социальное давление, а стыд — едва ли не лучший способ общественного контроля. Государственный надзор с использованием AI и систему социального рейтинга можно рассматривать как доведенную до логического завершения форму того же «подталкивания», необходимого для максимизации общего блага. Для собеседников Кенига этот подход — повод для национальной гордости и серьезное преимущество перед мелочным индивидуалистским Западом. Но воодушевлением этих победителей внутри системы почему-то не проникаешься. Сами собой вспоминаются и расстрел протестующих на площади Тяньаньмэнь, и геноцид уйгуров, осуществляемый коммунистической партией с 2014-го, — все эти незначимые меньшинства, человеческие помехи, к которым вовсе незачем примеривать себя стороннику коллективного процветания.
Проблема, конечно, не только в свободе воли. Скорее, вообще в обесценивании конкретного живого существа.
Им можно манипулировать и пренебрегать ради благородных общественных абстракций. Можно настойчиво направлять на верный путь (сам-то заблудится — не иначе). Зато сопереживать, похоже, не придется — жертвы простительны. А если допустимо пожертвовать одним — значит, непременно каждым (властитель, разумеется, не в счет). Впрочем, сочувствовать затерявшейся статистической единице или сломанной шестеренке общественной машины странно. И здесь мы снова видим следы первобытного анимизма.
Фото: flickr
Утилитаристский рай, управляемый при помощи искусственного интеллекта, в сущности, очень напоминает коммунистический. Он тоже выглядит как воплощенное торжество человеческого порядка над природным. Тоже кажется окончательным: если воцарится, то непременно навсегда. А еще, конечно, это типичный утопический мегапроект — мечта об устойчивости и завершенности, прячущая взор от переменчивости мира и затаившейся в ней маленькой копии смерти. Ворвавшаяся в реальность утопия со временем непременно получит приставку «анти». Слишком она завершенная, слишком вечная и мертвая, чтобы сжиться с действительностью. Что происходит с живыми людьми в антиутопиях, известно. Там можно потерять и субъектность, и свободу воли, и самостоятельное мышление. Кениг опасается, что в светлом будущем с засильем AI по причине неиспользования могут исчезнуть и некоторые наши когнитивные функции.
В конце книги философ пишет еще об одном потенциальном преступлении искусственного интеллекта. Он, вероятно,
попытается устранить из нашего существования элементы случайности и ошибки, совершенно необходимые для продолжения вида.
Ведь «самые большие открытия — как в истории науки, так и в жизни человека — происходят за рамками поставленных целей и задач», а «эволюция — это череда ошибок». Стремление же к тотальной рационализации и избегание непредсказуемости делает утилитаристскую реальность еще и хрупкой (в терминологии Талеба) — способной рухнуть при первом серьезном потрясении. Не случайно в самом начале философ подчеркивает: «Мы не должны забывать о теле», а потом долго рассуждает о здравом смысле, который «тесно связан с нашим биологическим геомеостазом». В сущности, в этом и заключается альтернатива, которую предлагает Кениг — считаться с природой, прежде всего нашей собственной, и придерживаться здравого смысла. Одно из проявлений этого подхода заключается в том, чтобы добиться возможности самостоятельно формулировать личные нормы в отношениях с алгоритмом, свободно вносить в них изменения и определять открытые/закрытые данные, не передавая эти права корпорациям. Имеет смысл и научиться не вестись на их манипуляции.
Если получится, по его мысли, то несмотря на всё бурное развитие систем AI мы сумеем избежать ловушки этой самой счастливой бесчеловечной утопии. Тогда «конец индивидуума» придется отложить.
