В 1939 году Альберт Эйнштейн написал президенту Франклину Рузвельту письмо, ставшее впоследствии знаменитым. В нем автор теории относительности фактически потребовал от США начать работы по созданию атомной бомбы. В противном случае, объяснял Эйнштейн, гитлеровская Германия создаст это смертоносное оружие раньше и судьба мира будет предрешена.

Стивен Хокинг — Эйнштейн нашего времени, но сейчас президентам письма не пишут. И президенты уже не те, да и что они могут? В 2014 году Хокинг выступил на BBC с пугающим прогнозом: «Разработка полноценного искусственного интеллекта может означать конец человеческой расы». Илон Маск отозвался в своем твиттере: «Нам нужно быть предельно аккуратными с искусственным интеллектом. Потенциально он куда более опасен, нежели ядерные боеголовки».

Уже в 2015 году Илон Маск основывает некоммерческую компанию OpenAI, ее цель — создать открытый и дружественный человеку искусственный интеллект, в противовес «злонамеренному искусственному интеллекту», над которым, как считается, работают все остальные — от Сергея Михайловича Брина до Рэймонда Курцвейла. Так что в этой истории кроме современного Эйнштейна есть и свой Роберт Оппенгеймер.

Маск провел переговоры с десятью ведущими специалистами по искусственному интеллекту. Девять из них согласились присоединиться к благотворительному проекту: они оставили свои руководящие должности и баснословные зарплаты, чтобы попытаться спасти мир. И число этих Робин Гудов, надо сказать, неуклонно растет. Да, OpenAI Илона Маска — это новый «Манхэттенский проект».

Итак, кто современный Эйнштейн, а кто Оппенгеймер — понятно. Но вот кто Гитлер и Гейзенберг? И в чем суть этого нового оружия? Как оно будет действовать? И чем все это закончится?

***

Знаете такую телепрограмму «Своя игра» (калька с американского формата Jeopardy!)? Она для умников — в ней побеждали Александр Друзь, Борис Бурда, Анатолий Вассерман. Все как один — интеллектуальные крутышки. Но с 2011 года любой умник проигрывает в этой игре суперкомпьютеру IBM Watson. Watson не просто знает все ответы (имея свободный доступ к интернету, это, наверное, не слишком сложно), он научился понимать вопросы: различать подтекст, метафору, языковую игру и т. д., и т. п.

Так что вполне резонно задаться вопросом: а умеет ли суперкомпьютер IBM Watson думать? Создатель Watson’а — Дэвид Ферруччи — отвечает на это буквально так: «А умеет ли подводная лодка плавать?» Не торопитесь читать дальше — почувствуйте его иронию.

Искусственный разум скоро превзойдет человеческий по всем возможным параметрам, и наша дальнейшая судьба, поверьте, незавидна. Впрочем, мы даже думать об этом с должной серьезностью не можем. Не можем по той же причине, по которой не способны представить себе инопланетян иначе как человечками с руками и ногами. Наше воображение все лепит по своему образу и подобию. Нам просто недостает фантазии, а точнее, ума.

Мы ментальные эгоцентрики. Утешаем себя отговорками об уникальности человеческого сознания, философствуем о личности, некоторые даже о душе подумывают. Но все это — лишь культурные химеры, удобные фикции. Ничего этого просто нет, а есть лишь работа миллиардов нервных клеток — химические реакции и электрические импульсы. Мы сами — программный продукт собственного мозга. А потому странно и слишком самонадеянно думать, что интеллект можно произвести только полуторакилограммовой биомассой из воды, жиров, белков и катехоламинов.

Понимаю, что все это звучит не слишком ободряюще. Но это правда. Близок тот день, когда глиняный колосс наших культурных заблуждений, накрученных вокруг «личности» и «человека», рухнет. Конечно, мы до последнего будем защищать эту свою духовную «прелесть». Это вообще свойство человеческого интеллекта — игнорировать факты и совершать беспримерные глупости, о чем со всей очевидностью свидетельствует механизм «когнитивного диссонанса» Леона Фестингера.

Впрочем, это только лишний повод задуматься: у искусственного интеллекта подобных дефектов, обусловленных нашей человечностью, не предвидится. Так что оживающая на глазах железяка имеет все шансы надрать нам зад. И не только в «Своей игре». Тем более что это будет уже «Его игра».

***

У биологического интеллекта, конечно, была фора в несколько миллионов лет. Но ведь и темп был другой. Сейчас искусственный интеллект развивается тем же путем — методом проб и ошибок, используя механизмы подкрепления и обратной связи. То есть это полноценная эволюция по механизму естественного отбора. Только вот скорость соответствующих итераций — переходов от поколения к поколению — на порядки выше. Да и материал для своего интеллектуального развития этот «человеческий детеныш» получает на блюдечке с голубой каемочкой. Это не просто информация, а хорошо структурированная, взаимосвязанная, иерархически выстроенная информация. Учись — не хочу.

Если же кто-то еще думает, что современный искусственный интеллект программируется умными дяденьками — строчка за строчкой, алгоритм за алгоритмом, а потому вся его жизнь под строгим контролем, — забудьте. Это самообучающиеся, самонастраивающиеся и саморазвивающиеся системы. Что у такого «черного ящика» внутри, никому неизвестно. Мы не знаем, как он выигрывает в «Своей игре» или в го у лучшего гроссмейстера на планете. Тот же Ферруччи, как любящий отец, счастливо рекомендует свое чадо: «Люди спрашивают, а почему Watson здесь ответил неправильно? Я не знаю. Почему он здесь ответил правильно? Я не знаю тоже!» В общем, «Карнавальная ночь»: «Есть ли жизнь на Марсе, нет ли жизни на Марсе? Наука пока не в курсе дела! Асса!» Только, в отличие от Марса, наука создала этого монстра собственными руками.

И конечно, все эти турниры да телевикторины — лишь верхушка айсберга, демонстрация возможностей, шоу-бизнес. Пока мы забавляемся показательными выступлениями, искусственный интеллект трудолюбиво учится распознавать нашу речь, говорить, узнавать нас в лицо (проекты, финансируемые DARPA) или, например, называть человеческим языком визуальные объекты (разработка NeuralTalk, Стэнфордский университет). Еще он теперь может сказать, где была сделана та или иная фотография (нейронная сеть PlaNet компании Google), о чем то или иное видео (система Cortex компании Twitter), заранее знает, кто победит на премии «Оскар» или в Суперкубке, а еще делает ставки на скачках 540 к 1 и выигрывает (система UNU Льюиса Розенберга).

Впрочем, больше всего меня умиляют роботы-писатели. Да, они пишут превосходные заметки! О спортивных соревнованиях, о ситуации на финансовых рынках, недвижимости, да и просто весьма увлекательно излагают обычные городские новости (компания Automated Insight Робби Аллена). И должен сказать, зачастую читать эти тексты куда приятнее, чем аналогичные опусы, созданные профессиональными журналистами. Так что, если вы на 100% уверены, что данный текст об искусственном интеллекте написан человеком, а не самим искусственным интеллектом, помните: это может оказаться иллюзией.

Да, машины уже очень неплохо справляются с задачами, которые мы традиционно считаем уникальным свойством человеческого мозга. Пока это лишь разрозненные системы, но представьте, что некий суперкомпьютер совсем скоро объединит в себе все эти способности. Впрочем, любая машина все равно будет лишь жалким подобием человеческого интеллекта, правда? Ох уж это наше самомнение! Подобием — да, но отнюдь не жалким, ведь она сможет одновременно учитывать все накопленное человечеством знание, а главное, будет иметь всю возможную информацию о каждом из нас.

***

«Надеюсь, мы с вами не являемся чем-то вроде загрузчика для искусственного суперинтеллекта будущего, — пишет Маск в том же твиттере. — Но, как мне кажется, все идет именно к этому». Маск одним из первых осознал, что значит предоставить искусственному интеллекту всю информацию о нас. То есть не то, что мы о себе думаем или, например, как мы выглядим (это нужно лишь для того, чтобы нас идентифицировать), а именно всю, то есть все о нашем действительном поведении, способах принятия решений и наших желаниях.

Это, вероятно, и пугает Маска больше всего, неслучайно же он говорит об искусственном интеллекте как об «экзистенциальной угрозе» человечеству. Представьте, что машина начинает предугадывать наши желания — мы и сами-то со своими желаниями не способны разобраться, но она справится, ведь знает не только то, что мы думаем, но и то, как действуем. Само по себе это, наверное, и неплохо. Но кто сказал, что искусственный интеллект распорядится соответствующим знанием в наших интересах? Если он будет знать наши желания, он сможет и влиять на них, управлять ими, то есть нами. Поэтому, надо полагать, Маск и ополчился на Google (а отчасти и на Facebook), хотя и уходит от прямых вопросов на эту тему.

Интернет-гиганты совсем не так давно вышли на безубыточность, а реальные вложения и вовсе далеки от окупаемости. Ставка изначально делалась не на прибыль, и не ради прибыли сюда вкладывались инвесторы. Ставка делалась на завоевание максимального объема рынка — на количество пользователей, захваченных тем или иным ресурсом. Google, Facebook (и поглощенный им Twitter), Apple, Instagram, «Яндекс» — все это своего рода виртуальные империи, в буквальном смысле колонизирующие народы и создающие свои квазигосударства.

Вопрос лишь в том, как этим империям управлять своими гражданами и какой бенефит из этого можно извлечь. Пока прежние политические системы деградируют, новые игроки политического рынка — интернет-гиганты — превращаются в протогосударственных монстров. Я всегда считал, что состояние рабства должно определяться следующим образом: тебе платят не за то, что ты делаешь, а за то, что ты просто есть (ну, а что тебе делать или не делать — уже не твоего ума дело). По этому принципу и развиваются эти новые империи — мы у них есть. Рабы и папуасы глобальной сети интернет, которые даже не догадываются, что их «уже посчитали».

Сейчас в штаб-квартирах новых мировых интернет-империй создается искусственный интеллект, который будет управлять нами изнутри системы. И бьюсь об заклад, что его создатели сами еще не знают, как этой безумной и неограниченной властью распорядиться. Полагаю, пока они рассуждают типичным для таких случаев образом: завоюем, поработим как следует, а потом уж решим, что со всем этим делать. А решать, действительно, придется: не ровен час, когда все завоеванное ими «богатство» (то есть мы с вами) превратится в самые настоящие черепки. Ведь если искусственный интеллект действительно достигнет того уровня развития, который сейчас кажется уже почти неизбежным, сами по себе люди будут экономике не нужны. Более того, превратятся в обузу.

Ну правда, раньше рабочая сила была реальным капиталом (© К. Маркс), а сейчас какая в ней нужда? Представьте себе недалекое будущее… На первых этажах наших домов вместо нынешних магазинов располагаются большие 3D-принтеры, к ним по трубам (что-то вроде нынешнего водопровода) поступает универсальный концентрат двух видов — съедобный и несъедобный. Вам остается только нажать на кнопку, и нужные предметы тут же изготавливаются и оказываются в вашей квартире. Причем сам этот концентрат также производится на бесчеловечных — полностью автоматизированных — производствах.

Искусственного креатива тоже будет хоть отбавляй. Его, чтобы мы не скучали, нам будут скармливать нон-стоп. Искусственный интеллект уже сейчас научился сочинять музыку и писать литературные тексты, а завтра он будет работать в системе полного цикла, поставляя нашему вниманию неограниченное множество аудиовизуальных произведений, причем в системе 3D-реальности. Смотреть можно будет сутками напролет — не оторвешься! То есть кроме искусственного хлеба нас ждут и искусственные зрелища, причем в избытке.

Но зачем этой системе люди? При таком раскладе, люди становятся самыми настоящими «домашними животными». Но домашних животных тоже заводят не просто так: или для того, чтобы их есть, или же (и таких куда меньше в процентном отношении), чтобы им умиляться. Но кто нам в такой ситуации будет умиляться и, главное, зачем? Искусственный интеллект и вправду должен оказаться тем еще извращенцем, чтобы его умиляло человечество. А съесть нас… Ну да, эту версию я уже описывал в предыдущей статье («Четвертая мировая. Начало») — нанонож и все такое.

В общем, все это пока напоминает какую-то ужасающую футурологическую фантасмагорию. И неудивительно, что трогательного Илона Маска это пугает. Кстати, его странная затея с полетом на Марс — с билетом в один конец — не кажется на этом фоне столь уж эксцентричной выходкой.

Так или иначе, зная интернет-индустрию изнутри, Илон Маск пока пытается примерить на себя роль Морфеуса и создать что-то вроде анти-Матрицы — такой искусственный интеллект, который не будет, как, например, гугловский, нас контролировать. Но можно ли его контролировать, если он действительно станет интеллектом, то есть сущностью, обладающей своим собственным умом и самосознанием? На этот вопрос, кажется, даже у самого Маска ответа нет.

***

Новый Оппенгеймер строит новую бомбу, чтобы обогнать новых фашистов. Но даже если он их обгонит, бомба будет создана, а такие штуки без дела не пропадают. Немногие, наверное, об этом знают, но Эйнштейн отправил Рузвельту и второе письмо, когда у американцев уже была бомба. В нем, как нетрудно догадаться, Эйнштейн пытался убедить президента не использовать атомное оружие. По стечению обстоятельств, письмо оказалось на столе Рузвельта 12 апреля 1945 года — в день его смерти — и даже не было распечатано.

Позже, вспоминая трагедию Хиросимы и Нагасаки, Эйнштейн признается своему биографу: «Да, я нажал на эту кнопку». Впрочем, он явно преувеличивал. Если и нажал, то не более, чем Хокинг на свою, мигая веком.

Да, ни Маск, ни Брин, бьющиеся в своем искусственно-интеллектуальном противостоянии, не учитывают того факта, что на сцене, подобно черному лебедю Нассима Талеба, в любой момент вместо интеллигентного Рузвельта может объявиться боевой офицер Гарри Трумэн. И руки у новых Трумэнов уже чешутся… Но об этой чесотке я, пожалуй, расскажу в следующий раз.

Андрей Курпатов