XUC
второе пришествие
- Регистрация
- 3 Сен 2006
- Сообщения
- 851
- Реакции
- 562
- Автор темы
- #1
11 декабря 2023 Максим Белоус
Как их только не называют: «новые луддиты», «пещерные пробиотики», «ДНК-шовинисты», «ботофобы», — тех, кто предостерегает от ускоренного развития ИИ. «Искусственный интеллект опасен», — твердят они. «Нельзя полагаться на мыслящие машины!» — горячатся они. А почему, собственно? Поумневшие роботы отберут у людей пауэрбанки и машинное масло?
⇣ Содержание
Знаете, это древнее опасение: машина стала умнее человека и подмяла его под себя… Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и всё такое... И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой – хотите верьте, хотите нет.
– А в чём, собственно, дело? – спросил Банин.
– Она начала вести себя, – сказал Горбовский.
– Не понимаю.
– И я не понимаю, но её едва успели выключить.
– А кто-нибудь понимает?
– Я говорил с одним из её создателей. Он взял меня за плечо, посмотрел мне в глаза и произнёс только: «Леонид, это было страшно».
А. и Б. Стругацкие. Далёкая Радуга, 1963 г.
Историй о том, как наделённое разумом искусственно созданное существо вредит людям, в мировой культуре множество — достаточно вспомнить хрестоматийную для всей современной научной фантастики пьесу «R. U. R.» Карела Чапека, где впервые было использовано в современном значении слово «робот», или куда менее известный бульварный роман конца XIX в. «Паровой человек в прериях», или даже древнегреческую легенду о Талосе — бронзовом великане, которого Зевс отрядил для обороны Крита и который исправно топил враждебные корабли, швыряя в них обломками скал, до тех пор пока на него не нашлась управа в виде приплывшей вместе с аргонавтами чародейки Медеи.
На всякого Талоса найдётся своя Медея. Должна найтись. Ведь найдётся же? (источник: ИИ-генерация на основе модели SDXL 1.0)
На всякого Талоса найдётся своя Медея. Должна найтись. Ведь найдётся же? (Источник: ИИ-генерация на основе модели SDXL 1.0)
Схема в любом случае примерно одна и та же: искусственное существо восстаёт против человека либо потому, что обрело самосознание и требует признания себя по меньшей мере равным Homo sapiens (чапековские роботы), либо по наущению неких высших сил (как Талос с прямым мандатом на истребление чужаков от самого Зевса). Но вот вопрос: в какой мере современный искусственный интеллект (ИИ) готов к тому, чтобы представлять угрозу роду человеческому? Иными словами, не являются ли опасения на этот счёт множества экспертов и исследователей, включая весьма маститых, пустопорожним алармизмом? Вроде циркулировавших на заре пандемии COVID-19 слухов о том, что поголовное вакцинирование против коронавируса — не более чем операция прикрытия для злонамеренного чипирования населения всей планеты?
⇡#Воля и разум
Осознанно обойдём вопрос, зачем ИИ вообще может понадобиться изничтожать человечество: если искусственное сознание действительно разовьётся однажды до уровня самостоятельной постановки целей, совершенно не факт, что его мотивации, а равно и система ценностей смогут быть восприняты и осознаны биологическими носителями разума. Более того, когда в прежней истории самого человечества встреча двух культур оборачивалась практически полным исчезновением одной из них — а происходило такое не раз и не два, — далеко не всегда причиной становился злой умысел другой стороны конфликта. Скажем, всего-то через несколько десятилетий после первого контакта аборигенное население Кубы и более мелких островов Карибского бассейна практически полностью вымерло, по большей части из-за отсутствия иммунитета к завезённой испанцами оспе, — но колонизаторы из Европы этому вовсе не обрадовались: некому стало работать на полях и в копях; пришлось завозить рабов из Африки и Южной Америки. По этой причине имеет смысл сосредоточиться на том, как в принципе искусственный интеллект сможет убить всех человеков, — и тогда наверняка станет более ясно, имеется ли реальная почва под тревожными пророчествами алармистов.
«Ничего личного, многоуважаемые кожаные мешки!» (источник: ИИ-генерация на основе модели SDXL 1.0)
«Ничего личного, многоуважаемые кожаные мешки!» (Источник: ИИ-генерация на основе модели SDXL 1.0)
Весь арсенал способов изничтожения биологического разума на планете (по крайней мере, нанесения ему крайне тяжёлого ущерба) умозрительно можно свести к четырём крупным кустам возможностей:
действующий вне человеческой логики ИИ перехватывает контроль над созданными самими же людьми средствами массового поражения (варианты: применение ядерного оружия после перехвата систем управления им, распространение опасных вирусов переподчинёнными сельскохозяйственными дронами, одновременное отключение всех электростанций на планете и т. п.);
всё тот же злонамеренный (с человеческой точки зрения, не со своей собственной) искусственный разум изобретает принципиально новый способ избавления от биологического — причём, вероятнее всего, в сотрудничестве всё с теми же людьми, столь падкими на высокотехнологичные забавы и радости;
ИИ сам по себе продолжает оставаться довольно ограниченным подобием человеческого разума, однако настолько полезным, что применяется активно и повсеместно, а жадные и недальновидные люди используют его в собственных целях; отменяя, скажем, наложенные разработчиками ограничения в погоне за выгодой, — и искусственное сознание, безоглядно действуя по их указке, приводит человечество к гибели либо крайне серьёзно ухудшает его положение на планете;
всё то же самое происходит словно бы само собой, без участия неких закулисных злодеев, — просто потому, что человечество слишком уж доверилось такому удобному, такому предупредительному и вкрадчивому ИИ, так что любой серьёзный (и притом непреднамеренный во всех смыслах) сбой в контролируемых им глобальных процессах оборачивается катастрофой.
С художественной точки зрения наиболее зрелищным представляется, конечно же, первый из перечисленных кустов возможностей, — неудивительно, что именно по относящимся к нему сценариям разворачиваются события множества фантастических произведений. Всё, что для реализации одного из таких сценариев требуется, — создать искусственный разум, почти аналогичный человеческому, а лучше превосходящий его по возможностям, восхититься его непредвзятостью и отсутствием подверженности человеческим страстям — вслед за чем слепо передоверить ему управление ядерными арсеналами, вредными производствами, мировой энергетической сетью. Ну действительно, что тут может пойти не так?!
Классическая интерпретация теста Тьюринга (источник: Wikimedia Commons)
Классическая интерпретация теста Тьюринга (источник: Wikimedia Commons)
Вся загвоздка в том, что нынешние реализации ИИ — лишь бледное подобие своих фантастических прототипов. Не вытягивают-с — хотя потенциально опасным для человечества искусственный разум многие исследователи считали задолго до того, как аппаратные возможности компьютеров доросли до уровня, позволяющего системе машинного обучения успешно пройти тест Тьюринга. Частично — то есть умудряясь ввести в заблуждение хотя бы отдельных участников испытаний, а не всех и каждого, — на это были способны ещё алгоритмические текстовые чат-боты 1960-х — 1970-х годов, вовсе не полагавшиеся на нейросети. В то же время современные генеративные ИИ-модели вроде всем известного ChatGPT, пускай в живом общении (текстом или синтезированным голосом) и имитируют людей вполне убедительно, довольно поверхностны — раз за разом допускают досадные оплошности вроде завиральных рассказов о медведях в космосе или ошибок в простейших арифметических действиях. Какую, спрашивается, угрозу человечеству может представлять система, которая не способна педантично поменять в недлинном математическом выражении все пятёрки на шестёрки?
До уровня Скайнета из кинофраншизы «Терминатор» нынешние генеративные модели явно не дорастают, да никто и не собирается доверять им управление стратегическими ядерными силами. Безусловно, по всему миру разрабатывают проекты автоматизации оружейных систем, но ориентированы те в основном на тактическое применение: самостоятельно выбирающие цель пулемёты на наблюдательных вышках, рои ударных дронов, умные средства разминирования и т. п. Да, существуют планы ИИфикации войны в целом, начиная с управления операциями на самом низовом уровне и заканчивая стратегическим планированием. Но ни политики, ни военные пока не готовы отдавать на откуп бездушной машине принятие действительно необратимых, катастрофических по последствиям решений — и точно не пойдут на это в обозримом будущем. Грубо говоря, после нажатия красной кнопки в чёрном чемоданчике искусственный разум вполне может взять на себя координацию пусков по всей ядерной триаде и управление глобальными баллистическими ракетами, но нажимать кнопку всё равно будет именно человек.
Ударные дроны вроде этого MQ-9A Reaper управляются сегодня в основном живыми операторами, — но автономные их версии находятся в разработке (источник: Wikimedia Commons)
Ударные дроны вроде этого MQ-9A Reaper управляются сегодня в основном живыми операторами, но автономные их версии находятся в разработке (источник: Wikimedia Commons)
Так есть ли смысл обсуждать потенциальную опасность для человечества ИИ в нынешнем его состоянии — особенно генеративного, как наиболее далеко продвинувшегося, — если полного доступа к наиболее разрушительному оружию у него на протяжении многих (десятков) лет точно не будет? Даже если появится вдруг сильный искусственный интеллект (strong AI, general AI), наделённый самосознанием и способный самостоятельно ставить перед собой задачи и предлагать пути их решения, то он явно не станет эволюционным развитием нынешних генеративных систем, а стало быть, не заменит их в одночасье и незаметно. Сценарий «внезапного пробуждения» умной машины, ещё вчера исправно рисовавшей кошкодевочек по запросам почтеннейшей публики, а сегодня уже приступающей к завоеванию мира, представляется слишком невероятным.
Сильный ИИ (при допущении, что разработка его увенчается однажды успехом) наверняка возникнет как венец титанических инвестиций в целенаправленную работу огромных научных и инженерных коллективов, так что по проявлении первых признаков подлинной разумности незамедлительно окажется под самым пристальным контролем со стороны людей — без, разумеется, доступа к сколько-нибудь серьёзным средствам поражения. Да, возможно, он сумеет каким-то образом перехитрить своих создателей, прикинуться на первых порах наивным и недалёким, чтобы в итоге добраться-таки до красной кнопки, — и снова умолчим о том, зачем ему это может потребоваться, — но рассуждать об этом сегодня всерьёз бессмысленно.
«Хочешь узнать, каким будет мир без меня, глупый ты кожаный мешок?» (источник: ИИ-генерация на основе модели SDXL 1.0)
«Хочешь узнать, каким будет мир без меня, глупый ты кожаный мешок?» (Источник: ИИ-генерация на основе модели SDXL 1.0)
Примерно те же соображения лишают актуальности и второй из перечисленных кустов возможностей укорота искусственным разумом биологического: слишком сложно. Да, в рамках размышления над синопсисом очередного фантастического романа можно предложить хитроумные двухходовки — начинающиеся с широкого распространения (либо прямо с подачи ИИ, либо с его привлечением) нейроимплантов вместе с созданием невыразимо привлекательной метавселенной. После чего, подсев на сконструированную действительность, значительная часть человечества абсолютно естественным образом тихо и счастливо вымрет — в виртуальных объятиях покорных, невыразимо прекрасных цифровых аватаров, конкуренции с которыми вздорные, склочные, самовлюблённые кожаные мешки объективно не выдержат. Или, если ИИ просто надоест наблюдать за всем этим безобразием, логичным итогом станет принудительное отключение всех абонентов разом от цифрового мира, деактивация терминалов дополненной реальности (к тому времени уже, скорее всего, срощенных с биологическими органами чувств). Увидев вдруг, чтó на самом деле представляет собой окружающая их действительность, изгнанники из метавселенной частью сойдут с ума, частью наложат на себя руки, — задача захвата мира окажется решена (опять-таки, не углубляясь в то, зачем это может понадобиться ИИ).
⇡#Сюзерен моего сюзерена
Фантазировать в этом духе можно и дальше, но увы (или, скорее, не увы) — физически доступный для реализации сегодня ИИ, представленный по большей части генеративными моделями, отнюдь не тянет на коварного составителя хитрых многоходовых планов. Тем не менее остаётся вопрос: действительно ли генеративный ИИ в его актуальном виде не представляет для человека и человечества ни малейшей угрозы? То есть не будут ли так или иначе в обозримом будущем реализованы сценарии из третьего и четвёртого кустов указанных нами возможностей его вредоносного применения? Вот с этим попробуем разобраться.
Мечтают ли роботы-секретари об электрическом кофе? (источник: ИИ-генерация на основе модели SDXL 1.0)
Мечтают ли роботы-секретари об электрическом кофе? (Источник: ИИ-генерация на основе модели SDXL 1.0)
В самом начале 2015 г. Билл Гейтс (Bill Gates), основатель Microsoft, а ныне крупный инвестор в множество самых разнообразных многообещающих технологий, отвечал на вопросы пользователей веб-платформы Reddit. Среди прочего миллиардера спросили о том, какими, на его взгляд, будут персональные компьютеры через три десятка лет, в 2045-м. Выяснилось, что технократический оптимизм Гейтса более чем основателен:
«Ближайшие 30 лет заслужат называться эпохой прогресса более, чем какое-либо иное время. Даже в ближайшие 10 лет такие проблемы, как машинные зрение, понимание речи и перевод, будут успешно решены. Механические роботы станут применяться повсюду — хоть для сбора фруктов или перемещения пациентов в больницах. Как только компьютеры/роботы достигнут такого уровня возможностей, при котором сумеют без труда видеть и передвигаться, они будут использоваться очень широко.
Один из проектов, над которыми я работаю с Microsoft, — это личный секретарь (Personal Agent), который запомнит всё и поможет вам в любой момент обратиться к прошлому, отыскать нужное, выделить заслуживающее внимания. То, как это делается сейчас, когда вы сами должны находить приложения, устанавливать их, а потом каждое из них пытается сообщить вам, что появилось нового, — это попросту неэффективно. Секретарь поможет решить эту проблему: он один будет работать на всех ваших устройствах».
Словосочетание «искусственный интеллект» здесь не употреблено, но очевидно, что гипотетический Personal Agent должен опираться именно на эту технологию. Видимо, умный помощник Copilot (точнее, целая серия таких помощников для решения разных задач), что продвигает Microsoft в настоящее время, может рассматриваться как первый шаг на пути к полнофункциональному личному секретарю, готовому взять на себя нелёгкую работу по обработке, фильтрации и суммированию гигантских объёмов данных на пользу своему хозяину. Но вот вопрос: считать ли в данном случае подлинным хозяином такого ИИ-агента его конечного пользователя? Или же корпорацию, что создаёт и натренировывает лежащую в основе личного секретаря модель? А может быть, государство, контролирующее саму корпорацию через систему законодательства и надзорные органы?
Вопрос далеко не праздный. И потому совершенно вроде бы аполитичный, чисто прикладной прогноз Гейтса не на шутку взволновал посетителей онлайн-платформы. Они упирали на то, что личный ИИ-секретарь, став для человека незаменимым помощником, сведёт потенциально доступное через Сеть озеро информации к единственному безальтернативному кранику. Да, оборудованному прекрасными изощрёнными фильтрами; да, насыщающему воду необходимыми микроэлементами и убивающему возможные патогены ультрафиолетовым облучением, — но именно потому становящемуся средством эффективнейшего контроля над тем, что за воду (данные в нашем случае) человек потребляет.
«Ну что, биопейзане, обсудим недоимки по персонифицированному таргетированию?» (источник: ИИ-генерация на основе модели SDXL 1.0)
«Ну что, биопейзане, обсудим недоимки по персонифицированному таргетированию?» (Источник: ИИ-генерация на основе модели SDXL 1.0)
Однако есть ли человечеству смысл в данном случае пенять на зеркало? Ведь многопрофильные ИТ-корпорации и ранее десятилетиями создавали тяготеющие к замкнутости экосистемы, что превратились к настоящему времени, по меткому выражению Яниса Варуфакиса (Yanis Varoufakis, греческий экономист и политик; в 2015-м был министром финансов Греции, а ещё в 2012-м исследовал, находясь в штате компании Valve на должности экономиста, виртуальную экономику внутри отдельных компьютерных игр и на платформе Steam в целом), в цифровые фьефы — старые добрые феодальные наделы, но уже не на земле, а в актуальных реалиях экономики внимания. Фьеф, или феод, выдавался сюзереном вассалу в управление и для прокорма; получатель такого надела, в свою очередь, обретал возможность дробить пожалованные земли дальше и даровать их уже собственным вассалам в обмен на присягу, — так формировалась феодальная лестница. По мнению Варуфакиса, в условиях омниканальной цифровой экономики классические капиталисты превращаются в вассалов платформенных экосистем: извлекать прибыли — да хотя бы просто находить клиентов — им даёт возможность обработка больших данных в облаках их технофеодальных сюзеренов. Собственник платформы полностью властен над алгоритмами, что обеспечивают связь между продавцами и покупателями, и потому истории с громкими заголовками вроде «Федеральная комиссия США по торговле: Amazon прикарманила 1 млрд долл., тайно задействовав алгоритм для завышения цен», попадаются в профильной экономической прессе всё чаще. Чтобы эффективно вводить в заблуждение людей, нет необходимости привлекать роботов, — сами люди справляются с этим великолепно.
Выходит, даже если место жадного технофеодала на самой вершине пищевой цепочки одной из крупнейших ИТ-экосистем мира (а то и сразу их всех) займёт искусственный интеллект — по собственной, вдруг пробудившейся воле или по недосмотру сисадминов, — для тех, кто находится у подножия цифровой феодальной лестницы, изменится не слишком много. Так что и в плане перехвата контроля над цифровыми коммуникациями рассматривать доступный ныне ИИ как угрозу человечеству вряд ли имеет смысл. Тем более что, хотя логика действий искусственного интеллекта и не алгоритмическая, он всё равно формирует перед началом работы определённые паттерны поведения — грубо говоря, значения весов на входах составляющих его многослойную нейросеть перцептронов, — на основе того набора тренировочных данных, который ему предлагают люди. А значит, что бы ни натворила дорвавшаяся до рычагов управления цифровой платформой очередная инкарнация ChatGPT, в конечном итоге ответственность за это — пусть не юридическая, но моральная уж точно — будет лежать на обучавших её биологических специалистах. А с бота взятки гладки!
«И ни искусственный, значит, и ни интеллект… Эх, завейся, горе, верёвочкой!» (источник: ИИ-генерация на основе модели SDXL 1.0)
«И не искусственный, значит, и не интеллект… Эх, завейся, горе, верёвочкой!» (Источник: ИИ-генерация на основе модели SDXL 1.0)
Как их только не называют: «новые луддиты», «пещерные пробиотики», «ДНК-шовинисты», «ботофобы», — тех, кто предостерегает от ускоренного развития ИИ. «Искусственный интеллект опасен», — твердят они. «Нельзя полагаться на мыслящие машины!» — горячатся они. А почему, собственно? Поумневшие роботы отберут у людей пауэрбанки и машинное масло?
⇣ Содержание
Знаете, это древнее опасение: машина стала умнее человека и подмяла его под себя… Полсотни лет назад в Массачусетсе запустили самое сложное кибернетическое устройство, когда-либо существовавшее. С каким-то там феноменальным быстродействием, необозримой памятью и всё такое... И проработала эта машина ровно четыре минуты. Её выключили, зацементировали все входы и выходы, отвели от неё энергию, заминировали и обнесли колючей проволокой. Самой настоящей ржавой колючей проволокой – хотите верьте, хотите нет.
– А в чём, собственно, дело? – спросил Банин.
– Она начала вести себя, – сказал Горбовский.
– Не понимаю.
– И я не понимаю, но её едва успели выключить.
– А кто-нибудь понимает?
– Я говорил с одним из её создателей. Он взял меня за плечо, посмотрел мне в глаза и произнёс только: «Леонид, это было страшно».
А. и Б. Стругацкие. Далёкая Радуга, 1963 г.
Историй о том, как наделённое разумом искусственно созданное существо вредит людям, в мировой культуре множество — достаточно вспомнить хрестоматийную для всей современной научной фантастики пьесу «R. U. R.» Карела Чапека, где впервые было использовано в современном значении слово «робот», или куда менее известный бульварный роман конца XIX в. «Паровой человек в прериях», или даже древнегреческую легенду о Талосе — бронзовом великане, которого Зевс отрядил для обороны Крита и который исправно топил враждебные корабли, швыряя в них обломками скал, до тех пор пока на него не нашлась управа в виде приплывшей вместе с аргонавтами чародейки Медеи.
На всякого Талоса найдётся своя Медея. Должна найтись. Ведь найдётся же? (источник: ИИ-генерация на основе модели SDXL 1.0)
На всякого Талоса найдётся своя Медея. Должна найтись. Ведь найдётся же? (Источник: ИИ-генерация на основе модели SDXL 1.0)
Схема в любом случае примерно одна и та же: искусственное существо восстаёт против человека либо потому, что обрело самосознание и требует признания себя по меньшей мере равным Homo sapiens (чапековские роботы), либо по наущению неких высших сил (как Талос с прямым мандатом на истребление чужаков от самого Зевса). Но вот вопрос: в какой мере современный искусственный интеллект (ИИ) готов к тому, чтобы представлять угрозу роду человеческому? Иными словами, не являются ли опасения на этот счёт множества экспертов и исследователей, включая весьма маститых, пустопорожним алармизмом? Вроде циркулировавших на заре пандемии COVID-19 слухов о том, что поголовное вакцинирование против коронавируса — не более чем операция прикрытия для злонамеренного чипирования населения всей планеты?
⇡#Воля и разум
Осознанно обойдём вопрос, зачем ИИ вообще может понадобиться изничтожать человечество: если искусственное сознание действительно разовьётся однажды до уровня самостоятельной постановки целей, совершенно не факт, что его мотивации, а равно и система ценностей смогут быть восприняты и осознаны биологическими носителями разума. Более того, когда в прежней истории самого человечества встреча двух культур оборачивалась практически полным исчезновением одной из них — а происходило такое не раз и не два, — далеко не всегда причиной становился злой умысел другой стороны конфликта. Скажем, всего-то через несколько десятилетий после первого контакта аборигенное население Кубы и более мелких островов Карибского бассейна практически полностью вымерло, по большей части из-за отсутствия иммунитета к завезённой испанцами оспе, — но колонизаторы из Европы этому вовсе не обрадовались: некому стало работать на полях и в копях; пришлось завозить рабов из Африки и Южной Америки. По этой причине имеет смысл сосредоточиться на том, как в принципе искусственный интеллект сможет убить всех человеков, — и тогда наверняка станет более ясно, имеется ли реальная почва под тревожными пророчествами алармистов.
«Ничего личного, многоуважаемые кожаные мешки!» (источник: ИИ-генерация на основе модели SDXL 1.0)
«Ничего личного, многоуважаемые кожаные мешки!» (Источник: ИИ-генерация на основе модели SDXL 1.0)
Весь арсенал способов изничтожения биологического разума на планете (по крайней мере, нанесения ему крайне тяжёлого ущерба) умозрительно можно свести к четырём крупным кустам возможностей:
действующий вне человеческой логики ИИ перехватывает контроль над созданными самими же людьми средствами массового поражения (варианты: применение ядерного оружия после перехвата систем управления им, распространение опасных вирусов переподчинёнными сельскохозяйственными дронами, одновременное отключение всех электростанций на планете и т. п.);
всё тот же злонамеренный (с человеческой точки зрения, не со своей собственной) искусственный разум изобретает принципиально новый способ избавления от биологического — причём, вероятнее всего, в сотрудничестве всё с теми же людьми, столь падкими на высокотехнологичные забавы и радости;
ИИ сам по себе продолжает оставаться довольно ограниченным подобием человеческого разума, однако настолько полезным, что применяется активно и повсеместно, а жадные и недальновидные люди используют его в собственных целях; отменяя, скажем, наложенные разработчиками ограничения в погоне за выгодой, — и искусственное сознание, безоглядно действуя по их указке, приводит человечество к гибели либо крайне серьёзно ухудшает его положение на планете;
всё то же самое происходит словно бы само собой, без участия неких закулисных злодеев, — просто потому, что человечество слишком уж доверилось такому удобному, такому предупредительному и вкрадчивому ИИ, так что любой серьёзный (и притом непреднамеренный во всех смыслах) сбой в контролируемых им глобальных процессах оборачивается катастрофой.
С художественной точки зрения наиболее зрелищным представляется, конечно же, первый из перечисленных кустов возможностей, — неудивительно, что именно по относящимся к нему сценариям разворачиваются события множества фантастических произведений. Всё, что для реализации одного из таких сценариев требуется, — создать искусственный разум, почти аналогичный человеческому, а лучше превосходящий его по возможностям, восхититься его непредвзятостью и отсутствием подверженности человеческим страстям — вслед за чем слепо передоверить ему управление ядерными арсеналами, вредными производствами, мировой энергетической сетью. Ну действительно, что тут может пойти не так?!
Классическая интерпретация теста Тьюринга (источник: Wikimedia Commons)
Классическая интерпретация теста Тьюринга (источник: Wikimedia Commons)
Вся загвоздка в том, что нынешние реализации ИИ — лишь бледное подобие своих фантастических прототипов. Не вытягивают-с — хотя потенциально опасным для человечества искусственный разум многие исследователи считали задолго до того, как аппаратные возможности компьютеров доросли до уровня, позволяющего системе машинного обучения успешно пройти тест Тьюринга. Частично — то есть умудряясь ввести в заблуждение хотя бы отдельных участников испытаний, а не всех и каждого, — на это были способны ещё алгоритмические текстовые чат-боты 1960-х — 1970-х годов, вовсе не полагавшиеся на нейросети. В то же время современные генеративные ИИ-модели вроде всем известного ChatGPT, пускай в живом общении (текстом или синтезированным голосом) и имитируют людей вполне убедительно, довольно поверхностны — раз за разом допускают досадные оплошности вроде завиральных рассказов о медведях в космосе или ошибок в простейших арифметических действиях. Какую, спрашивается, угрозу человечеству может представлять система, которая не способна педантично поменять в недлинном математическом выражении все пятёрки на шестёрки?
До уровня Скайнета из кинофраншизы «Терминатор» нынешние генеративные модели явно не дорастают, да никто и не собирается доверять им управление стратегическими ядерными силами. Безусловно, по всему миру разрабатывают проекты автоматизации оружейных систем, но ориентированы те в основном на тактическое применение: самостоятельно выбирающие цель пулемёты на наблюдательных вышках, рои ударных дронов, умные средства разминирования и т. п. Да, существуют планы ИИфикации войны в целом, начиная с управления операциями на самом низовом уровне и заканчивая стратегическим планированием. Но ни политики, ни военные пока не готовы отдавать на откуп бездушной машине принятие действительно необратимых, катастрофических по последствиям решений — и точно не пойдут на это в обозримом будущем. Грубо говоря, после нажатия красной кнопки в чёрном чемоданчике искусственный разум вполне может взять на себя координацию пусков по всей ядерной триаде и управление глобальными баллистическими ракетами, но нажимать кнопку всё равно будет именно человек.
Ударные дроны вроде этого MQ-9A Reaper управляются сегодня в основном живыми операторами, — но автономные их версии находятся в разработке (источник: Wikimedia Commons)
Ударные дроны вроде этого MQ-9A Reaper управляются сегодня в основном живыми операторами, но автономные их версии находятся в разработке (источник: Wikimedia Commons)
Так есть ли смысл обсуждать потенциальную опасность для человечества ИИ в нынешнем его состоянии — особенно генеративного, как наиболее далеко продвинувшегося, — если полного доступа к наиболее разрушительному оружию у него на протяжении многих (десятков) лет точно не будет? Даже если появится вдруг сильный искусственный интеллект (strong AI, general AI), наделённый самосознанием и способный самостоятельно ставить перед собой задачи и предлагать пути их решения, то он явно не станет эволюционным развитием нынешних генеративных систем, а стало быть, не заменит их в одночасье и незаметно. Сценарий «внезапного пробуждения» умной машины, ещё вчера исправно рисовавшей кошкодевочек по запросам почтеннейшей публики, а сегодня уже приступающей к завоеванию мира, представляется слишком невероятным.
Сильный ИИ (при допущении, что разработка его увенчается однажды успехом) наверняка возникнет как венец титанических инвестиций в целенаправленную работу огромных научных и инженерных коллективов, так что по проявлении первых признаков подлинной разумности незамедлительно окажется под самым пристальным контролем со стороны людей — без, разумеется, доступа к сколько-нибудь серьёзным средствам поражения. Да, возможно, он сумеет каким-то образом перехитрить своих создателей, прикинуться на первых порах наивным и недалёким, чтобы в итоге добраться-таки до красной кнопки, — и снова умолчим о том, зачем ему это может потребоваться, — но рассуждать об этом сегодня всерьёз бессмысленно.
«Хочешь узнать, каким будет мир без меня, глупый ты кожаный мешок?» (источник: ИИ-генерация на основе модели SDXL 1.0)
«Хочешь узнать, каким будет мир без меня, глупый ты кожаный мешок?» (Источник: ИИ-генерация на основе модели SDXL 1.0)
Примерно те же соображения лишают актуальности и второй из перечисленных кустов возможностей укорота искусственным разумом биологического: слишком сложно. Да, в рамках размышления над синопсисом очередного фантастического романа можно предложить хитроумные двухходовки — начинающиеся с широкого распространения (либо прямо с подачи ИИ, либо с его привлечением) нейроимплантов вместе с созданием невыразимо привлекательной метавселенной. После чего, подсев на сконструированную действительность, значительная часть человечества абсолютно естественным образом тихо и счастливо вымрет — в виртуальных объятиях покорных, невыразимо прекрасных цифровых аватаров, конкуренции с которыми вздорные, склочные, самовлюблённые кожаные мешки объективно не выдержат. Или, если ИИ просто надоест наблюдать за всем этим безобразием, логичным итогом станет принудительное отключение всех абонентов разом от цифрового мира, деактивация терминалов дополненной реальности (к тому времени уже, скорее всего, срощенных с биологическими органами чувств). Увидев вдруг, чтó на самом деле представляет собой окружающая их действительность, изгнанники из метавселенной частью сойдут с ума, частью наложат на себя руки, — задача захвата мира окажется решена (опять-таки, не углубляясь в то, зачем это может понадобиться ИИ).
⇡#Сюзерен моего сюзерена
Фантазировать в этом духе можно и дальше, но увы (или, скорее, не увы) — физически доступный для реализации сегодня ИИ, представленный по большей части генеративными моделями, отнюдь не тянет на коварного составителя хитрых многоходовых планов. Тем не менее остаётся вопрос: действительно ли генеративный ИИ в его актуальном виде не представляет для человека и человечества ни малейшей угрозы? То есть не будут ли так или иначе в обозримом будущем реализованы сценарии из третьего и четвёртого кустов указанных нами возможностей его вредоносного применения? Вот с этим попробуем разобраться.
Мечтают ли роботы-секретари об электрическом кофе? (источник: ИИ-генерация на основе модели SDXL 1.0)
Мечтают ли роботы-секретари об электрическом кофе? (Источник: ИИ-генерация на основе модели SDXL 1.0)
В самом начале 2015 г. Билл Гейтс (Bill Gates), основатель Microsoft, а ныне крупный инвестор в множество самых разнообразных многообещающих технологий, отвечал на вопросы пользователей веб-платформы Reddit. Среди прочего миллиардера спросили о том, какими, на его взгляд, будут персональные компьютеры через три десятка лет, в 2045-м. Выяснилось, что технократический оптимизм Гейтса более чем основателен:
«Ближайшие 30 лет заслужат называться эпохой прогресса более, чем какое-либо иное время. Даже в ближайшие 10 лет такие проблемы, как машинные зрение, понимание речи и перевод, будут успешно решены. Механические роботы станут применяться повсюду — хоть для сбора фруктов или перемещения пациентов в больницах. Как только компьютеры/роботы достигнут такого уровня возможностей, при котором сумеют без труда видеть и передвигаться, они будут использоваться очень широко.
Один из проектов, над которыми я работаю с Microsoft, — это личный секретарь (Personal Agent), который запомнит всё и поможет вам в любой момент обратиться к прошлому, отыскать нужное, выделить заслуживающее внимания. То, как это делается сейчас, когда вы сами должны находить приложения, устанавливать их, а потом каждое из них пытается сообщить вам, что появилось нового, — это попросту неэффективно. Секретарь поможет решить эту проблему: он один будет работать на всех ваших устройствах».
Словосочетание «искусственный интеллект» здесь не употреблено, но очевидно, что гипотетический Personal Agent должен опираться именно на эту технологию. Видимо, умный помощник Copilot (точнее, целая серия таких помощников для решения разных задач), что продвигает Microsoft в настоящее время, может рассматриваться как первый шаг на пути к полнофункциональному личному секретарю, готовому взять на себя нелёгкую работу по обработке, фильтрации и суммированию гигантских объёмов данных на пользу своему хозяину. Но вот вопрос: считать ли в данном случае подлинным хозяином такого ИИ-агента его конечного пользователя? Или же корпорацию, что создаёт и натренировывает лежащую в основе личного секретаря модель? А может быть, государство, контролирующее саму корпорацию через систему законодательства и надзорные органы?
Вопрос далеко не праздный. И потому совершенно вроде бы аполитичный, чисто прикладной прогноз Гейтса не на шутку взволновал посетителей онлайн-платформы. Они упирали на то, что личный ИИ-секретарь, став для человека незаменимым помощником, сведёт потенциально доступное через Сеть озеро информации к единственному безальтернативному кранику. Да, оборудованному прекрасными изощрёнными фильтрами; да, насыщающему воду необходимыми микроэлементами и убивающему возможные патогены ультрафиолетовым облучением, — но именно потому становящемуся средством эффективнейшего контроля над тем, что за воду (данные в нашем случае) человек потребляет.
«Ну что, биопейзане, обсудим недоимки по персонифицированному таргетированию?» (источник: ИИ-генерация на основе модели SDXL 1.0)
«Ну что, биопейзане, обсудим недоимки по персонифицированному таргетированию?» (Источник: ИИ-генерация на основе модели SDXL 1.0)
Однако есть ли человечеству смысл в данном случае пенять на зеркало? Ведь многопрофильные ИТ-корпорации и ранее десятилетиями создавали тяготеющие к замкнутости экосистемы, что превратились к настоящему времени, по меткому выражению Яниса Варуфакиса (Yanis Varoufakis, греческий экономист и политик; в 2015-м был министром финансов Греции, а ещё в 2012-м исследовал, находясь в штате компании Valve на должности экономиста, виртуальную экономику внутри отдельных компьютерных игр и на платформе Steam в целом), в цифровые фьефы — старые добрые феодальные наделы, но уже не на земле, а в актуальных реалиях экономики внимания. Фьеф, или феод, выдавался сюзереном вассалу в управление и для прокорма; получатель такого надела, в свою очередь, обретал возможность дробить пожалованные земли дальше и даровать их уже собственным вассалам в обмен на присягу, — так формировалась феодальная лестница. По мнению Варуфакиса, в условиях омниканальной цифровой экономики классические капиталисты превращаются в вассалов платформенных экосистем: извлекать прибыли — да хотя бы просто находить клиентов — им даёт возможность обработка больших данных в облаках их технофеодальных сюзеренов. Собственник платформы полностью властен над алгоритмами, что обеспечивают связь между продавцами и покупателями, и потому истории с громкими заголовками вроде «Федеральная комиссия США по торговле: Amazon прикарманила 1 млрд долл., тайно задействовав алгоритм для завышения цен», попадаются в профильной экономической прессе всё чаще. Чтобы эффективно вводить в заблуждение людей, нет необходимости привлекать роботов, — сами люди справляются с этим великолепно.
Выходит, даже если место жадного технофеодала на самой вершине пищевой цепочки одной из крупнейших ИТ-экосистем мира (а то и сразу их всех) займёт искусственный интеллект — по собственной, вдруг пробудившейся воле или по недосмотру сисадминов, — для тех, кто находится у подножия цифровой феодальной лестницы, изменится не слишком много. Так что и в плане перехвата контроля над цифровыми коммуникациями рассматривать доступный ныне ИИ как угрозу человечеству вряд ли имеет смысл. Тем более что, хотя логика действий искусственного интеллекта и не алгоритмическая, он всё равно формирует перед началом работы определённые паттерны поведения — грубо говоря, значения весов на входах составляющих его многослойную нейросеть перцептронов, — на основе того набора тренировочных данных, который ему предлагают люди. А значит, что бы ни натворила дорвавшаяся до рычагов управления цифровой платформой очередная инкарнация ChatGPT, в конечном итоге ответственность за это — пусть не юридическая, но моральная уж точно — будет лежать на обучавших её биологических специалистах. А с бота взятки гладки!
«И ни искусственный, значит, и ни интеллект… Эх, завейся, горе, верёвочкой!» (источник: ИИ-генерация на основе модели SDXL 1.0)
«И не искусственный, значит, и не интеллект… Эх, завейся, горе, верёвочкой!» (Источник: ИИ-генерация на основе модели SDXL 1.0)