Від AlphaGo від Google, що перемагає шахістів-людей, до ChatGpt, що викликає гарячі дискусії в технологічній спільноті, кожен прогрес у технології штучного інтелекту впливає на нерви людей. Немає сумніву, що штучний інтелект глибоко змінює наше суспільство, економіку, політику та навіть зовнішню політику, і традиційні теорії минулого часто не можуть пояснити вплив усього цього. У книзі «Ера штучного інтелекту та майбутнє людства» Кіссінджер, відомий дипломат, Шмідт, колишній генеральний директор Google, і Хаттенлохер, декан Школи комп’ютерних наук Шварцмана в Массачусетському технологічному інституті, сортують Розглянемо минуле життя штучного інтелекту з різних точок зору. Це життя та всебічно обговоримо різні наслідки, які його розвиток може мати на окремих осіб, підприємства, уряди, суспільства та країни. Кілька провідних мислителів вважають, що в міру того, як можливості штучного інтелекту стають дедалі сильнішими, ми повинні ще довго думати про те, як позиціонувати роль людей. Нижченаведений вміст взято з книги «Ера штучного інтелекту та майбутнє людства» з дозволу видавця з видаленнями та редакціями, субтитри додано редактором.
Автор оригіналу | [США] Генрі Кіссінджер / [США] Ерік Шмідт / [США] Деніел Гуттенлочер
**Що принесе загальний штучний інтелект? **
Чи можуть люди та штучний інтелект підходити до однієї реальності з різних точок зору, і чи можуть вони взаємодоповнювати та доповнювати один одного? Або ми сприймаємо дві різні, але частково збігаються реальності: одну, яку люди можуть пояснити раціонально, і іншу, яку штучний інтелект може пояснити алгоритмічно? Якщо відповідь остання, то штучний інтелект може сприймати речі, які ми ще не сприймали і не можемо сприйняти — не тільки тому, що у нас немає достатньо часу міркувати про них по-своєму, але й тому, що вони існують у тому місці, де наш розум не може концептуалізувати. Прагнення людства до «повного розуміння світу» зміниться, і люди зрозуміють, що для отримання певних знань нам може знадобитися довірити штучному інтелекту отримувати знання за нас і звітувати нам. Незалежно від відповіді, у міру того як штучний інтелект переслідує більш комплексні та широкі цілі, він все більше й більше буде виглядати для людей як «істота», яка відчуває та розуміє світ – поєднання інструментів, домашніх тварин і розуму.
У міру того, як дослідники наближаються або досягають штучного загального інтелекту, головоломка буде тільки глибшати. Як ми обговорювали в розділі 3, AGI не обмежуватиметься навчанням і виконанням конкретних завдань; натомість, за визначенням, AGI зможе навчатися та виконувати надзвичайно широкий спектр завдань, як і люди. Розробка загального штучного інтелекту вимагатиме величезної обчислювальної потужності, що може призвести до того, що лише кілька добре фінансованих організацій зможуть створити такий ШІ. Як і у випадку з поточним штучним інтелектом, хоча AGI можна легко розгорнути децентралізовано, враховуючи його можливості, його застосування обов’язково буде обмеженим. Обмеження можуть бути накладені на AGI, дозволяючи керувати ним лише затвердженим організаціям. Тоді постає питання: хто контролюватиме AGI? Хто дасть дозвіл на його використання? Чи все ще можлива демократія у світі, де кількома «геніальними» машинами керують кілька організацій? Як у цьому випадку виглядатиме співпраця людини та ШІ?
Якщо загальний штучний інтелект таки з’явиться у світі, це стане великим інтелектуальним, науковим і стратегічним досягненням. Але навіть якщо йому це не вдасться, штучний інтелект також може здійснити революцію в людських справах. Прагнення та здатність ШІ реагувати на надзвичайні ситуації (або несподівані події) і надавати рішення відрізняє його від попередніх технологій. Якщо його не регулювати, штучний інтелект може відхилитися від наших очікувань і, відповідно, від наших намірів. Рішення про те, чи обмежувати його, співпрацювати з ним чи підкорятися йому, не будуть приймати виключно люди. У деяких випадках це визначатиме сам ШІ; в інших це залежатиме від різних сприятливих факторів. Люди можуть бути залучені в «гонку на дно».
Оскільки штучний інтелект автоматизує процеси, дозволяє людям досліджувати величезні масиви даних, а також організовує та реструктурує фізичну та соціальну сфери, перші можуть отримати перевагу перших. Конкурентний тиск може змусити сторони змагатися за розгортання AGI без достатнього часу для оцінки ризиків або просто ігнорувати їх. Етика штучного інтелекту є важливою. Кожне окреме рішення — обмежити, співпрацювати чи підкорятися — може мати драматичні наслідки, а може і не мати, але в поєднанні вплив збільшується.
Ці рішення не можуть прийматися окремо. Якщо людство хоче формувати майбутнє, воно має домовитися про спільні принципи, якими керується кожен вибір. Це правда, що колективна дія складна, а іноді навіть неможлива, але індивідуальні дії без керівництва загальною моральною нормою призведуть лише до ще більшого безладу та хаосу для людства в цілому. Ті, хто розробляє, навчає та працює з ШІ, зможуть досягти цілей такого масштабу та складності, які досі були недосяжні для людей, наприклад, нові наукові відкриття, нова економічна ефективність, нові форми безпеки та новий вимір соціального спостереження. І під час розширення штучного інтелекту та його використання ті, хто не має повноважень, можуть відчувати, що за ними спостерігають, вивчають і діють сили, яких вони не розуміють, і це не їх власний задум чи вибір. Ця влада діє в непрозорий спосіб, який у багатьох суспільствах не може терпіти традиційні людські актори чи інституції. Розробники та розробники штучного інтелекту повинні бути готові вирішити ці проблеми, починаючи з пояснення нетехнічним людям, що робить штучний інтелект, що він «знає» і як він це робить. Динамічний і новий характер штучного інтелекту створює неоднозначність принаймні двома способами. По-перше, штучний інтелект може працювати так, як ми очікуємо, але давати результати, які ми не можемо передбачити. Ці результати можуть привести людство туди, чого його творці ніколи не очікували, так само як політики в 1914 році не змогли зрозуміти, що стара логіка військової мобілізації в поєднанні з новою технологією втягне Європу у війну. Штучний інтелект також може мати серйозні наслідки, якщо його розгортати та використовувати без ретельного розгляду.
Кадри з фільму Аліта: Бойовий ангел.
Ці наслідки можуть бути незначними, як-от небезпечне для життя рішення, прийняте самокерованим автомобілем, або надзвичайно значними, як-от серйозний військовий конфлікт. По-друге, у деяких областях застосування штучний інтелект може бути непередбачуваним і діяти абсолютно несподівано. Взявши за приклад AlphaZero, він розробив стиль шахів, про який люди навіть не уявляли за тисячі років історії шахів, лише згідно з інструкціями «виграшних шахів». Хоча люди можуть бути обережними, прописуючи цілі штучного інтелекту, оскільки ми надаємо йому більшу свободу, його шлях до цієї мети може здивувати нас і навіть налякати. Таким чином, необхідно ретельно розробити як орієнтацію, так і мандат ШІ, особливо в тих сферах, де його рішення можуть бути смертельними. ШІ не слід розглядати як автономний, без нагляду, а також не можна дозволяти здійснювати безповоротні дії без нагляду, спостереження або прямого контролю. Штучний інтелект був створений людьми, тому він також повинен контролюватися людьми. Але одна з проблем штучного інтелекту в наш час полягає в тому, що люди, які мають навички та ресурси для його створення, не обов’язково мають філософську точку зору, щоб зрозуміти його ширші наслідки. Багато творців штучного інтелекту зосереджуються насамперед на програмах, які вони намагаються досягти, і проблемах, які вони хочуть вирішити: вони можуть не зупинятися, щоб подумати, чи спричинить рішення історичну революцію, або як їхня технологія вплине на різні натовпи. Епоха штучного інтелекту потребує власних Декарта та Канта, щоб пояснити, що ми створили та що це означає для людей.
Нам потрібно організувати раціональні дискусії та переговори за участю урядів, університетів і інноваторів приватної промисловості, і метою має бути встановлення обмежень для практичних дій, подібних до тих, які сьогодні керують індивідуальними та організаційними діями. ШІ має деякі з тих самих атрибутів, але відрізняється від них у деяких важливих аспектах, поточних регульованих продуктів, послуг, технологій та організацій, оскільки йому не вистачає повністю визначеної концептуальної та правової основи. Наприклад, провокаційний характер штучного інтелекту, який постійно розвивається, викликає регулятивні проблеми: хто і як він працює у світі, може відрізнятися в різних сферах і розвиватися з часом, і не завжди передбачуваним чином. Управління людьми керується кодексом етики. ШІ потрібен власний моральний компас, який відображає не лише природу технології, але й виклики, які вона створює.
Часто усталені принципи тут не діють. В епоху віри, коли обвинувачені в інквізиції стикалися з бойовим вердиктом, суд міг вирішити злочин, але Бог вирішував, хто переможе. В епоху розуму люди визначали провину відповідно до приписів розуму, судили злочини та карали за них відповідно до таких понять, як причинний зв’язок і злочинний намір. Але штучний інтелект не діє на основі людського розуму, а також не має людської мотивації, наміру чи саморефлексії. Таким чином, впровадження ШІ ускладнить існуючі принципи справедливості, які стосуються людей.
Коли автономна система діє на основі власних уявлень і рішень, чи несуть її творці відповідальність? Або чи не слід плутати дії ШІ з діями його творців, принаймні з точки зору провини? Якщо штучний інтелект буде використовуватися для виявлення ознак злочинної поведінки або для визначення того, чи є хтось винним, чи повинен штучний інтелект мати можливість «пояснити», як він прийшов до своїх висновків, щоб люди могли довіряти йому? Крім того, на якому етапі та в якому контексті технологічного розвитку ШІ має бути предметом міжнародних переговорів? Це ще одна важлива тема дискусії. Якщо дослідити занадто рано, розвиток технології може бути загальмований, або може виникнути спокуса приховати свої можливості; занадто довго затримуватись, це може мати руйнівні наслідки, особливо для військових. Ця проблема ускладнюється труднощами розробки ефективних механізмів перевірки для технології, яка є ефірною, малозрозумілою та легко поширюваною. Офіційними учасниками переговорів обов’язково будуть уряди, але також буде потреба в голосі технологів, етиків, компаній, які створюють і керують штучним інтелектом, та інших за межами галузі.
Кадри з американської драми "Західний світ".
Дилеми, які ставить ШІ, мають далекосяжні наслідки для різних суспільств. Значна частина нашого соціального та політичного життя сьогодні відбувається на онлайн-платформах із підтримкою штучного інтелекту, і демократії, зокрема, покладаються на ці інформаційні простори для дебатів і спілкування, формування громадської думки та надання їй легітимності. Хто або яка агенція повинна визначати роль технології? Хто має це регулювати? Яку роль мають відігравати люди, які використовують ШІ? А як щодо компаній, які виробляють штучний інтелект? Що щодо соціальних урядів, які розгортають це? У рамках вирішення цих проблем ми повинні спробувати зробити його доступним для аудиту, тобто його процеси та висновки можна перевіряти та виправляти. У свою чергу, чи можна буде внести виправлення, залежатиме від здатності вдосконалити принципи форми сприйняття ШІ та прийняття рішень. Мораль, воля і навіть причинно-наслідковий зв’язок погано вписуються у світ автономного штучного інтелекту. Подібні проблеми виникають на більшості рівнів суспільства, від транспорту до фінансів і медицини.
Розглянемо вплив штучного інтелекту на соціальні мережі. Завдяки останнім інноваціям ці платформи швидко стали важливим аспектом нашого суспільного життя. Як ми обговорювали в розділі 4, функції, які Twitter і Facebook використовують для виділення, обмеження або повної заборони вмісту або окремих людей, покладаються на штучний інтелект, що є свідченням його потужності. Використання штучного інтелекту для одностороннього та часто непрозорого просування або видалення контенту та концепцій є проблемою для всіх країн, особливо демократичних. Чи можливо для нас зберегти домінування, оскільки наше соціальне та політичне життя все більше зміщується в бік областей, керованих штучним інтелектом, і ми можемо покладатися лише на таке управління, щоб керувати ними?
Практика використання штучного інтелекту для обробки великих обсягів інформації також створює ще одну проблему: штучний інтелект посилює спотворення світу, щоб задовольнити інстинктивні уподобання людини. Це сфера, де штучний інтелект може легко посилити наші когнітивні упередження, але ми все ще резонуємо з ними. З цими голосами, які стикаються з різноманітністю вибору та мають право вибирати та відсіювати, люди отримають потік дезінформації. Компанії соціальних медіа не сприяють екстремальній і насильницькій політичній поляризації через свої стрічки новин, але очевидно, що ці послуги також не ведуть до максимізації просвітницького дискурсу.
Штучний інтелект, безкоштовна інформація та незалежне мислення
Отже, як мають виглядати наші відносини з ШІ? Чи слід його обмежувати, надавати повноваження чи розглядати як партнера в управлінні цими доменами? Немає сумніву, що поширення певної інформації, особливо свідомо створеної неправдивої інформації, може завдати шкоди, розколу та підбурювання. Тому потрібні деякі обмеження. Однак засудження, напад і замовчування «шкідливої інформації» зараз надто розкуті, і це також має спонукати до роздумів.
У вільному суспільстві визначення шкідливої та дезінформації не повинно обмежуватися компетенцією корпорацій. Проте, якщо такі обов’язки покладаються на урядову групу чи агенцію, ця група чи агенція повинна діяти відповідно до встановлених державних стандартів і за допомогою процедур, які можна перевірити, щоб уникнути експлуатації з боку тих, хто має владу. Якщо це доручено алгоритму штучного інтелекту, цільова функція, навчання, рішення та дії алгоритму мають бути чіткими та підлягати зовнішньому контролю, а також принаймні певній формі людського звернення.
Звичайно, різні суспільства дадуть на це різні відповіді. Деякі суспільства можуть наголошувати на свободі вираження поглядів, можливо, різною мірою на основі їх відносного розуміння окремих висловлювань, і таким чином можуть обмежувати роль ШІ в модеруванні контенту. Кожне суспільство вибирає, які ідеї воно цінує, що може призвести до складних відносин із операторами багатонаціональних мережевих платформ. ШІ вбирає в себе, як губка, навчаючись у людей, навіть коли ми його проектуємо та формуємо.
Кадри з американської драми "Західний світ".
Таким чином, не тільки вибір кожного суспільства різний, але й стосунки кожного суспільства з ШІ, сприйняття ШІ та те, як ШІ наслідує людей і вчиться у людей-вчителів, також відрізняються. Але одне можна сказати напевно, а саме те, що людський пошук фактів і істини не повинен змушувати суспільство відчувати життя через погано визначений і неперевірений фільтр. Спонтанне переживання реальності, незважаючи на всі його суперечності та складності, є важливим аспектом людського життя, навіть якщо воно призводить до неефективності чи помилок.
Штучний інтелект і міжнародний порядок
По всьому світу незліченні запитання чекають відповідей. Як можна регулювати онлайн-платформи штучного інтелекту, не викликаючи напруги між країнами, стурбованими їхньою безпекою? Чи ці онлайн-платформи розмиють традиційні уявлення про національний суверенітет? Чи призведуть зміни до поляризації світу, якої не було з часів розпаду Радянського Союзу? Невеликий Конгрес заперечує? Чи будуть успішними спроби врегулювати ці наслідки? Або є надія на успіх?
Оскільки можливості штучного інтелекту продовжують зростати, те, як позиціонувати роль людей у співпраці зі штучним інтелектом, ставатиме все більш важливим і складним. Ми можемо уявити собі світ, у якому люди все більше поважають думку штучного інтелекту щодо питань, що набувають все більшої ваги. У світі, де наступальні супротивники успішно розгортають ШІ, чи можуть лідери на стороні оборони вирішити не розгортати власний ШІ та взяти на себе відповідальність? Навіть вони не впевнені, як це розгортання розвиватиметься. І якщо штучний інтелект має кращу здатність рекомендувати курс дій, чи є підстави для тих, хто приймає рішення, приймати його, навіть якщо цей курс дій вимагає певного рівня жертв? Як людина може знати, чи така жертва необхідна для перемоги? Якщо це важливо, чи дійсно політики готові накласти на це вето? Іншими словами, у нас може не залишитися іншого вибору, окрім як розвивати штучний інтелект. Але ми також несемо відповідальність за формування його таким чином, щоб він відповідав майбутньому людства. Недосконалість є однією з норм людського досвіду, особливо коли мова йде про лідерство.
Часто політиків переповнюють нестерпні занепокоєння. Іноді їхні дії ґрунтуються на хибних припущеннях; іноді вони діють через чисті емоції; а іноді ідеологія спотворює їх бачення. Які б стратегії не використовувалися для структурування партнерства людини та штучного інтелекту, вони повинні бути адаптовані до людей. Якщо штучний інтелект демонструє надлюдські здібності в певних областях, його використання повинно бути сумісним з недосконалим людським середовищем.
На арені безпеки системи з підтримкою штучного інтелекту реагують настільки швидко, що зловмисники можуть спробувати атакувати до того, як системи запрацюють. Результатом може бути нестабільна ситуація, яку можна порівняти з тією, яку створює ядерна зброя. Проте ядерна зброя ґрунтується на концепціях міжнародної безпеки та контролю над озброєннями, які були розроблені протягом останніх кількох десятиліть урядами, вченими, стратегами та етиками шляхом постійного вдосконалення, дебатів та переговорів. Штучний інтелект і кіберзброя не мають подібних рамок.
Насправді уряди можуть неохоче визнавати їх існування. Країни — і, можливо, технологічні компанії — мають домовитися про те, як співіснувати зі штучним інтелектом із застосуванням зброї. Розповсюдження штучного інтелекту через державні оборонні функції змінить міжнародний баланс і обчислення, на яких він підтримується в наш час. Ядерна зброя дорога, і її важко приховати через її розмір і структуру. Навпаки, штучний інтелект може працювати на комп’ютерах, які можна знайти всюди. Оскільки навчання моделі машинного навчання потребує досвіду та обчислювальних ресурсів, створення штучного інтелекту потребує ресурсів на рівні великої компанії чи країни; а оскільки застосування штучного інтелекту здійснюється на відносно невеликих комп’ютерах, він обов’язково буде широко використовуватися , у тому числі способами, яких ми не очікували. Чи хтось із ноутбуком, підключенням до Інтернету та відданістю дослідженню темної сторони штучного інтелекту нарешті матиме доступ до зброї на основі штучного інтелекту? Чи дозволять уряди суб’єктам, які мають тісні або не пов’язані з ними зв’язки, використовувати штучний інтелект для переслідування своїх противників? Чи планують терористи атаки зі штучним інтелектом? Чи зможуть вони приписати цю діяльність державам чи іншим акторам?
У минулому дипломатія діяла на організованій і передбачуваній арені, сьогодні її доступ до інформації та масштаби дій значно розширяться. Поступово зникнуть чіткі межі, які раніше утворювали географічні та мовні відмінності. ШІ-переклад полегшить діалог, не вимагаючи не лише мовних, а й культурних знань, як це робили попередні перекладачі. Онлайн-платформи на основі штучного інтелекту сприятимуть міжнародній комунікації, а хакерство та дезінформація продовжуватимуть спотворювати сприйняття та оцінки. У міру того, як ситуація стає складнішою, стає важче розробляти виконувані угоди з передбачуваними результатами.
Можливість поєднання можливостей ШІ з кіберзброєю ускладнює цю дилему. Людство обходить ядерний парадокс, проводячи чітке розмежування між звичайною зброєю (вважається, що вона відповідає традиційній стратегії) і ядерною зброєю (вважається винятком). Щойно руйнівна сила ядерної зброї вивільняється, вона діє невибірково та незалежно від цілі; тоді як звичайна зброя може розпізнати ціль. Але кіберзброя, яка може як ідентифікувати цілі, так і сіяти хаос у великих масштабах, стирає цю відмінність.
Додавши паливо штучного інтелекту, ця зброя стане ще більш непередбачуваною та потенційно більш руйнівною. У той же час, коли ця зброя кружляє по мережі, визначити її атрибуцію неможливо. Їх неможливо виявити, оскільки вони не такі громіздкі, як ядерна зброя; їх також можна носити на USB-накопичувачах, що сприяє розповсюдженню. У деяких формах цю зброю важко контролювати після розгортання, тим більше, що враховує динамічний і новий характер штучного інтелекту.
Ця ситуація ставить під сумнів передумови заснованого на правилах світового порядку. Крім того, розробка концепцій, пов’язаних із контролем над озброєннями штучного інтелекту, стала обов’язковою. В епоху штучного інтелекту стримування більше не відповідатиме історичним нормам і не буде цього робити. На зорі ядерної ери було розроблено концептуальну основу для контролю над ядерною зброєю, засновану на дискусіях між провідними професорами та вченими (з досвідом роботи в уряді) у Гарварді, Массачусетському технологічному інституті та Каліфорнійському технологічному інституті, що, у свою чергу, призвело до створення системи ( та інституції для його впровадження в Сполучених Штатах та інших країнах).
Наскільки важливим не є академічне мислення, воно впроваджується окремо від міркувань Пентагону щодо звичайних бойових дій — нове доповнення, а не модифікація. Але потенційне використання штучного інтелекту у військових цілях ширше, ніж ядерна зброя, і відмінність між нападом і захистом нечітка, принаймні на даний момент. У настільки складному, за своєю суттю непередбачуваному світі штучний інтелект стає ще одним можливим джерелом непорозумінь і помилок, і рано чи пізно великим державам, які володіють високотехнологічними можливостями, доведеться брати участь у постійному діалозі.
Такий діалог має бути зосереджений на одному фундаментальному питанні: уникнути катастрофи та пережити її. Штучний інтелект та інші новітні технології, такі як квантові обчислення, здається, роблять реалії, недоступні для людського сприйняття, більш доступними. Зрештою, однак, ми можемо виявити, що навіть ці методи мають свої обмеження. Наша проблема полягає в тому, що ми не зрозуміли їхнього філософського змісту. Вони штовхають нас вперед мимоволі, а не свідомо.
Востаннє значний зсув у людській свідомості відбувся в епоху Просвітництва, і цей зсув стався тому, що нові технології породили нові філософські ідеї, які, у свою чергу, поширювалися через технології (у формі друкарського верстата). У наш час нові технології були розроблені без відповідних керівних філософій. Штучний інтелект — це величезна ініціатива з далекосяжними потенційними перевагами. Люди наполегливо працюють над розвитком штучного інтелекту, але чи використовуємо ми його, щоб покращити чи погіршити наше життя? Він обіцяє сильніші ліки, більш ефективну та справедливу охорону здоров’я, більш стійкі екологічні практики та інші бачення прогресу. Водночас, однак, це також може спотворювати інформацію або принаймні ускладнювати процес споживання інформації та визначення істини, і тим самим послаблювати здатність деяких людей самостійно міркувати та судити.
Зрештою виникає «мета» запитання: чи можуть люди задовольнити потребу у філософії за допомогою «допомоги» штучного інтелекту з різними інтерпретаціями та розумінням світу? Люди не до кінця розуміють машини, але чи ми зрештою помиримося з ними і змінимо світ? Свою передмову до «Критики чистого розуму» Іммануїл Кант починає з цього:
Людський розум має таку особливу долю, що в одній із галузей свого знання він стикається з проблемами, які не можна ігнорувати, оскільки вони накладені на нього самою природою самого розуму, але які, оскільки вони перевершують усі здібності розуму, , це неможливо вирішити.
У минулі століття люди глибоко досліджували ці питання, деякі з яких торкалися природи розуму, розуму і навіть реальності. Людство здійснило великі прориви, але воно також зіткнулося з багатьма обмеженнями, встановленими Кантом: царство запитань, на які воно не може відповісти, царство фактів, які воно не може повністю зрозуміти. Поява штучного інтелекту, який надає здатність навчатися та обробляти інформацію, чого люди не можуть досягти лише розумом, може дозволити нам досягти прогресу в питаннях, на які ми не можемо відповісти. Але успіх породить нові питання, деякі з яких ми спробували висвітлити в цій книзі. Людський інтелект і штучний інтелект знаходяться на стику, коли вони зійдуться в пошуках національного, континентального чи навіть глобального масштабу. Розуміння цього зрушення та розробка керівного етичного кодексу навколо нього вимагатиме колективної мудрості, голосу та спільної відданості всіх сегментів суспільства, включаючи вчених і стратегів, політиків і філософів, священнослужителів і генеральних директорів. Це зобов’язання має бути взято не лише всередині країн, а й між країнами. Яке партнерство ми можемо мати зі штучним інтелектом і яка реальність з цього вийде? Тепер настав час це визначити.
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Кіссінджер говорить про штучний інтелект: як ви бачите міжнародний порядок в епоху штучного інтелекту?
Оригінал: The Beijing News
Від AlphaGo від Google, що перемагає шахістів-людей, до ChatGpt, що викликає гарячі дискусії в технологічній спільноті, кожен прогрес у технології штучного інтелекту впливає на нерви людей. Немає сумніву, що штучний інтелект глибоко змінює наше суспільство, економіку, політику та навіть зовнішню політику, і традиційні теорії минулого часто не можуть пояснити вплив усього цього. У книзі «Ера штучного інтелекту та майбутнє людства» Кіссінджер, відомий дипломат, Шмідт, колишній генеральний директор Google, і Хаттенлохер, декан Школи комп’ютерних наук Шварцмана в Массачусетському технологічному інституті, сортують Розглянемо минуле життя штучного інтелекту з різних точок зору. Це життя та всебічно обговоримо різні наслідки, які його розвиток може мати на окремих осіб, підприємства, уряди, суспільства та країни. Кілька провідних мислителів вважають, що в міру того, як можливості штучного інтелекту стають дедалі сильнішими, ми повинні ще довго думати про те, як позиціонувати роль людей. Нижченаведений вміст взято з книги «Ера штучного інтелекту та майбутнє людства» з дозволу видавця з видаленнями та редакціями, субтитри додано редактором.
Автор оригіналу | [США] Генрі Кіссінджер / [США] Ерік Шмідт / [США] Деніел Гуттенлочер
**Що принесе загальний штучний інтелект? **
Чи можуть люди та штучний інтелект підходити до однієї реальності з різних точок зору, і чи можуть вони взаємодоповнювати та доповнювати один одного? Або ми сприймаємо дві різні, але частково збігаються реальності: одну, яку люди можуть пояснити раціонально, і іншу, яку штучний інтелект може пояснити алгоритмічно? Якщо відповідь остання, то штучний інтелект може сприймати речі, які ми ще не сприймали і не можемо сприйняти — не тільки тому, що у нас немає достатньо часу міркувати про них по-своєму, але й тому, що вони існують у тому місці, де наш розум не може концептуалізувати. Прагнення людства до «повного розуміння світу» зміниться, і люди зрозуміють, що для отримання певних знань нам може знадобитися довірити штучному інтелекту отримувати знання за нас і звітувати нам. Незалежно від відповіді, у міру того як штучний інтелект переслідує більш комплексні та широкі цілі, він все більше й більше буде виглядати для людей як «істота», яка відчуває та розуміє світ – поєднання інструментів, домашніх тварин і розуму.
У міру того, як дослідники наближаються або досягають штучного загального інтелекту, головоломка буде тільки глибшати. Як ми обговорювали в розділі 3, AGI не обмежуватиметься навчанням і виконанням конкретних завдань; натомість, за визначенням, AGI зможе навчатися та виконувати надзвичайно широкий спектр завдань, як і люди. Розробка загального штучного інтелекту вимагатиме величезної обчислювальної потужності, що може призвести до того, що лише кілька добре фінансованих організацій зможуть створити такий ШІ. Як і у випадку з поточним штучним інтелектом, хоча AGI можна легко розгорнути децентралізовано, враховуючи його можливості, його застосування обов’язково буде обмеженим. Обмеження можуть бути накладені на AGI, дозволяючи керувати ним лише затвердженим організаціям. Тоді постає питання: хто контролюватиме AGI? Хто дасть дозвіл на його використання? Чи все ще можлива демократія у світі, де кількома «геніальними» машинами керують кілька організацій? Як у цьому випадку виглядатиме співпраця людини та ШІ?
Якщо загальний штучний інтелект таки з’явиться у світі, це стане великим інтелектуальним, науковим і стратегічним досягненням. Але навіть якщо йому це не вдасться, штучний інтелект також може здійснити революцію в людських справах. Прагнення та здатність ШІ реагувати на надзвичайні ситуації (або несподівані події) і надавати рішення відрізняє його від попередніх технологій. Якщо його не регулювати, штучний інтелект може відхилитися від наших очікувань і, відповідно, від наших намірів. Рішення про те, чи обмежувати його, співпрацювати з ним чи підкорятися йому, не будуть приймати виключно люди. У деяких випадках це визначатиме сам ШІ; в інших це залежатиме від різних сприятливих факторів. Люди можуть бути залучені в «гонку на дно».
Оскільки штучний інтелект автоматизує процеси, дозволяє людям досліджувати величезні масиви даних, а також організовує та реструктурує фізичну та соціальну сфери, перші можуть отримати перевагу перших. Конкурентний тиск може змусити сторони змагатися за розгортання AGI без достатнього часу для оцінки ризиків або просто ігнорувати їх. Етика штучного інтелекту є важливою. Кожне окреме рішення — обмежити, співпрацювати чи підкорятися — може мати драматичні наслідки, а може і не мати, але в поєднанні вплив збільшується.
Ці рішення не можуть прийматися окремо. Якщо людство хоче формувати майбутнє, воно має домовитися про спільні принципи, якими керується кожен вибір. Це правда, що колективна дія складна, а іноді навіть неможлива, але індивідуальні дії без керівництва загальною моральною нормою призведуть лише до ще більшого безладу та хаосу для людства в цілому. Ті, хто розробляє, навчає та працює з ШІ, зможуть досягти цілей такого масштабу та складності, які досі були недосяжні для людей, наприклад, нові наукові відкриття, нова економічна ефективність, нові форми безпеки та новий вимір соціального спостереження. І під час розширення штучного інтелекту та його використання ті, хто не має повноважень, можуть відчувати, що за ними спостерігають, вивчають і діють сили, яких вони не розуміють, і це не їх власний задум чи вибір. Ця влада діє в непрозорий спосіб, який у багатьох суспільствах не може терпіти традиційні людські актори чи інституції. Розробники та розробники штучного інтелекту повинні бути готові вирішити ці проблеми, починаючи з пояснення нетехнічним людям, що робить штучний інтелект, що він «знає» і як він це робить. Динамічний і новий характер штучного інтелекту створює неоднозначність принаймні двома способами. По-перше, штучний інтелект може працювати так, як ми очікуємо, але давати результати, які ми не можемо передбачити. Ці результати можуть привести людство туди, чого його творці ніколи не очікували, так само як політики в 1914 році не змогли зрозуміти, що стара логіка військової мобілізації в поєднанні з новою технологією втягне Європу у війну. Штучний інтелект також може мати серйозні наслідки, якщо його розгортати та використовувати без ретельного розгляду.
Ці наслідки можуть бути незначними, як-от небезпечне для життя рішення, прийняте самокерованим автомобілем, або надзвичайно значними, як-от серйозний військовий конфлікт. По-друге, у деяких областях застосування штучний інтелект може бути непередбачуваним і діяти абсолютно несподівано. Взявши за приклад AlphaZero, він розробив стиль шахів, про який люди навіть не уявляли за тисячі років історії шахів, лише згідно з інструкціями «виграшних шахів». Хоча люди можуть бути обережними, прописуючи цілі штучного інтелекту, оскільки ми надаємо йому більшу свободу, його шлях до цієї мети може здивувати нас і навіть налякати. Таким чином, необхідно ретельно розробити як орієнтацію, так і мандат ШІ, особливо в тих сферах, де його рішення можуть бути смертельними. ШІ не слід розглядати як автономний, без нагляду, а також не можна дозволяти здійснювати безповоротні дії без нагляду, спостереження або прямого контролю. Штучний інтелект був створений людьми, тому він також повинен контролюватися людьми. Але одна з проблем штучного інтелекту в наш час полягає в тому, що люди, які мають навички та ресурси для його створення, не обов’язково мають філософську точку зору, щоб зрозуміти його ширші наслідки. Багато творців штучного інтелекту зосереджуються насамперед на програмах, які вони намагаються досягти, і проблемах, які вони хочуть вирішити: вони можуть не зупинятися, щоб подумати, чи спричинить рішення історичну революцію, або як їхня технологія вплине на різні натовпи. Епоха штучного інтелекту потребує власних Декарта та Канта, щоб пояснити, що ми створили та що це означає для людей.
Нам потрібно організувати раціональні дискусії та переговори за участю урядів, університетів і інноваторів приватної промисловості, і метою має бути встановлення обмежень для практичних дій, подібних до тих, які сьогодні керують індивідуальними та організаційними діями. ШІ має деякі з тих самих атрибутів, але відрізняється від них у деяких важливих аспектах, поточних регульованих продуктів, послуг, технологій та організацій, оскільки йому не вистачає повністю визначеної концептуальної та правової основи. Наприклад, провокаційний характер штучного інтелекту, який постійно розвивається, викликає регулятивні проблеми: хто і як він працює у світі, може відрізнятися в різних сферах і розвиватися з часом, і не завжди передбачуваним чином. Управління людьми керується кодексом етики. ШІ потрібен власний моральний компас, який відображає не лише природу технології, але й виклики, які вона створює.
Часто усталені принципи тут не діють. В епоху віри, коли обвинувачені в інквізиції стикалися з бойовим вердиктом, суд міг вирішити злочин, але Бог вирішував, хто переможе. В епоху розуму люди визначали провину відповідно до приписів розуму, судили злочини та карали за них відповідно до таких понять, як причинний зв’язок і злочинний намір. Але штучний інтелект не діє на основі людського розуму, а також не має людської мотивації, наміру чи саморефлексії. Таким чином, впровадження ШІ ускладнить існуючі принципи справедливості, які стосуються людей.
Коли автономна система діє на основі власних уявлень і рішень, чи несуть її творці відповідальність? Або чи не слід плутати дії ШІ з діями його творців, принаймні з точки зору провини? Якщо штучний інтелект буде використовуватися для виявлення ознак злочинної поведінки або для визначення того, чи є хтось винним, чи повинен штучний інтелект мати можливість «пояснити», як він прийшов до своїх висновків, щоб люди могли довіряти йому? Крім того, на якому етапі та в якому контексті технологічного розвитку ШІ має бути предметом міжнародних переговорів? Це ще одна важлива тема дискусії. Якщо дослідити занадто рано, розвиток технології може бути загальмований, або може виникнути спокуса приховати свої можливості; занадто довго затримуватись, це може мати руйнівні наслідки, особливо для військових. Ця проблема ускладнюється труднощами розробки ефективних механізмів перевірки для технології, яка є ефірною, малозрозумілою та легко поширюваною. Офіційними учасниками переговорів обов’язково будуть уряди, але також буде потреба в голосі технологів, етиків, компаній, які створюють і керують штучним інтелектом, та інших за межами галузі.
Дилеми, які ставить ШІ, мають далекосяжні наслідки для різних суспільств. Значна частина нашого соціального та політичного життя сьогодні відбувається на онлайн-платформах із підтримкою штучного інтелекту, і демократії, зокрема, покладаються на ці інформаційні простори для дебатів і спілкування, формування громадської думки та надання їй легітимності. Хто або яка агенція повинна визначати роль технології? Хто має це регулювати? Яку роль мають відігравати люди, які використовують ШІ? А як щодо компаній, які виробляють штучний інтелект? Що щодо соціальних урядів, які розгортають це? У рамках вирішення цих проблем ми повинні спробувати зробити його доступним для аудиту, тобто його процеси та висновки можна перевіряти та виправляти. У свою чергу, чи можна буде внести виправлення, залежатиме від здатності вдосконалити принципи форми сприйняття ШІ та прийняття рішень. Мораль, воля і навіть причинно-наслідковий зв’язок погано вписуються у світ автономного штучного інтелекту. Подібні проблеми виникають на більшості рівнів суспільства, від транспорту до фінансів і медицини.
Розглянемо вплив штучного інтелекту на соціальні мережі. Завдяки останнім інноваціям ці платформи швидко стали важливим аспектом нашого суспільного життя. Як ми обговорювали в розділі 4, функції, які Twitter і Facebook використовують для виділення, обмеження або повної заборони вмісту або окремих людей, покладаються на штучний інтелект, що є свідченням його потужності. Використання штучного інтелекту для одностороннього та часто непрозорого просування або видалення контенту та концепцій є проблемою для всіх країн, особливо демократичних. Чи можливо для нас зберегти домінування, оскільки наше соціальне та політичне життя все більше зміщується в бік областей, керованих штучним інтелектом, і ми можемо покладатися лише на таке управління, щоб керувати ними?
Практика використання штучного інтелекту для обробки великих обсягів інформації також створює ще одну проблему: штучний інтелект посилює спотворення світу, щоб задовольнити інстинктивні уподобання людини. Це сфера, де штучний інтелект може легко посилити наші когнітивні упередження, але ми все ще резонуємо з ними. З цими голосами, які стикаються з різноманітністю вибору та мають право вибирати та відсіювати, люди отримають потік дезінформації. Компанії соціальних медіа не сприяють екстремальній і насильницькій політичній поляризації через свої стрічки новин, але очевидно, що ці послуги також не ведуть до максимізації просвітницького дискурсу.
Штучний інтелект, безкоштовна інформація та незалежне мислення
Отже, як мають виглядати наші відносини з ШІ? Чи слід його обмежувати, надавати повноваження чи розглядати як партнера в управлінні цими доменами? Немає сумніву, що поширення певної інформації, особливо свідомо створеної неправдивої інформації, може завдати шкоди, розколу та підбурювання. Тому потрібні деякі обмеження. Однак засудження, напад і замовчування «шкідливої інформації» зараз надто розкуті, і це також має спонукати до роздумів.
У вільному суспільстві визначення шкідливої та дезінформації не повинно обмежуватися компетенцією корпорацій. Проте, якщо такі обов’язки покладаються на урядову групу чи агенцію, ця група чи агенція повинна діяти відповідно до встановлених державних стандартів і за допомогою процедур, які можна перевірити, щоб уникнути експлуатації з боку тих, хто має владу. Якщо це доручено алгоритму штучного інтелекту, цільова функція, навчання, рішення та дії алгоритму мають бути чіткими та підлягати зовнішньому контролю, а також принаймні певній формі людського звернення.
Звичайно, різні суспільства дадуть на це різні відповіді. Деякі суспільства можуть наголошувати на свободі вираження поглядів, можливо, різною мірою на основі їх відносного розуміння окремих висловлювань, і таким чином можуть обмежувати роль ШІ в модеруванні контенту. Кожне суспільство вибирає, які ідеї воно цінує, що може призвести до складних відносин із операторами багатонаціональних мережевих платформ. ШІ вбирає в себе, як губка, навчаючись у людей, навіть коли ми його проектуємо та формуємо.
Таким чином, не тільки вибір кожного суспільства різний, але й стосунки кожного суспільства з ШІ, сприйняття ШІ та те, як ШІ наслідує людей і вчиться у людей-вчителів, також відрізняються. Але одне можна сказати напевно, а саме те, що людський пошук фактів і істини не повинен змушувати суспільство відчувати життя через погано визначений і неперевірений фільтр. Спонтанне переживання реальності, незважаючи на всі його суперечності та складності, є важливим аспектом людського життя, навіть якщо воно призводить до неефективності чи помилок.
Штучний інтелект і міжнародний порядок
По всьому світу незліченні запитання чекають відповідей. Як можна регулювати онлайн-платформи штучного інтелекту, не викликаючи напруги між країнами, стурбованими їхньою безпекою? Чи ці онлайн-платформи розмиють традиційні уявлення про національний суверенітет? Чи призведуть зміни до поляризації світу, якої не було з часів розпаду Радянського Союзу? Невеликий Конгрес заперечує? Чи будуть успішними спроби врегулювати ці наслідки? Або є надія на успіх?
Оскільки можливості штучного інтелекту продовжують зростати, те, як позиціонувати роль людей у співпраці зі штучним інтелектом, ставатиме все більш важливим і складним. Ми можемо уявити собі світ, у якому люди все більше поважають думку штучного інтелекту щодо питань, що набувають все більшої ваги. У світі, де наступальні супротивники успішно розгортають ШІ, чи можуть лідери на стороні оборони вирішити не розгортати власний ШІ та взяти на себе відповідальність? Навіть вони не впевнені, як це розгортання розвиватиметься. І якщо штучний інтелект має кращу здатність рекомендувати курс дій, чи є підстави для тих, хто приймає рішення, приймати його, навіть якщо цей курс дій вимагає певного рівня жертв? Як людина може знати, чи така жертва необхідна для перемоги? Якщо це важливо, чи дійсно політики готові накласти на це вето? Іншими словами, у нас може не залишитися іншого вибору, окрім як розвивати штучний інтелект. Але ми також несемо відповідальність за формування його таким чином, щоб він відповідав майбутньому людства. Недосконалість є однією з норм людського досвіду, особливо коли мова йде про лідерство.
Часто політиків переповнюють нестерпні занепокоєння. Іноді їхні дії ґрунтуються на хибних припущеннях; іноді вони діють через чисті емоції; а іноді ідеологія спотворює їх бачення. Які б стратегії не використовувалися для структурування партнерства людини та штучного інтелекту, вони повинні бути адаптовані до людей. Якщо штучний інтелект демонструє надлюдські здібності в певних областях, його використання повинно бути сумісним з недосконалим людським середовищем.
На арені безпеки системи з підтримкою штучного інтелекту реагують настільки швидко, що зловмисники можуть спробувати атакувати до того, як системи запрацюють. Результатом може бути нестабільна ситуація, яку можна порівняти з тією, яку створює ядерна зброя. Проте ядерна зброя ґрунтується на концепціях міжнародної безпеки та контролю над озброєннями, які були розроблені протягом останніх кількох десятиліть урядами, вченими, стратегами та етиками шляхом постійного вдосконалення, дебатів та переговорів. Штучний інтелект і кіберзброя не мають подібних рамок.
Насправді уряди можуть неохоче визнавати їх існування. Країни — і, можливо, технологічні компанії — мають домовитися про те, як співіснувати зі штучним інтелектом із застосуванням зброї. Розповсюдження штучного інтелекту через державні оборонні функції змінить міжнародний баланс і обчислення, на яких він підтримується в наш час. Ядерна зброя дорога, і її важко приховати через її розмір і структуру. Навпаки, штучний інтелект може працювати на комп’ютерах, які можна знайти всюди. Оскільки навчання моделі машинного навчання потребує досвіду та обчислювальних ресурсів, створення штучного інтелекту потребує ресурсів на рівні великої компанії чи країни; а оскільки застосування штучного інтелекту здійснюється на відносно невеликих комп’ютерах, він обов’язково буде широко використовуватися , у тому числі способами, яких ми не очікували. Чи хтось із ноутбуком, підключенням до Інтернету та відданістю дослідженню темної сторони штучного інтелекту нарешті матиме доступ до зброї на основі штучного інтелекту? Чи дозволять уряди суб’єктам, які мають тісні або не пов’язані з ними зв’язки, використовувати штучний інтелект для переслідування своїх противників? Чи планують терористи атаки зі штучним інтелектом? Чи зможуть вони приписати цю діяльність державам чи іншим акторам?
У минулому дипломатія діяла на організованій і передбачуваній арені, сьогодні її доступ до інформації та масштаби дій значно розширяться. Поступово зникнуть чіткі межі, які раніше утворювали географічні та мовні відмінності. ШІ-переклад полегшить діалог, не вимагаючи не лише мовних, а й культурних знань, як це робили попередні перекладачі. Онлайн-платформи на основі штучного інтелекту сприятимуть міжнародній комунікації, а хакерство та дезінформація продовжуватимуть спотворювати сприйняття та оцінки. У міру того, як ситуація стає складнішою, стає важче розробляти виконувані угоди з передбачуваними результатами.
Можливість поєднання можливостей ШІ з кіберзброєю ускладнює цю дилему. Людство обходить ядерний парадокс, проводячи чітке розмежування між звичайною зброєю (вважається, що вона відповідає традиційній стратегії) і ядерною зброєю (вважається винятком). Щойно руйнівна сила ядерної зброї вивільняється, вона діє невибірково та незалежно від цілі; тоді як звичайна зброя може розпізнати ціль. Але кіберзброя, яка може як ідентифікувати цілі, так і сіяти хаос у великих масштабах, стирає цю відмінність.
Додавши паливо штучного інтелекту, ця зброя стане ще більш непередбачуваною та потенційно більш руйнівною. У той же час, коли ця зброя кружляє по мережі, визначити її атрибуцію неможливо. Їх неможливо виявити, оскільки вони не такі громіздкі, як ядерна зброя; їх також можна носити на USB-накопичувачах, що сприяє розповсюдженню. У деяких формах цю зброю важко контролювати після розгортання, тим більше, що враховує динамічний і новий характер штучного інтелекту.
Ця ситуація ставить під сумнів передумови заснованого на правилах світового порядку. Крім того, розробка концепцій, пов’язаних із контролем над озброєннями штучного інтелекту, стала обов’язковою. В епоху штучного інтелекту стримування більше не відповідатиме історичним нормам і не буде цього робити. На зорі ядерної ери було розроблено концептуальну основу для контролю над ядерною зброєю, засновану на дискусіях між провідними професорами та вченими (з досвідом роботи в уряді) у Гарварді, Массачусетському технологічному інституті та Каліфорнійському технологічному інституті, що, у свою чергу, призвело до створення системи ( та інституції для його впровадження в Сполучених Штатах та інших країнах).
Наскільки важливим не є академічне мислення, воно впроваджується окремо від міркувань Пентагону щодо звичайних бойових дій — нове доповнення, а не модифікація. Але потенційне використання штучного інтелекту у військових цілях ширше, ніж ядерна зброя, і відмінність між нападом і захистом нечітка, принаймні на даний момент. У настільки складному, за своєю суттю непередбачуваному світі штучний інтелект стає ще одним можливим джерелом непорозумінь і помилок, і рано чи пізно великим державам, які володіють високотехнологічними можливостями, доведеться брати участь у постійному діалозі.
Такий діалог має бути зосереджений на одному фундаментальному питанні: уникнути катастрофи та пережити її. Штучний інтелект та інші новітні технології, такі як квантові обчислення, здається, роблять реалії, недоступні для людського сприйняття, більш доступними. Зрештою, однак, ми можемо виявити, що навіть ці методи мають свої обмеження. Наша проблема полягає в тому, що ми не зрозуміли їхнього філософського змісту. Вони штовхають нас вперед мимоволі, а не свідомо.
Востаннє значний зсув у людській свідомості відбувся в епоху Просвітництва, і цей зсув стався тому, що нові технології породили нові філософські ідеї, які, у свою чергу, поширювалися через технології (у формі друкарського верстата). У наш час нові технології були розроблені без відповідних керівних філософій. Штучний інтелект — це величезна ініціатива з далекосяжними потенційними перевагами. Люди наполегливо працюють над розвитком штучного інтелекту, але чи використовуємо ми його, щоб покращити чи погіршити наше життя? Він обіцяє сильніші ліки, більш ефективну та справедливу охорону здоров’я, більш стійкі екологічні практики та інші бачення прогресу. Водночас, однак, це також може спотворювати інформацію або принаймні ускладнювати процес споживання інформації та визначення істини, і тим самим послаблювати здатність деяких людей самостійно міркувати та судити.
Зрештою виникає «мета» запитання: чи можуть люди задовольнити потребу у філософії за допомогою «допомоги» штучного інтелекту з різними інтерпретаціями та розумінням світу? Люди не до кінця розуміють машини, але чи ми зрештою помиримося з ними і змінимо світ? Свою передмову до «Критики чистого розуму» Іммануїл Кант починає з цього:
Людський розум має таку особливу долю, що в одній із галузей свого знання він стикається з проблемами, які не можна ігнорувати, оскільки вони накладені на нього самою природою самого розуму, але які, оскільки вони перевершують усі здібності розуму, , це неможливо вирішити.
У минулі століття люди глибоко досліджували ці питання, деякі з яких торкалися природи розуму, розуму і навіть реальності. Людство здійснило великі прориви, але воно також зіткнулося з багатьма обмеженнями, встановленими Кантом: царство запитань, на які воно не може відповісти, царство фактів, які воно не може повністю зрозуміти. Поява штучного інтелекту, який надає здатність навчатися та обробляти інформацію, чого люди не можуть досягти лише розумом, може дозволити нам досягти прогресу в питаннях, на які ми не можемо відповісти. Але успіх породить нові питання, деякі з яких ми спробували висвітлити в цій книзі. Людський інтелект і штучний інтелект знаходяться на стику, коли вони зійдуться в пошуках національного, континентального чи навіть глобального масштабу. Розуміння цього зрушення та розробка керівного етичного кодексу навколо нього вимагатиме колективної мудрості, голосу та спільної відданості всіх сегментів суспільства, включаючи вчених і стратегів, політиків і філософів, священнослужителів і генеральних директорів. Це зобов’язання має бути взято не лише всередині країн, а й між країнами. Яке партнерство ми можемо мати зі штучним інтелектом і яка реальність з цього вийде? Тепер настав час це визначити.
Автор: / [США] Генрі Кіссінджер / [США] Ерік Шмідт / [США] Деніел Хаттенлохер
Уривок / Лю Ягуан
Редактор/Лю Ягуан
Коректура / Чжао Лінь