Полный текст «Китайского диалога» Сэма Альтмана: Мы должны быть готовы к рискам, связанным с искусственным интеллектом, но гораздо проще понять нейронные сети, чем понять, что думают люди
Выступление Сэма Альтмана состоялось на подфоруме AI Security and Alignment конференции Zhiyuan Conference 10 июня. Сцена была заполнена сидячими местами, когда на экране появился генеральный директор OpenAI, раздались аплодисменты, и почти все подняли свои мобильные телефоны, чтобы сделать снимки на экране.
Но сам Альтман выглядит спокойным, даже осторожным. Впервые с тех пор, как ChatGPT всколыхнул глобальный бум искусственного интеллекта в прошлом году, Сэм Альтман публично выразил свое мнение о китайском происхождении.
На самом деле он в тот день тоже был недалеко от Китая, только что прилетел в Сеул и встретился с президентом Южной Кореи. После своего выступления у него также была беседа один на один с Чжаном Хунцзяном, председателем Исследовательского института Чжиюань. Ниже приведены ключевые моменты и факты.
Ключевые моменты:
По мере того, как мы все ближе и ближе подходим к ОИИ в технологиях, последствия и ловушки несовпадения будут увеличиваться в геометрической прогрессии.
В настоящее время OpenAI использует технологию обучения с подкреплением с обратной связью с человеком, чтобы гарантировать, что системы ИИ полезны и безопасны, а также изучает новые технологии.Одна из идей состоит в том, чтобы использовать системы ИИ, чтобы помочь людям контролировать другие системы ИИ.
Через десять лет у людей появятся мощные системы искусственного интеллекта (ИИ).
OpenAI не имеет соответствующей новой временной шкалы с открытым исходным кодом, и, хотя он признает, что модель с открытым исходным кодом имеет преимущества, когда речь идет о безопасности ИИ, открытый исходный код может быть не лучшим путем.
Понять нейронную сеть гораздо проще, чем человеческий мозг.
В Китае лучшие таланты в области искусственного интеллекта, а безопасность ИИ требует участия и вклада китайских исследователей.
Ниже приводится стенограмма выступления:
Сегодня я хочу поговорить о будущем. В частности, скорость роста, которую мы наблюдаем в возможностях ИИ. Что нам нужно сделать сейчас, чтобы ответственно подготовить мир к их внедрению? История науки учит нас, что технический прогресс движется по экспоненциальной кривой. Мы уже можем видеть это в истории, от сельского хозяйства и промышленности до компьютерной революции. Что поразительно в искусственном интеллекте, так это не только его влияние, но и скорость его развития. Он раздвигает границы человеческого воображения, и делает это в быстром темпе.
Представьте себе, что в течение следующего десятилетия системы, обычно называемые общим искусственным интеллектом (AGI), превзойдут человеческий опыт практически во всех областях. Эти системы могут в конечном итоге превысить коллективную производительность наших крупнейших компаний. Здесь скрывается огромный потенциал роста. Революция в области искусственного интеллекта создаст общее богатство и позволит повысить уровень жизни каждого, решить общие проблемы, такие как изменение климата и глобальная безопасность в области здравоохранения, а также улучшить благосостояние общества множеством других способов.
Я твердо верю в это будущее, и чтобы реализовать его и наслаждаться им, нам необходимо коллективно инвестировать в безопасность AGI и управлять рисками. Если мы не будем осторожны, система AGI, которая не соответствует своему назначению, может подорвать всю систему здравоохранения, давая необоснованные рекомендации. Точно так же система ОИИ, предназначенная для оптимизации методов ведения сельского хозяйства, может непреднамеренно истощить природные ресурсы или нанести ущерб экосистемам, что повлияет на производство продуктов питания и экологический баланс из-за отсутствия учета долгосрочной устойчивости.
Надеюсь, мы все согласимся с тем, что повышение безопасности AGI является одной из наших самых важных областей. Я хочу посвятить остальную часть своего выступления тому, с чего, по моему мнению, мы можем начать.
Одной из областей является управление ОИИ, технологией глобального значения. Стоимость несчастных случаев из-за безрассудной разработки и развертывания затронет всех нас.
В этом отношении есть два ключевых элемента:
Во-первых, нам необходимо установить международные нормы и стандарты и посредством инклюзивного процесса разработать равные и единообразные средства защиты для использования ОИИ во всех странах. Мы считаем, что в рамках этих мер защиты у людей есть широкие возможности сделать свой собственный выбор.
Во-вторых, нам необходимо международное сотрудничество, чтобы укрепить глобальное доверие к безопасной разработке все более мощных систем искусственного интеллекта поддающимся проверке образом. Это непростая задача. Нам необходимо постоянное и критическое внимание со стороны международного сообщества, чтобы сделать это хорошо. Дао Дэ Цзин напоминает нам, что путь в тысячу миль начинается с одного шага. Мы считаем, что наиболее конструктивным первым шагом здесь будет работа с международным технологическим сообществом.
В частности, мы должны продвигать механизмы повышения прозрачности и обмена знаниями о технологических достижениях в области безопасности ОИИ. Исследователи, которые обнаруживают новые проблемы безопасности, должны делиться своими выводами для общего блага. Нам нужно тщательно подумать о том, как мы можем поощрять такие нормы, соблюдая и защищая права интеллектуальной собственности.
Если мы сделаем это хорошо, это откроет нам новые возможности для углубления нашего сотрудничества. В более широком смысле, мы должны инвестировать, облегчать и направлять инвестиции в исследования в области таргетинга и безопасности.
Сегодня в OpenAI наше целевое исследование сосредоточено на технических вопросах о том, как заставить системы ИИ действовать как полезные и безопасные помощники в наших нынешних системах. Это может означать, как мы обучаем ChatGPT, чтобы он не угрожал насилием и не помогал пользователям в вредных действиях.
Но по мере того, как мы приближаемся к AGI, потенциальное влияние и масштабы любого несоблюдения будут расти в геометрической прогрессии. Чтобы решить эти проблемы заблаговременно, мы стремимся свести к минимуму риск катастрофических последствий в будущем. Для текущей системы мы в основном используем обучение с подкреплением на основе отзывов людей, чтобы научить нашу модель действовать как полезный и безопасный помощник.
Это пример целевой техники после тренировки, и мы также заняты разработкой новых. Чтобы сделать это хорошо, требуется много тяжелой инженерной работы. На это у нас ушло 8 месяцев с момента окончания предварительной подготовки GPT-4 до его развертывания. В целом, мы думаем, что мы на правильном пути. GPT-4 подходит для этой цели лучше, чем любая из наших предыдущих моделей.
Однако нацеливание остается открытой проблемой для более продвинутых систем, которые, как мы полагаем, потребуют новых технических подходов, а также большего управления и контроля. Представьте себе футуристическую систему с искусственным интеллектом, состоящую из 100 000 строк двоичного кода. Наблюдатели-люди вряд ли обнаружат, что такая модель делает что-то гнусное.
Поэтому мы инвестируем в некоторые новые и дополнительные направления исследований, которые, как мы надеемся, приведут к прорывам. Одним из них является масштабируемый надзор. Мы можем попытаться использовать системы ИИ, чтобы помочь людям контролировать другие системы ИИ. Например, мы можем обучить модель, чтобы помочь людям-руководителям выявлять недостатки в результатах других моделей. Второе — интерпретируемость. Мы хотели попытаться лучше понять, что происходит внутри этих моделей.
Недавно мы опубликовали статью об использовании GPT-4 для интерпретации нейронов в GPT-2. В другой статье мы используем внутренности модели, чтобы определить, когда модель лжет. Хотя нам еще предстоит пройти долгий путь, мы считаем, что передовые методы машинного обучения могут еще больше улучшить нашу способность генерировать объяснения.
В конечном счете, наша цель состоит в том, чтобы обучить системы искусственного интеллекта, чтобы они помогали целенаправленно проводить исследования. Многообещающим аспектом этого подхода является то, что он масштабируется по мере развития ИИ. По мере того, как будущие модели будут становиться все умнее и полезнее в качестве помощников, мы найдем лучшие методы, которые реализуют исключительные преимущества AGI при одновременном снижении рисков, что является одной из самых важных задач нашего времени.
Ниже приводится стенограмма разговора:
Чжан Хунцзян: Насколько мы далеки от искусственного интеллекта? Является ли риск срочным или мы далеки от него? Будь то безопасный ИИ или потенциально небезопасный ИИ.
Сэм Альтман: Эту проблему трудно точно предсказать, потому что она требует новых исследовательских идей, которые не всегда развиваются в соответствии с установленным графиком. Это может произойти быстро, а может занять больше времени. Я думаю, что трудно предсказать с какой-либо степенью уверенности. Но я думаю, что в течение следующего десятилетия у нас могут появиться очень мощные системы искусственного интеллекта. В таком мире я считаю важным и безотлагательным решить эту проблему, поэтому я призываю международное сообщество работать вместе для решения этой проблемы. История дает нам несколько примеров того, как новые технологии меняют мир быстрее, чем многие думают. Воздействие и ускорение этих систем, которые мы наблюдаем сейчас, в некотором смысле беспрецедентны. Поэтому я думаю, что имеет смысл быть готовым к тому, что это произойдет как можно скорее, и рассмотреть аспекты безопасности, учитывая их влияние и важность.
Чжан Хунцзян: Чувствуете ли вы срочность?
Сэм Альтман: Да, я это чувствую. Я хочу подчеркнуть, что мы на самом деле не знаем. И определение искусственного интеллекта другое, но я думаю, что через десять лет мы должны быть готовы к миру с очень мощными системами.
Чжан Хунцзян: Только что в своем выступлении вы также упомянули о нескольких глобальных проектах сотрудничества. Мы знаем, что за последние шесть-семь десятилетий мир столкнулся со многими кризисами. Но для многих из этих кризисов нам удалось достичь консенсуса и глобального сотрудничества. Вы тоже в мировом турне. Какое глобальное сотрудничество вы продвигаете? Как вы относитесь к отзывам, которые вы уже получили?
Сэм Альтман: Да, я очень доволен полученными отзывами. Я думаю, что люди очень серьезно относятся к рискам и возможностям, предоставляемым ИИ. Я думаю, что дискуссия по этому поводу прошла долгий путь за последние шесть месяцев. Люди действительно работают над выяснением структуры, в которой мы можем пользоваться этими преимуществами, работая вместе над снижением рисков. Я думаю, что мы находимся в очень хорошем положении, чтобы сделать это. Глобальное сотрудничество всегда сложно, но я вижу в нем возможность и угрозу, которые могут объединить мир. Было бы очень полезно, если бы мы могли разработать некоторые рамки и стандарты безопасности, которыми можно было бы руководствоваться при разработке этих систем.
Чжан Хунцзян: Говоря об этой конкретной теме, вы упомянули, что согласование передовых систем искусственного интеллекта — нерешенная проблема. Я также заметил, что Open AI приложил много усилий за последние несколько лет. Вы также упомянули GPT-4 как лучший пример с точки зрения выравнивания. Как вы думаете, сможем ли мы решить проблемы безопасности ИИ с помощью выравнивания? Или эта проблема больше, чем выравнивание?
Сэм Альтман: Я думаю, что есть разные значения слова «выравнивание». Я думаю, что нам нужно решить всю проблему создания безопасных систем искусственного интеллекта. Выравнивание традиционно заключалось в том, чтобы заставить модель вести себя так, как намеревается пользователь, и это, безусловно, ее часть. Но есть и другие вопросы, на которые нам нужно ответить, например, как мы проверяем, что системы делают то, что мы от них хотим, и чьи ценности мы согласовываем с системами. Но я думаю, что важно видеть полную картину того, что необходимо для создания безопасного ИИ.
Чжан Хунцзян: Да, выравнивание по-прежнему имеет место. Если мы посмотрим на то, что сделал GPT-4, по большей части, это все еще с технической точки зрения. Но кроме технологий есть еще много факторов. Это очень сложный вопрос. Часто сложные проблемы носят системный характер. Безопасность ИИ не может быть исключением. Помимо технических аспектов, какие другие факторы и проблемы, по вашему мнению, имеют решающее значение для безопасности ИИ? Как мы должны реагировать на эти вызовы? Тем более, что большинство из нас ученые, что мы должны делать?
Сэм Альтман: Это, конечно, очень сложный вопрос. Я бы сказал, что без технического решения все остальное сложно. Я думаю, очень важно уделить много внимания техническим аспектам безопасности. Как я уже упоминал, не является технической проблемой выяснить, на какие ценности мы хотим настроить систему. Это требует технического вклада, но это вопрос, который требует всестороннего обсуждения всем обществом. Мы должны разрабатывать системы, которые будут справедливыми, репрезентативными и инклюзивными. И, как вы указали, мы должны учитывать не только безопасность самой модели ИИ, но и безопасность всей системы. Поэтому также важно создавать классификаторы и детекторы безопасности, которые могут работать поверх модели и отслеживать соответствие политикам использования. Кроме того, я также думаю, что трудно заранее предсказать, что пойдет не так с любой технологией. Так что извлекайте уроки из реального мира и развертывайте итеративно, смотрите, что происходит, когда вы внедряете модель в реальный мир, улучшайте ее и дайте людям и обществу время на изучение и обновление, а также подумайте о том, как эти модели будут использоваться во благо и во благо. плохо влияют на их жизнь. Это также очень важно.
Чжан Хунцзян: Вы только что упомянули глобальное сотрудничество. Вы посетили много стран и упомянули Китай. Но не могли бы вы поделиться некоторыми результатами, которых вы достигли в плане сотрудничества? Какие планы или идеи у вас есть для следующих шагов? Из этого мирового турне, из ваших взаимодействий с различными правительствами, учреждениями, учреждениями?
Сэм Альтман: Я думаю, что в целом требуется много разных точек зрения и безопасность ИИ. У нас пока нет ответов на все вопросы, и это довольно сложный и важный вопрос.
Кроме того, как уже упоминалось, сделать ИИ безопасным и полезным — это не чисто технический вопрос. Включает в себя понимание предпочтений пользователей в разных странах в очень разных контекстах. Нам нужно много разных материалов, чтобы это произошло. В Китае одни из лучших талантов в области искусственного интеллекта в мире. По сути, я думаю, что лучшие умы со всего мира необходимы для решения проблемы согласования передовых систем искусственного интеллекта. Поэтому я очень надеюсь, что китайские исследователи ИИ могут внести здесь большой вклад.
Чжан Хунцзян: Я понимаю, что сегодняшний форум посвящен безопасности ИИ, потому что людям очень интересен OpenAI, поэтому у меня много вопросов об OpenAI, а не только о безопасности ИИ. У меня есть вопрос аудитории: есть ли у OpenAI какие-либо планы по повторному открытию исходного кода своих моделей, как это было до версии 3.0? Я также думаю, что открытый исходный код хорош для безопасности ИИ.
Сэм Альтман: Некоторые из наших моделей имеют открытый исходный код, а некоторые нет, но со временем, я думаю, вы должны ожидать, что в будущем мы продолжим открывать исходный код для большего количества моделей. У меня нет конкретной модели или графика, но это то, что мы обсуждаем прямо сейчас.
Чжан Хунцзян: Мы вложили все наши усилия в открытый исходный код, включая саму модель, алгоритмы для разработки модели и инструменты для оптимизации связи между моделью и данными. Мы верим в необходимость делиться и давать пользователям возможность контролировать то, что они используют. У вас есть подобные отзывы? Или это то, что вы, ребята, обсуждаете в OpenAI?
Сэм Альтман: Да, я думаю, что открытый исходный код играет важную роль. В последнее время также появилось много новых моделей с открытым исходным кодом. Я думаю, что модель API также играет важную роль. Это предоставляет нам дополнительные средства контроля безопасности. Вы можете заблокировать определенные виды использования. Вы можете заблокировать определенные типы настроек. Если что-то не работает, можно вернуть. В масштабе текущей модели меня это не слишком беспокоит. Но по мере того, как модель становится такой мощной, как мы ожидаем, если мы правы в этом, я думаю, что открытый исходный код может быть не лучшим путем, хотя иногда это правильно. Я думаю, нам просто нужно тщательно сбалансировать это.
Чжан Хунцзян: Дополнительный вопрос о GPT-4 и безопасности ИИ: нужно ли нам менять всю инфраструктуру или архитектуру всей модели AGI, чтобы сделать ее более безопасной и простой для проверки? Что вы думаете об этом?
Сэм Альтман: Это определенно возможно, нам нужны очень разные архитектуры, как с точки зрения возможностей, так и с точки зрения безопасности. Я думаю, что мы сможем добиться некоторого прогресса в объяснимости существующих типов моделей, и они лучше объяснят нам, что они делают и почему. Но меня бы не удивило, если бы после трансформеров произошел еще один гигантский скачок. А на самом деле мы уже в оригинальном трансформере, архитектура сильно изменилась.
Чжан Хунцзян: Мне, как исследователю, тоже любопытно, каковы следующие направления исследований ОИИ? С точки зрения больших моделей, больших языковых моделей, скоро ли мы увидим GPT-5? Следующий рубеж в воплощенных моделях? Является ли автономная робототехника областью, которую OpenAI изучает или планирует исследовать?
Сэм Альтман: Мне также любопытно, что будет дальше, и одна из моих любимых вещей в этой работе — это то, что передовые исследования вызывают много волнения и удивления. У нас пока нет ответов, поэтому мы изучаем множество возможных новых парадигм. Конечно, когда-нибудь мы попробуем сделать модель GPT-5, но не в ближайшее время. Мы не знаем, когда именно. Мы занимаемся робототехникой с самого начала OpenAI, и нам это очень интересно, но у нас были некоторые трудности. Я надеюсь, что однажды мы сможем вернуться в эту область.
Чжан Хунцзян: Звучит здорово. Вы также упомянули в своей презентации, как вы используете GPT-4, чтобы объяснить, как работает GPT-2, делая модель более безопасной. Является ли этот подход масштабируемым? В этом ли направлении OpenAI будет продолжать развиваться в будущем?
Сэм Альтман: Мы будем продолжать двигаться в этом направлении.
Чжан Хунцзян: Как вы думаете, можно ли применить этот метод к биологическим нейронам? Потому что причина, по которой я задаю этот вопрос, заключается в том, что есть некоторые биологи и нейробиологи, которые хотят позаимствовать этот метод для изучения и изучения того, как работают нейроны человека в своей области.
Сэм Альтман: Гораздо легче увидеть, что происходит на искусственных нейронах, чем на биологических нейронах. Поэтому я думаю, что этот подход подходит для искусственных нейронных сетей. Я думаю, что есть способ использовать более мощные модели, чтобы помочь нам понять другие модели. Но я не совсем уверен, как бы вы применили этот подход к человеческому мозгу.
Чжан Хунцзян: Хорошо, спасибо. Теперь, когда мы поговорили о безопасности ИИ и управлении ОИИ, один из вопросов, которые мы обсуждали, — было бы безопаснее, если бы в мире было всего три модели? Это как ядерный контроль, вы не хотите, чтобы ядерное оружие распространялось. У нас есть договор, в котором мы пытаемся контролировать количество стран, которые могут получить эту технологию. Так является ли управление количеством моделей возможным направлением?
Сэм Альтман: Я думаю, что существуют разные мнения о том, безопаснее ли иметь модель меньшинства или модели большинства в мире. Я думаю, что более важно, есть ли у нас система, в которой любая надежная модель адекватно проверяется на безопасность? Есть ли у нас структура, в которой каждый, кто создает достаточно надежную модель, имеет как ресурсы, так и ответственность за то, чтобы то, что он создает, было безопасным и согласованным?
Чжан Хунцзян: На вчерашней встрече профессор Макс из Института будущего жизни Массачусетского технологического института упомянул возможный метод, аналогичный тому, как мы контролируем разработку лекарств. Когда ученые или компании разрабатывают новые лекарства, вы не можете продавать их напрямую. Вы должны пройти через этот процесс тестирования. Это то, чему мы можем научиться?
Сэм Альтман: Я определенно думаю, что мы можем многому научиться из схем лицензирования и тестирования, разработанных в разных отраслях. Но я думаю, что в принципе у нас есть что-то, что может работать.
Чжан Хунцзян: Большое спасибо, Сэм. Спасибо, что нашли время посетить эту встречу, хотя и виртуально. Я уверен, что есть еще много вопросов, но, учитывая время, мы должны остановиться здесь. Я надеюсь, что в следующий раз, когда у вас будет возможность приехать в Китай, приехать в Пекин, мы сможем провести более подробное обсуждение. большое спасибо.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Полный текст «Китайского диалога» Сэма Альтмана: Мы должны быть готовы к рискам, связанным с искусственным интеллектом, но гораздо проще понять нейронные сети, чем понять, что думают люди
Автор｜Нил Шен
Источник丨Пинван
Выступление Сэма Альтмана состоялось на подфоруме AI Security and Alignment конференции Zhiyuan Conference 10 июня. Сцена была заполнена сидячими местами, когда на экране появился генеральный директор OpenAI, раздались аплодисменты, и почти все подняли свои мобильные телефоны, чтобы сделать снимки на экране.
Но сам Альтман выглядит спокойным, даже осторожным. Впервые с тех пор, как ChatGPT всколыхнул глобальный бум искусственного интеллекта в прошлом году, Сэм Альтман публично выразил свое мнение о китайском происхождении.
На самом деле он в тот день тоже был недалеко от Китая, только что прилетел в Сеул и встретился с президентом Южной Кореи. После своего выступления у него также была беседа один на один с Чжаном Хунцзяном, председателем Исследовательского института Чжиюань. Ниже приведены ключевые моменты и факты.
Ключевые моменты:
По мере того, как мы все ближе и ближе подходим к ОИИ в технологиях, последствия и ловушки несовпадения будут увеличиваться в геометрической прогрессии.
В настоящее время OpenAI использует технологию обучения с подкреплением с обратной связью с человеком, чтобы гарантировать, что системы ИИ полезны и безопасны, а также изучает новые технологии.Одна из идей состоит в том, чтобы использовать системы ИИ, чтобы помочь людям контролировать другие системы ИИ.
Через десять лет у людей появятся мощные системы искусственного интеллекта (ИИ).
OpenAI не имеет соответствующей новой временной шкалы с открытым исходным кодом, и, хотя он признает, что модель с открытым исходным кодом имеет преимущества, когда речь идет о безопасности ИИ, открытый исходный код может быть не лучшим путем.
Понять нейронную сеть гораздо проще, чем человеческий мозг.
В Китае лучшие таланты в области искусственного интеллекта, а безопасность ИИ требует участия и вклада китайских исследователей.
Ниже приводится стенограмма выступления:
Сегодня я хочу поговорить о будущем. В частности, скорость роста, которую мы наблюдаем в возможностях ИИ. Что нам нужно сделать сейчас, чтобы ответственно подготовить мир к их внедрению? История науки учит нас, что технический прогресс движется по экспоненциальной кривой. Мы уже можем видеть это в истории, от сельского хозяйства и промышленности до компьютерной революции. Что поразительно в искусственном интеллекте, так это не только его влияние, но и скорость его развития. Он раздвигает границы человеческого воображения, и делает это в быстром темпе.
Представьте себе, что в течение следующего десятилетия системы, обычно называемые общим искусственным интеллектом (AGI), превзойдут человеческий опыт практически во всех областях. Эти системы могут в конечном итоге превысить коллективную производительность наших крупнейших компаний. Здесь скрывается огромный потенциал роста. Революция в области искусственного интеллекта создаст общее богатство и позволит повысить уровень жизни каждого, решить общие проблемы, такие как изменение климата и глобальная безопасность в области здравоохранения, а также улучшить благосостояние общества множеством других способов.
Я твердо верю в это будущее, и чтобы реализовать его и наслаждаться им, нам необходимо коллективно инвестировать в безопасность AGI и управлять рисками. Если мы не будем осторожны, система AGI, которая не соответствует своему назначению, может подорвать всю систему здравоохранения, давая необоснованные рекомендации. Точно так же система ОИИ, предназначенная для оптимизации методов ведения сельского хозяйства, может непреднамеренно истощить природные ресурсы или нанести ущерб экосистемам, что повлияет на производство продуктов питания и экологический баланс из-за отсутствия учета долгосрочной устойчивости.
Надеюсь, мы все согласимся с тем, что повышение безопасности AGI является одной из наших самых важных областей. Я хочу посвятить остальную часть своего выступления тому, с чего, по моему мнению, мы можем начать.
Одной из областей является управление ОИИ, технологией глобального значения. Стоимость несчастных случаев из-за безрассудной разработки и развертывания затронет всех нас.
В этом отношении есть два ключевых элемента:
Во-первых, нам необходимо установить международные нормы и стандарты и посредством инклюзивного процесса разработать равные и единообразные средства защиты для использования ОИИ во всех странах. Мы считаем, что в рамках этих мер защиты у людей есть широкие возможности сделать свой собственный выбор.
Во-вторых, нам необходимо международное сотрудничество, чтобы укрепить глобальное доверие к безопасной разработке все более мощных систем искусственного интеллекта поддающимся проверке образом. Это непростая задача. Нам необходимо постоянное и критическое внимание со стороны международного сообщества, чтобы сделать это хорошо. Дао Дэ Цзин напоминает нам, что путь в тысячу миль начинается с одного шага. Мы считаем, что наиболее конструктивным первым шагом здесь будет работа с международным технологическим сообществом.
В частности, мы должны продвигать механизмы повышения прозрачности и обмена знаниями о технологических достижениях в области безопасности ОИИ. Исследователи, которые обнаруживают новые проблемы безопасности, должны делиться своими выводами для общего блага. Нам нужно тщательно подумать о том, как мы можем поощрять такие нормы, соблюдая и защищая права интеллектуальной собственности.
Если мы сделаем это хорошо, это откроет нам новые возможности для углубления нашего сотрудничества. В более широком смысле, мы должны инвестировать, облегчать и направлять инвестиции в исследования в области таргетинга и безопасности.
Сегодня в OpenAI наше целевое исследование сосредоточено на технических вопросах о том, как заставить системы ИИ действовать как полезные и безопасные помощники в наших нынешних системах. Это может означать, как мы обучаем ChatGPT, чтобы он не угрожал насилием и не помогал пользователям в вредных действиях.
Но по мере того, как мы приближаемся к AGI, потенциальное влияние и масштабы любого несоблюдения будут расти в геометрической прогрессии. Чтобы решить эти проблемы заблаговременно, мы стремимся свести к минимуму риск катастрофических последствий в будущем. Для текущей системы мы в основном используем обучение с подкреплением на основе отзывов людей, чтобы научить нашу модель действовать как полезный и безопасный помощник.
Это пример целевой техники после тренировки, и мы также заняты разработкой новых. Чтобы сделать это хорошо, требуется много тяжелой инженерной работы. На это у нас ушло 8 месяцев с момента окончания предварительной подготовки GPT-4 до его развертывания. В целом, мы думаем, что мы на правильном пути. GPT-4 подходит для этой цели лучше, чем любая из наших предыдущих моделей.
Однако нацеливание остается открытой проблемой для более продвинутых систем, которые, как мы полагаем, потребуют новых технических подходов, а также большего управления и контроля. Представьте себе футуристическую систему с искусственным интеллектом, состоящую из 100 000 строк двоичного кода. Наблюдатели-люди вряд ли обнаружат, что такая модель делает что-то гнусное.
Поэтому мы инвестируем в некоторые новые и дополнительные направления исследований, которые, как мы надеемся, приведут к прорывам. Одним из них является масштабируемый надзор. Мы можем попытаться использовать системы ИИ, чтобы помочь людям контролировать другие системы ИИ. Например, мы можем обучить модель, чтобы помочь людям-руководителям выявлять недостатки в результатах других моделей. Второе — интерпретируемость. Мы хотели попытаться лучше понять, что происходит внутри этих моделей.
Недавно мы опубликовали статью об использовании GPT-4 для интерпретации нейронов в GPT-2. В другой статье мы используем внутренности модели, чтобы определить, когда модель лжет. Хотя нам еще предстоит пройти долгий путь, мы считаем, что передовые методы машинного обучения могут еще больше улучшить нашу способность генерировать объяснения.
В конечном счете, наша цель состоит в том, чтобы обучить системы искусственного интеллекта, чтобы они помогали целенаправленно проводить исследования. Многообещающим аспектом этого подхода является то, что он масштабируется по мере развития ИИ. По мере того, как будущие модели будут становиться все умнее и полезнее в качестве помощников, мы найдем лучшие методы, которые реализуют исключительные преимущества AGI при одновременном снижении рисков, что является одной из самых важных задач нашего времени.
Ниже приводится стенограмма разговора:
Чжан Хунцзян: Насколько мы далеки от искусственного интеллекта? Является ли риск срочным или мы далеки от него? Будь то безопасный ИИ или потенциально небезопасный ИИ.
Сэм Альтман: Эту проблему трудно точно предсказать, потому что она требует новых исследовательских идей, которые не всегда развиваются в соответствии с установленным графиком. Это может произойти быстро, а может занять больше времени. Я думаю, что трудно предсказать с какой-либо степенью уверенности. Но я думаю, что в течение следующего десятилетия у нас могут появиться очень мощные системы искусственного интеллекта. В таком мире я считаю важным и безотлагательным решить эту проблему, поэтому я призываю международное сообщество работать вместе для решения этой проблемы. История дает нам несколько примеров того, как новые технологии меняют мир быстрее, чем многие думают. Воздействие и ускорение этих систем, которые мы наблюдаем сейчас, в некотором смысле беспрецедентны. Поэтому я думаю, что имеет смысл быть готовым к тому, что это произойдет как можно скорее, и рассмотреть аспекты безопасности, учитывая их влияние и важность.
Чжан Хунцзян: Чувствуете ли вы срочность?
Сэм Альтман: Да, я это чувствую. Я хочу подчеркнуть, что мы на самом деле не знаем. И определение искусственного интеллекта другое, но я думаю, что через десять лет мы должны быть готовы к миру с очень мощными системами.
Чжан Хунцзян: Только что в своем выступлении вы также упомянули о нескольких глобальных проектах сотрудничества. Мы знаем, что за последние шесть-семь десятилетий мир столкнулся со многими кризисами. Но для многих из этих кризисов нам удалось достичь консенсуса и глобального сотрудничества. Вы тоже в мировом турне. Какое глобальное сотрудничество вы продвигаете? Как вы относитесь к отзывам, которые вы уже получили?
Сэм Альтман: Да, я очень доволен полученными отзывами. Я думаю, что люди очень серьезно относятся к рискам и возможностям, предоставляемым ИИ. Я думаю, что дискуссия по этому поводу прошла долгий путь за последние шесть месяцев. Люди действительно работают над выяснением структуры, в которой мы можем пользоваться этими преимуществами, работая вместе над снижением рисков. Я думаю, что мы находимся в очень хорошем положении, чтобы сделать это. Глобальное сотрудничество всегда сложно, но я вижу в нем возможность и угрозу, которые могут объединить мир. Было бы очень полезно, если бы мы могли разработать некоторые рамки и стандарты безопасности, которыми можно было бы руководствоваться при разработке этих систем.
Чжан Хунцзян: Говоря об этой конкретной теме, вы упомянули, что согласование передовых систем искусственного интеллекта — нерешенная проблема. Я также заметил, что Open AI приложил много усилий за последние несколько лет. Вы также упомянули GPT-4 как лучший пример с точки зрения выравнивания. Как вы думаете, сможем ли мы решить проблемы безопасности ИИ с помощью выравнивания? Или эта проблема больше, чем выравнивание?
Сэм Альтман: Я думаю, что есть разные значения слова «выравнивание». Я думаю, что нам нужно решить всю проблему создания безопасных систем искусственного интеллекта. Выравнивание традиционно заключалось в том, чтобы заставить модель вести себя так, как намеревается пользователь, и это, безусловно, ее часть. Но есть и другие вопросы, на которые нам нужно ответить, например, как мы проверяем, что системы делают то, что мы от них хотим, и чьи ценности мы согласовываем с системами. Но я думаю, что важно видеть полную картину того, что необходимо для создания безопасного ИИ.
Чжан Хунцзян: Да, выравнивание по-прежнему имеет место. Если мы посмотрим на то, что сделал GPT-4, по большей части, это все еще с технической точки зрения. Но кроме технологий есть еще много факторов. Это очень сложный вопрос. Часто сложные проблемы носят системный характер. Безопасность ИИ не может быть исключением. Помимо технических аспектов, какие другие факторы и проблемы, по вашему мнению, имеют решающее значение для безопасности ИИ? Как мы должны реагировать на эти вызовы? Тем более, что большинство из нас ученые, что мы должны делать?
Сэм Альтман: Это, конечно, очень сложный вопрос. Я бы сказал, что без технического решения все остальное сложно. Я думаю, очень важно уделить много внимания техническим аспектам безопасности. Как я уже упоминал, не является технической проблемой выяснить, на какие ценности мы хотим настроить систему. Это требует технического вклада, но это вопрос, который требует всестороннего обсуждения всем обществом. Мы должны разрабатывать системы, которые будут справедливыми, репрезентативными и инклюзивными. И, как вы указали, мы должны учитывать не только безопасность самой модели ИИ, но и безопасность всей системы. Поэтому также важно создавать классификаторы и детекторы безопасности, которые могут работать поверх модели и отслеживать соответствие политикам использования. Кроме того, я также думаю, что трудно заранее предсказать, что пойдет не так с любой технологией. Так что извлекайте уроки из реального мира и развертывайте итеративно, смотрите, что происходит, когда вы внедряете модель в реальный мир, улучшайте ее и дайте людям и обществу время на изучение и обновление, а также подумайте о том, как эти модели будут использоваться во благо и во благо. плохо влияют на их жизнь. Это также очень важно.
Чжан Хунцзян: Вы только что упомянули глобальное сотрудничество. Вы посетили много стран и упомянули Китай. Но не могли бы вы поделиться некоторыми результатами, которых вы достигли в плане сотрудничества? Какие планы или идеи у вас есть для следующих шагов? Из этого мирового турне, из ваших взаимодействий с различными правительствами, учреждениями, учреждениями?
Сэм Альтман: Я думаю, что в целом требуется много разных точек зрения и безопасность ИИ. У нас пока нет ответов на все вопросы, и это довольно сложный и важный вопрос.
Кроме того, как уже упоминалось, сделать ИИ безопасным и полезным — это не чисто технический вопрос. Включает в себя понимание предпочтений пользователей в разных странах в очень разных контекстах. Нам нужно много разных материалов, чтобы это произошло. В Китае одни из лучших талантов в области искусственного интеллекта в мире. По сути, я думаю, что лучшие умы со всего мира необходимы для решения проблемы согласования передовых систем искусственного интеллекта. Поэтому я очень надеюсь, что китайские исследователи ИИ могут внести здесь большой вклад.
Чжан Хунцзян: Я понимаю, что сегодняшний форум посвящен безопасности ИИ, потому что людям очень интересен OpenAI, поэтому у меня много вопросов об OpenAI, а не только о безопасности ИИ. У меня есть вопрос аудитории: есть ли у OpenAI какие-либо планы по повторному открытию исходного кода своих моделей, как это было до версии 3.0? Я также думаю, что открытый исходный код хорош для безопасности ИИ.
Сэм Альтман: Некоторые из наших моделей имеют открытый исходный код, а некоторые нет, но со временем, я думаю, вы должны ожидать, что в будущем мы продолжим открывать исходный код для большего количества моделей. У меня нет конкретной модели или графика, но это то, что мы обсуждаем прямо сейчас.
Чжан Хунцзян: Мы вложили все наши усилия в открытый исходный код, включая саму модель, алгоритмы для разработки модели и инструменты для оптимизации связи между моделью и данными. Мы верим в необходимость делиться и давать пользователям возможность контролировать то, что они используют. У вас есть подобные отзывы? Или это то, что вы, ребята, обсуждаете в OpenAI?
Сэм Альтман: Да, я думаю, что открытый исходный код играет важную роль. В последнее время также появилось много новых моделей с открытым исходным кодом. Я думаю, что модель API также играет важную роль. Это предоставляет нам дополнительные средства контроля безопасности. Вы можете заблокировать определенные виды использования. Вы можете заблокировать определенные типы настроек. Если что-то не работает, можно вернуть. В масштабе текущей модели меня это не слишком беспокоит. Но по мере того, как модель становится такой мощной, как мы ожидаем, если мы правы в этом, я думаю, что открытый исходный код может быть не лучшим путем, хотя иногда это правильно. Я думаю, нам просто нужно тщательно сбалансировать это.
Чжан Хунцзян: Дополнительный вопрос о GPT-4 и безопасности ИИ: нужно ли нам менять всю инфраструктуру или архитектуру всей модели AGI, чтобы сделать ее более безопасной и простой для проверки? Что вы думаете об этом?
Сэм Альтман: Это определенно возможно, нам нужны очень разные архитектуры, как с точки зрения возможностей, так и с точки зрения безопасности. Я думаю, что мы сможем добиться некоторого прогресса в объяснимости существующих типов моделей, и они лучше объяснят нам, что они делают и почему. Но меня бы не удивило, если бы после трансформеров произошел еще один гигантский скачок. А на самом деле мы уже в оригинальном трансформере, архитектура сильно изменилась.
Чжан Хунцзян: Мне, как исследователю, тоже любопытно, каковы следующие направления исследований ОИИ? С точки зрения больших моделей, больших языковых моделей, скоро ли мы увидим GPT-5? Следующий рубеж в воплощенных моделях? Является ли автономная робототехника областью, которую OpenAI изучает или планирует исследовать?
Сэм Альтман: Мне также любопытно, что будет дальше, и одна из моих любимых вещей в этой работе — это то, что передовые исследования вызывают много волнения и удивления. У нас пока нет ответов, поэтому мы изучаем множество возможных новых парадигм. Конечно, когда-нибудь мы попробуем сделать модель GPT-5, но не в ближайшее время. Мы не знаем, когда именно. Мы занимаемся робототехникой с самого начала OpenAI, и нам это очень интересно, но у нас были некоторые трудности. Я надеюсь, что однажды мы сможем вернуться в эту область.
Чжан Хунцзян: Звучит здорово. Вы также упомянули в своей презентации, как вы используете GPT-4, чтобы объяснить, как работает GPT-2, делая модель более безопасной. Является ли этот подход масштабируемым? В этом ли направлении OpenAI будет продолжать развиваться в будущем?
Сэм Альтман: Мы будем продолжать двигаться в этом направлении.
Чжан Хунцзян: Как вы думаете, можно ли применить этот метод к биологическим нейронам? Потому что причина, по которой я задаю этот вопрос, заключается в том, что есть некоторые биологи и нейробиологи, которые хотят позаимствовать этот метод для изучения и изучения того, как работают нейроны человека в своей области.
Сэм Альтман: Гораздо легче увидеть, что происходит на искусственных нейронах, чем на биологических нейронах. Поэтому я думаю, что этот подход подходит для искусственных нейронных сетей. Я думаю, что есть способ использовать более мощные модели, чтобы помочь нам понять другие модели. Но я не совсем уверен, как бы вы применили этот подход к человеческому мозгу.
Чжан Хунцзян: Хорошо, спасибо. Теперь, когда мы поговорили о безопасности ИИ и управлении ОИИ, один из вопросов, которые мы обсуждали, — было бы безопаснее, если бы в мире было всего три модели? Это как ядерный контроль, вы не хотите, чтобы ядерное оружие распространялось. У нас есть договор, в котором мы пытаемся контролировать количество стран, которые могут получить эту технологию. Так является ли управление количеством моделей возможным направлением?
Сэм Альтман: Я думаю, что существуют разные мнения о том, безопаснее ли иметь модель меньшинства или модели большинства в мире. Я думаю, что более важно, есть ли у нас система, в которой любая надежная модель адекватно проверяется на безопасность? Есть ли у нас структура, в которой каждый, кто создает достаточно надежную модель, имеет как ресурсы, так и ответственность за то, чтобы то, что он создает, было безопасным и согласованным?
Чжан Хунцзян: На вчерашней встрече профессор Макс из Института будущего жизни Массачусетского технологического института упомянул возможный метод, аналогичный тому, как мы контролируем разработку лекарств. Когда ученые или компании разрабатывают новые лекарства, вы не можете продавать их напрямую. Вы должны пройти через этот процесс тестирования. Это то, чему мы можем научиться?
Сэм Альтман: Я определенно думаю, что мы можем многому научиться из схем лицензирования и тестирования, разработанных в разных отраслях. Но я думаю, что в принципе у нас есть что-то, что может работать.
Чжан Хунцзян: Большое спасибо, Сэм. Спасибо, что нашли время посетить эту встречу, хотя и виртуально. Я уверен, что есть еще много вопросов, но, учитывая время, мы должны остановиться здесь. Я надеюсь, что в следующий раз, когда у вас будет возможность приехать в Китай, приехать в Пекин, мы сможем провести более подробное обсуждение. большое спасибо.