第二に、ますます強力になる AI システムの安全な開発に対する世界的な信頼を検証可能な方法で構築するには、国際協力が必要です。これは簡単な作業ではありません。これをうまくやるには、国際社会としての持続的かつ批判的な注目が必要です。 『道経経』は、千里の道も一歩から始まるということを思い出させてくれます。ここで取るべき最も建設的な最初のステップは、国際的な技術コミュニティと協力することだと考えています。
そのため、私たちはブレークスルーにつながることを期待して、いくつかの新しい補完的な研究方向に投資しています。 1 つはスケーラブルな監視です。 AI システムを使用して、人間が他の AI システムを監視できるようにすることもできます。たとえば、人間の監督者が他のモデルの出力の欠陥を発見できるようにモデルをトレーニングできます。 2つ目は解釈可能性です。私たちは、これらのモデルの内部で何が起こっているのかをよりよく理解したいと考えました。
サム・アルトマン: はい、これまでに受け取ったフィードバックにとても満足しています。人々は AI によってもたらされるリスクと機会を非常に真剣に受け止めていると思います。この6か月間で、これに関する議論はかなり進んだと思います。人々は、リスクを軽減するために協力しながら、これらの利点を享受できる枠組みを見つけることに真剣に取り組んでいます。私たちはそれを実現するのに非常に良い立場にあると思います。世界的な協力は常に困難ですが、私はそれが世界を一つにできる機会であると同時に脅威であると考えています。これらのシステムの開発をガイドするいくつかのフレームワークとセキュリティ標準を開発できれば、非常に役立ちます。
張宏江: この特定のトピックに関して、あなたは、高度な人工知能システムの調整が未解決の問題であると述べました。ここ数年、Open AI がそれに多大な努力を払ってきたことにも気づきました。また、アライメントの点で最良の例として GPT-4 についても言及しました。 AI の安全性の問題は調整によって解決できると思いますか?それとも、この問題は調整よりも大きいのでしょうか?
サム・アルトマン: アライメントという言葉にはさまざまな使い方があると思います。私たちが取り組む必要があるのは、安全な AI システムをどのように実現するかという全体的な課題だと思います。アライメントは伝統的に、モデルをユーザーの意図どおりに動作させることを目的としており、それは確かにその一部です。しかし、システムが私たちが望んでいることをどのように実行するかをどのように検証するか、システムを誰の価値観に合わせるかなど、私たちが答えなければならない質問は他にもあります。しかし、安全なAIを実現するには何が必要なのか、全体像を把握することが重要だと思います。
張宏江: はい、調整は依然として当てはまります。 GPT-4 の成果を見ると、ほとんどの場合、それは依然として技術的な観点からのものです。しかし、テクノロジー以外にも多くの要因があります。これは非常に複雑な問題です。多くの場合、複雑な問題は体系的なものになります。 AI セキュリティも例外ではないかもしれません。技術的な側面以外に、AI の安全性にとって重要な要素や問題は何だと思いますか?これらの課題にどのように対応すべきでしょうか?特に私たちのほとんどは科学者なので、私たちは何をすべきでしょうか？
Sam Altman: 一般的には、さまざまな視点と AI の安全性が必要だと思います。まだすべての答えは出ていませんが、これはかなり難しくて重要な質問です。
また、前述したように、AI を安全で有益なものにすることは純粋に技術的な問題ではありません。さまざまな国の、まったく異なる状況におけるユーザーの好みを理解することが含まれます。これを実現するには、さまざまなインプットが必要です。中国には世界最高の AI 人材がいます。基本的に、高度な AI システムを調整する難しさに対処するには、世界中の最高の頭脳が必要だと思います。したがって、中国のAI研究者がここで大きな貢献をしてくれることを心から願っています。
張宏江: 今日のフォーラムは AI の安全性に関するものだと理解しています。人々は OpenAI に非常に興味を持っているので、AI の安全性だけでなく、OpenAI についてもたくさんの質問があります。ここで聴衆に質問がありますが、OpenAI がバージョン 3.0 以前のようにモデルを再度オープンソース化する計画はありますか?また、オープンソースは AI の安全性にとっても良いと思います。
Sam Altman: 私たちのモデルには、オープンソースであるものもあれば、そうでないものもありますが、時間が経つにつれて、将来的にはさらに多くのモデルをオープンソース化し続けることを期待すべきだと思います。具体的なモデルやスケジュールはありませんが、それについては現在話し合っているところです。
Sam Altman: そうですね、オープンソースにはある意味で重要な役割があると思います。最近では、新しいオープンソース モデルも多数登場しています。 APIモデルも重要な役割を担っていると思います。これにより、追加のセキュリティ制御が提供されます。特定の使用をブロックできます。特定の種類の調整をブロックできます。何かがうまくいかない場合は、元に戻すことができます。現行モデルの規模であれば、それほど心配はありません。しかし、モデルが私たちが期待するほど強力になるにつれて、私たちの考えが正しければ、すべてをオープンソース化することが最善の道ではないかもしれないと思います。ただし、それが正しい場合もあります。慎重にバランスを取る必要があると思います。
Zhang Honjiang: GPT-4 と AI セキュリティに関する追加の質問は、インフラストラクチャ全体、または AGI モデル全体のアーキテクチャを変更して、より安全かつ簡単にチェックできるようにする必要があるかということです。これについてはどう思いますか？
Sam Altman: それは間違いなく可能ですが、機能とセキュリティの両方の点で、いくつかの非常に異なるアーキテクチャが必要です。現在のタイプのモデルで説明可能性がある程度向上し、何をしているのか、なぜそうなっているのかをよりよく説明してもらうことができるようになると思います。しかし、トランスフォーマーの後にまた大きな飛躍があったとしても私は驚かないでしょう。そして実際には、私たちはすでにオリジナルのトランスを使用しており、アーキテクチャは大きく変更されています。
サム・アルトマンの中国対話の全文: 私たちは AI のリスクに注意を払う必要がありますが、人々が何を考えているかを理解するよりもニューラル ネットワークを理解する方がはるかに簡単です
著者｜ニール・シェン
出典丨ピンワン
サム・アルトマン氏の講演は6月10日、Zhiyuan ConferenceのAIセキュリティと連携サブフォーラムで行われた。会場は満席で、OpenAI CEOがスクリーンに登場すると拍手が起こり、ほぼ全員が携帯電話を掲げてスクリーン上の写真を撮っていました。
しかしアルトマン自身は冷静で、慎重ですらあるようだ。 ChatGPTが昨年世界的なAIブームを巻き起こして以来、サム・アルトマン氏が中国の背景について公の場で意見を表明するのはこれが初めてだ。
実際、その日、彼は中国からもそれほど遠くなく、ソウルに到着し、韓国大統領と会談したところだった。講演後、智源研究所の張宏江会長と一対一の質疑応答も行った。以下に重要な点と事実を示します。
＃＃ キーポイント：
テクノロジーが AGI にどんどん近づくにつれて、位置ずれの影響と落とし穴は指数関数的に増加します。
OpenAI は現在、AI システムの有用性と安全性を確保するために強化学習によるヒューマン フィードバック テクノロジを使用しており、新しいテクノロジの研究も行っており、そのアイデアの 1 つは、AI システムを使用して人間が他の AI システムを監視するのを支援することです。
人類は10年以内に強力な人工知能システム（AI）を手に入れるでしょう。
OpenAI には関連する新しいオープンソースのタイムラインはなく、AI の安全性に関してはオープンソース モデルに利点があることは認めていますが、すべてをオープンソースにすることが最善の方法ではない可能性があります。
ニューラル ネットワークを理解することは、人間の脳よりもはるかに簡単です。
中国には最高の人工知能の才能があり、AIのセキュリティには中国の研究者の参加と貢献が必要です。
以下はスピーチのトランスクリプトです。
今日は未来についてお話したいと思います。具体的には、AI 機能の成長率です。世界が責任を持ってそれらの導入に備えるために、私たちは今何をする必要があるでしょうか。科学の歴史は、技術の進歩が指数関数的な曲線をたどることを教えています。これは、農業や工業からコンピューティング革命に至るまで、歴史の中ですでに見ることができます。人工知能について驚くべきことは、その影響力だけでなく、その進歩のスピードです。それは人間の想像力の限界を押し広げ、しかもそれは急速に進んでいます。
今後 10 年以内に、一般に汎用人工知能 (AGI) と呼ばれるシステムが、ほぼすべての領域で人間の専門知識を超えることを想像してください。これらのシステムは、最終的には最大手の企業の総合的な生産性を超える可能性があります。ここには大きな上昇の可能性が潜んでいます。 AI 革命は共有の富を生み出し、すべての人の生活水準を向上させ、気候変動や世界の健康安全保障などの共通の課題に対処し、その他無数の方法で社会の幸福を向上させることを可能にします。
私はこの未来を強く信じており、それを実現し楽しむためには、AGI の安全性への投資とリスク管理に共同で投資する必要があります。注意しないと、目的に適していない AGI システムが根拠のない推奨を行うことにより、医療システム全体を損なう可能性があります。同様に、農業慣行を最適化するように設計された AGI システムは、長期的な持続可能性への配慮が欠如しているため、不注意で天然資源を枯渇させたり、生態系に損傷を与えたりして、食糧生産や環境バランスに影響を与える可能性があります。
AGI の安全性の向上が私たちの最も重要な分野の 1 つであるということに全員が同意できることを願っています。残りの話をどこから始められるかに焦点を当てたいと思います。
1 つの分野は、世界的な影響を持つテクノロジーである AGI のガバナンスです。無謀な開発と展開による事故のコストは、私たち全員に影響を及ぼします。
この点に関しては、次の 2 つの重要な要素があります。
まず、私たちは国際的な規範と基準を確立し、包括的なプロセスを通じて、すべての国で AGI の使用に対する平等かつ均一な保護を開発する必要があります。これらの保護の範囲内で、人々には自ら選択を行う十分な機会があると私たちは信じています。
第二に、ますます強力になる AI システムの安全な開発に対する世界的な信頼を検証可能な方法で構築するには、国際協力が必要です。これは簡単な作業ではありません。これをうまくやるには、国際社会としての持続的かつ批判的な注目が必要です。 『道経経』は、千里の道も一歩から始まるということを思い出させてくれます。ここで取るべき最も建設的な最初のステップは、国際的な技術コミュニティと協力することだと考えています。
特に、AGI の安全性における技術進歩に関する透明性の向上と知識の共有のためのメカニズムを促進する必要があります。新たなセキュリティ問題を発見した研究者は、より大きな利益のためにその洞察を共有する必要があります。私たちは、知的財産権を尊重し保護しながら、そのような規範をどのように促進できるかを慎重に考える必要があります。
これをうまく行えば、協力を深める新たな扉が開かれるでしょう。より広範には、ターゲティングとセキュリティの研究に投資し、促進し、直接投資する必要があります。
OpenAI では、現在、AI システムを現在のシステムで有用かつ安全なアシスタントとして機能させる方法に関する技術的な質問に焦点を当てた研究を行っています。これは、ChatGPT が暴力の脅威を与えたり、ユーザーの有害な活動を支援したりしないように、どのようにトレーニングするかということを意味する可能性があります。
しかし、AGI に近づくにつれて、コンプライアンス違反の潜在的な影響と規模は飛躍的に増大します。これらの課題に事前に対処するために、私たちは将来の壊滅的な結果のリスクを最小限に抑えるよう努めています。現在のシステムでは、主に人間のフィードバックからの強化学習を使用して、有用かつ安全なアシスタントとして機能するモデルをトレーニングします。
これはトレーニング後のターゲットテクニックの一例であり、私たちは新しいテクニックの開発にも熱心に取り組んでいます。これをうまく行うには、多大な労力を要するエンジニアリング作業が必要です。 GPT-4 の事前トレーニングが完了してからデプロイするまで、これを行うのに 8 か月かかりました。全体として、私たちはここで正しい軌道に乗っていると考えています。 GPT-4 は、以前のどのモデルよりもターゲットによく適合します。
ただし、より高度なシステムにとってターゲティングは依然として未解決の問題であり、これには新たな技術的アプローチと、より多くのガバナンスと監視が必要になると考えられます。 100,000 行のバイナリ コードを考え出す未来の AGI システムを想像してください。人間の監督者は、そのようなモデルが何か不正なことをしているかどうかを検出する可能性は低いです。
そのため、私たちはブレークスルーにつながることを期待して、いくつかの新しい補完的な研究方向に投資しています。 1 つはスケーラブルな監視です。 AI システムを使用して、人間が他の AI システムを監視できるようにすることもできます。たとえば、人間の監督者が他のモデルの出力の欠陥を発見できるようにモデルをトレーニングできます。 2つ目は解釈可能性です。私たちは、これらのモデルの内部で何が起こっているのかをよりよく理解したいと考えました。
私たちは最近、GPT-4 を使用して GPT-2 のニューロンを解釈する論文を発表しました。別の論文では、モデルの内部構造を使用して、モデルが嘘をついていることを検出します。まだまだ道のりは長いですが、高度な機械学習技術により、説明を生成する能力がさらに向上すると信じています。
最終的な目標は、AI システムをトレーニングして研究そのものを支援できるようにすることです。このアプローチの有望な側面は、AI 開発のペースに合わせて拡張できることです。将来のモデルがますますスマートになり、アシスタントとしてより便利になるにつれて、現代の最も重要な課題の 1 つであるリスクを軽減しながら、AGI の並外れたメリットを実現する、より優れた技術が見つかるでしょう。
以下は会話の記録です。
張宏江: 私たちは人工知能からどのくらい離れているのでしょうか?そのリスクは差し迫ったものなのでしょうか、それともまだ遠いのでしょうか?安全な AI か、安全でない可能性のある AI か。
サム・アルトマン: この問題を正確に予測するのは困難です。なぜなら、この問題には、常に所定のスケジュールに従って発展するとは限らない新しい研究アイデアが必要だからです。それはすぐに起こることもあれば、もっと時間がかかることもあります。ある程度の確実性を持って予測するのは難しいと思います。しかし、今後 10 年以内に、非常に強力な AI システムが登場するかもしれないと私は考えています。このような世界において、私はこの問題の解決が重要かつ緊急であると信じており、そのために国際社会がこの問題の解決に向けて協力することを呼びかけます。歴史には、新しいテクノロジーが多くの想像を超える速さで世界を変える例がいくつかあります。私たちが現在目にしているこれらのシステムの影響と加速は、ある意味で前例のないものです。したがって、その影響と重要性を考えると、できるだけ早くそれが起こるように準備を整え、セキュリティの側面に対処することは非常に理にかなっていると思います。
張宏江：危機感はありますか？
サム・アルトマン: ああ、それは感じるよ。私たちは実際のところは分からないということを強調したいと思います。人工知能の定義は異なりますが、10 年後には非常に強力なシステムを備えた世界が到来する準備が整っているはずだと思います。
張宏江：先ほどのスピーチの中で、いくつかの世界的な協力についても触れられました。過去 60 年から 70 年の間に、世界は多くの危機に直面していることを私たちは知っています。しかし、これらの危機の多くに対して、私たちはコンセンサスと世界的な協力を構築することができました。あなたも世界ツアー中です。どのようなグローバルコラボレーションを推進していますか?これまでに受け取ったフィードバックについてどう思いますか?
サム・アルトマン: はい、これまでに受け取ったフィードバックにとても満足しています。人々は AI によってもたらされるリスクと機会を非常に真剣に受け止めていると思います。この6か月間で、これに関する議論はかなり進んだと思います。人々は、リスクを軽減するために協力しながら、これらの利点を享受できる枠組みを見つけることに真剣に取り組んでいます。私たちはそれを実現するのに非常に良い立場にあると思います。世界的な協力は常に困難ですが、私はそれが世界を一つにできる機会であると同時に脅威であると考えています。これらのシステムの開発をガイドするいくつかのフレームワークとセキュリティ標準を開発できれば、非常に役立ちます。
張宏江: この特定のトピックに関して、あなたは、高度な人工知能システムの調整が未解決の問題であると述べました。ここ数年、Open AI がそれに多大な努力を払ってきたことにも気づきました。また、アライメントの点で最良の例として GPT-4 についても言及しました。 AI の安全性の問題は調整によって解決できると思いますか?それとも、この問題は調整よりも大きいのでしょうか?
サム・アルトマン: アライメントという言葉にはさまざまな使い方があると思います。私たちが取り組む必要があるのは、安全な AI システムをどのように実現するかという全体的な課題だと思います。アライメントは伝統的に、モデルをユーザーの意図どおりに動作させることを目的としており、それは確かにその一部です。しかし、システムが私たちが望んでいることをどのように実行するかをどのように検証するか、システムを誰の価値観に合わせるかなど、私たちが答えなければならない質問は他にもあります。しかし、安全なAIを実現するには何が必要なのか、全体像を把握することが重要だと思います。
張宏江: はい、調整は依然として当てはまります。 GPT-4 の成果を見ると、ほとんどの場合、それは依然として技術的な観点からのものです。しかし、テクノロジー以外にも多くの要因があります。これは非常に複雑な問題です。多くの場合、複雑な問題は体系的なものになります。 AI セキュリティも例外ではないかもしれません。技術的な側面以外に、AI の安全性にとって重要な要素や問題は何だと思いますか?これらの課題にどのように対応すべきでしょうか?特に私たちのほとんどは科学者なので、私たちは何をすべきでしょうか？
サム・アルトマン: もちろん、これは非常に複雑な質問です。技術的な解決策がなければ、他のことはすべて困難だと思います。セキュリティの技術的側面に確実に対処することに重点を置くことが非常に重要だと思います。先ほども述べたように、システムをどのような値に合わせたいかを理解するのは技術的な問題ではありません。技術的なインプットも必要ですが、社会全体での深い議論が必要な問題です。私たちは公平で、代表的で、包括的なシステムを設計しなければなりません。そして、ご指摘のとおり、AI モデル自体のセキュリティだけでなく、システム全体のセキュリティも考慮する必要があります。したがって、モデル上で実行でき、使用ポリシーへの準拠を監視できるセキュリティ分類子と検出器を構築することも重要です。そして、どんなテクノロジーでも何が問題になるかを事前に予測するのは難しいとも思います。したがって、現実世界から学び、反復的に展開し、モデルを現実世界に導入すると何が起こるかを確認して改善し、人々と社会に学習と更新の時間を与え、これらのモデルがどのように良い目的で使用されるかを考える必要があります。彼らの生活に悪い影響を及ぼします。これも非常に重要です。
張宏江：先ほど世界協力について言及されましたね。あなたは多くの国を訪問しており、中国についても言及しました。しかし、コラボレーションに関して達成した成果をいくつか共有してもらえますか?次のステップに向けてどのような計画やアイデアがありますか?このワールドツアーや、さまざまな政府、機関、団体との交流から？
Sam Altman: 一般的には、さまざまな視点と AI の安全性が必要だと思います。まだすべての答えは出ていませんが、これはかなり難しくて重要な質問です。
また、前述したように、AI を安全で有益なものにすることは純粋に技術的な問題ではありません。さまざまな国の、まったく異なる状況におけるユーザーの好みを理解することが含まれます。これを実現するには、さまざまなインプットが必要です。中国には世界最高の AI 人材がいます。基本的に、高度な AI システムを調整する難しさに対処するには、世界中の最高の頭脳が必要だと思います。したがって、中国のAI研究者がここで大きな貢献をしてくれることを心から願っています。
張宏江: 今日のフォーラムは AI の安全性に関するものだと理解しています。人々は OpenAI に非常に興味を持っているので、AI の安全性だけでなく、OpenAI についてもたくさんの質問があります。ここで聴衆に質問がありますが、OpenAI がバージョン 3.0 以前のようにモデルを再度オープンソース化する計画はありますか?また、オープンソースは AI の安全性にとっても良いと思います。
Sam Altman: 私たちのモデルには、オープンソースであるものもあれば、そうでないものもありますが、時間が経つにつれて、将来的にはさらに多くのモデルをオープンソース化し続けることを期待すべきだと思います。具体的なモデルやスケジュールはありませんが、それについては現在話し合っているところです。
張宏江氏: 私たちは、モデル自体、モデルを開発するためのアルゴリズム、モデルとデータの関係を最適化するツールを含め、オープンソースに全力を注ぎました。私たちは共有し、ユーザーが自分が使用するものをコントロールしていると感じられるようにする必要があると信じています。同様のフィードバックはありますか?それとも、これは皆さんが OpenAI で議論していることですか?
Sam Altman: そうですね、オープンソースにはある意味で重要な役割があると思います。最近では、新しいオープンソース モデルも多数登場しています。 APIモデルも重要な役割を担っていると思います。これにより、追加のセキュリティ制御が提供されます。特定の使用をブロックできます。特定の種類の調整をブロックできます。何かがうまくいかない場合は、元に戻すことができます。現行モデルの規模であれば、それほど心配はありません。しかし、モデルが私たちが期待するほど強力になるにつれて、私たちの考えが正しければ、すべてをオープンソース化することが最善の道ではないかもしれないと思います。ただし、それが正しい場合もあります。慎重にバランスを取る必要があると思います。
Zhang Honjiang: GPT-4 と AI セキュリティに関する追加の質問は、インフラストラクチャ全体、または AGI モデル全体のアーキテクチャを変更して、より安全かつ簡単にチェックできるようにする必要があるかということです。これについてはどう思いますか？
Sam Altman: それは間違いなく可能ですが、機能とセキュリティの両方の点で、いくつかの非常に異なるアーキテクチャが必要です。現在のタイプのモデルで説明可能性がある程度向上し、何をしているのか、なぜそうなっているのかをよりよく説明してもらうことができるようになると思います。しかし、トランスフォーマーの後にまた大きな飛躍があったとしても私は驚かないでしょう。そして実際には、私たちはすでにオリジナルのトランスを使用しており、アーキテクチャは大きく変更されています。
張宏江：私も研究者として興味がありますが、AGI研究の次の方向性は何でしょうか？大規模なモデル、大規模な言語モデルに関しては、GPT-5 がすぐに登場するでしょうか?次のフロンティアは具現化モデルでしょうか?自律型ロボット工学は、OpenAI が検討している、または検討する予定の分野ですか?
サム・アルトマン: 私も次の展開に興味があります。この仕事をしていて気に入っていることの 1 つは、最先端の研究で多くの興奮と驚きがあることです。私たちはまだ答えを持っていないので、多くの新しいパラダイムの可能性を模索しています。もちろん、ある時点で GPT-5 モデルの開発を試みる予定ですが、すぐにはそうではありません。正確にいつなのかは分かりません。私たちは OpenAI の初期段階からロボット工学に取り組んでおり、ロボット工学に非常に興味を持っていますが、いくつかの困難がありました。いつかこのフィールドに戻れることを願っています。
張宏江：素晴らしいですね。プレゼンテーションでは、GPT-2 がどのように機能し、モデルをより安全にするかを説明するために GPT-4 を使用する方法についても言及しました。このアプローチは拡張可能ですか? OpenAIは今後もこの方向性を進めていくのでしょうか？
サム・アルトマン: 私たちはこの方向に向かって突き進んでいきます。
張宏江: この方法は生物学的ニューロンに適用できると思いますか?なぜなら、私がこの質問をする理由は、この方法を使って人間のニューロンが自分たちの分野でどのように機能するかを研究し、探索したいと考えている生物学者や神経科学者がいるからです。
サム・アルトマン: 生物学的ニューロンよりも人工ニューロンで何が起こっているかを確認する方がはるかに簡単です。したがって、このアプローチは人工ニューラルネットワークに有効だと思います。他のモデルを理解するために、より強力なモデルを使用する方法があると思います。しかし、このアプローチを人間の脳にどのように適用するのかはよくわかりません。
張宏江：わかりました、ありがとうございます。 AI の安全性と AGI 制御について話しましたが、私たちが議論してきた疑問の 1 つは、世界に 3 つのモデルしか存在しない方が安全なのでしょうか?それは核管理のようなもので、核兵器の拡散を望まないのです。私たちはこの技術を入手できる国の数を制御しようとするこの条約を締結しています。では、モデルの数を制御することは実現可能な方向なのでしょうか?
サム・アルトマン: 世界で少数派モデルと多数派モデルのどちらが安全かについては、さまざまな意見があると思います。それよりも重要なことは、堅牢なモデルの安全性が適切にテストされるシステムがあるかどうか、ということだと思います。十分に堅牢なモデルを作成する人が、作成したものが安全で整合していることを保証するためのリソースと責任の両方を持てるフレームワークはあるでしょうか?
張宏江氏: 昨日の会議で、MIT フューチャー・オブ・ライフ研究所のマックス教授は、医薬品開発を管理する方法に似た、可能な方法について言及しました。科学者や企業が新薬を開発する場合、それを直接販売することはできません。このテストプロセスを経る必要があります。これは私たちが学べることなのでしょうか？
Sam Altman: さまざまな業界で開発されたライセンスとテストのフレームワークから多くのことを学べると確信しています。しかし、基本的にはうまくいくものがあると思います。
張宏江: ありがとうございます、サム。バーチャルではありましたが、貴重なお時間を割いてこの会議にご出席いただきまして、誠にありがとうございます。まだたくさんの質問があると思いますが、時間の関係上、ここでやめなければなりません。次回あなたが中国に来る機会があり、北京に来て、より深い議論ができることを願っています。どうもありがとうございます。