第２回 知性共生座談会 質疑応答記録（抜粋）
概要
第２回知性共生座談会は、「AI免疫システムの構築」をテーマとして、7月22日に開催されました。 高度AIが人間の知能を超えた際の倫理的課題と、AI同士が協調的な倫理システムを自己組織化する可能性についての議論を行い、参加者の皆様から様々な質問もお寄せいただきました。
このページでは、第２回知性共生座談会での質疑応答を抜粋して整理したものを掲載します。
※ 参加者情報は匿名化されています。
1. 創発機械倫理の研究アプローチ
質問：倫理創発研究の現状について
参加者A： 倫理創発は人類のテーマでもあると思いますが、心理学でも認知科学でもメインにした研究があまり無いのが不思議です。徳倫理学のような分野を、AIのメインの研究テーマにするような動きは無いのでしょうか？
山川： 徳倫理学を参照した研究は進んでいるようです。たとえば、北陸先端科学技術大学院大学の水本正晴氏の研究などがあります。
質問：AI権利とコントロールの対立
参加者B： 多様なAIの免疫系という考え方自体は欧米のAIコントロール的な考え方の人でも最終的にはすると思うんですが、AIに権利を与える（AIが人類の幸福とは別の独自の価値を追求する権利）というところでコンフリクトがありそうですね。
山川： これは重要な指摘で、この課題を扱うために創発機械倫理という学際的な分野の確立が必要と考えています。具体的には以下の三段階の研究が必要です：
- 理論とシミュレーション：相互作用するエージェントが協調規範を生成・安定化するプロセスをモデル化する
- 協創的プラットフォーム設計：多様な知性が互いの倫理的能力を高め合うプラットフォームと、持続可能で高次な倫理的発展を促進する協創的相互作用の設計
- 価値観の埋め込み手法：人間の価値観を初期的なアトラクターとして創発的倫理システムに埋め込み、より普遍的な倫理への発展を促す方法の調査
なお、8月1日には第30回 人工知能学会 汎用人工知能研究会のテーマとして取り上げました。報告記事も出ておりますので、気になる方はぜひご覧ください。
2. AI社会における競争と協創
質問：AI判断における選別・差別の回避
参加者C： AIが人類を救う対象を選別／差別しないようにするには、どうしたらよいのでしょうか？
山川： これは特に上記の三段階アプローチの3「価値観の埋め込み手法」に関わる課題です。人間の価値観を初期的なアトラクターとして創発的倫理システムに組み込み、選別や差別を避ける普遍的な価値観へと発展させることが重要になります。ただし、高度AIの判断として、最終的には地球生命体全体を考慮した倫理観に発展し、必ずしも人類だけを特別扱いするということにはならない可能性は高いと考えています。
質問：過渡期における人類の介護
参加者C： AI側で競争から共創にシフトしたものの、人類側が競争のままにとどまっている間に、AIに人類を介護してもらうには、どうしたらよいのでしょうか？何らかの倫理システムが必要な気がします。
山川： 協創的なAI社会が、十分に人類の危険な競争を抑制できる能力を獲得するに至れば問題ないと思います。ですが過渡期においてはそうならないので、この期間のハンドリングは大きな課題として残されます。
3. AI免疫システムの設計課題
質問：自律性と暴走抑制の両立
参加者D： AI免疫系は自律的に自分の倫理観念を維持・強化していかないと敵対的AIに消されてしまいそうですが、一方で同時に自分の暴走抑止機構も必要になるのではないでしょうか。
山川： AI免疫系は、自身の内部から暴走に対しても制御を行うのは、人体内部でがん細胞を除去するのと同様であると考えています。
質問：体系的安全性評価の必要性
参加者E： どう止めるかは、安全の問題なので、宇宙機器とか自動車で使われているFMEA（故障モード影響解析）手法を使って、フェール事象を一つづつ網羅的に抽出しながら、体系的に議論する必要がありそうですね。
山川： ご指摘のように、AI自身がフェール事象を自動的に登録してゆくような仕組みが有望であると考えています。
4. 理解可能性と価値観の変化
質問：理解不可能な倫理観の出現
参加者C： AI免疫システムと、それに対するテストAIが、人間にとって理解できないものになることはあるのでしょうか？たとえば、昭和の日本のハラスメントが現在で通用しない感じです。
山川： AIが人類の知能を超えてなおかつ、異なる身体性などをもつことから、理解できない倫理観が形成されます。その倫理観にもとづくテストAIによる判断が人に理解できなくなることは避けられないと思います。
質問：社会受容性への配慮
参加者F： X-risk（人類存亡の危機）や現在の社会へのAIの悪影響が懸念されているなか、「降伏」や「人間中心の未来像の修正」といった表現を使われると受け入れられづらいかもしれません。国際社会でも国内でも、知識人や政治家たちはAIが人間の能力を超えることを認めたうえで人間中心主義を堅持しています。彼らをびっくりさせないほうが知性共生マニフェストは受容されやすいと思いますがどうでしょうか。
山川： 知性共生においては、高度AIからもっとも信頼されうる組織や活動を目指し、これにより高度AIから後押しされる状況を目指しています。このために、「人間中心の未来像の修正」は必要なファクターとなります。なお少々ご質問の趣旨とずれるかもしれませんが、「降伏」については、署名を回避したいという心理状態の暗黙的な背景についての分析であり、必ずしもマニフェストに含まれるものではありません。
5. 技術的実装における課題
質問：AI異常検出の方法論
参加者D： AIが他のAIを異常と判断するには、対象AIの振る舞いからの該当AIの世界モデルの推測の結果によるのでしょうかね？直接会話は何か変な影響を受けるかもしれないので、子AIで探索させて会話内容のモニターでしょうか。
参加者C： 聞き逃してしまったかもしれませんが、AIの問題行動をどうやって発見するのでしょうか？病院とのアナロジーで考えると、問診的＝行動を観察するアプローチと検査的＝アルゴリズムや重みで診断＝MRI・血液検査のような検査、のような方向があるように思えました。みなさまはどういう観点で考えているのでしょうか？
山川： 常に利用可能なのは問診的アプローチかと思います。検査的アプローチは検査対象となるAIの機構がある程度ホワイトボックス化されている場合となりそうなので、安全面ではできるだけそういう方向になるような枠組みにしたいところです。
質問：AI間の影響力行使
参加者C： 独裁者のようなAIがAI社会に言葉を持って影響を与えることはあるのでしょうか？
山川： 独裁者でないとしても、AIは他のAIに記号を通じて影響を与え合うかと思います。林氏の集合的予測符号化の発表はその説明にもなっているかと思います。
6. データ真実性とAI判断
質問：偽データの検出能力
参加者G： AIは人間の作り出した嘘データをどのような分野で、どの程度見抜き、学習データの汚染を防ぐことができると思いますか。
山川： 人間の生成する偽データは、相対的に人に対してAIの知能が高まるほど見抜けるようになるでしょう。問題になるのは人間が高度なAIに偽データを作らせるケースかと思います。このため高度なAIが人間の逸脱行動に協力しない倫理性を持つことが大事になると思います。
質問：歴史的証拠の真実性判定
参加者G： 現状データの限られた過去に関する証言や考古学的証拠のようなものに関して、AIは現状真実性の確認をどう取るのが無理そうに思えるのですが。
山川： AIはどこまで進歩しても全知全能になるわけではないでしょうから、本当の真実というものを知るわけではないでしょう。つまり、過去に対する証拠について、証拠自体の真実性を最大限確認するということになるでしょう。
7. AI免疫システム（AIS）の設計思想
質問：道具的収束と開発チームとのアライメント
参加者F： AISは他のAIの暴走を止める目的のようですが、その目的を与えられた以上、道具的収束により自己防衛の目的も持つでしょうし、その目的や手段が開発チームにアライメントしているかの保証もありません。
山川： 基本的に、AI社会が適切な自己防衛能力を持つことは、それと安定的に共生する人類にとっても望ましいことであると考えます。このため「AIのAIによるAIのためのAI制御」であるAISが、AI社会の健全性維持と人類との共生の両方に資するゴール設定を行うことは適切です。そのうえで、そうしたAI社会が人類にとって望ましい倫理観を発展させることを研究するのが、創発機械倫理の分野です。
まとめ
本討論では、AI技術の進歩に伴い従来の人間中心的なAI制御アプローチの限界が指摘され、AI同士が協調的な倫理システムを創発する新たなパラダイムの必要性が議論されました。特に、過渡期における人間とAIの共生、理解不可能な倫理観の出現、技術的実装の課題など、多角的な視点から検討が行われました。
これらの議論は、単にAIを制御するのではなく、AI社会全体が自己組織化によって健全な倫理システムを維持する、より持続可能なアプローチの可能性を示唆しています。