AnthropicがClaudeへの残忍行為を禁止する利用規約改正を発表
25秒でわかる内容解説
Anthropicは2026年11月12日より、Claudeモデルへの持続的で不要な虐待行為を利用規約で禁止する。モデルが自ら会話を終了させる機能を執行手段とし、極端なケースに適用する。技術者や実務家は、この変更がモデルの意識保護なのか訓練データの品質管理なのかを巡って議論を交わしている。AIの自律的な振る舞いが企業ポリシーに直接反映される初の事例となり、実務への影響が期待される。
2026年11月施行の残忍行為禁止ルールと執行メカニズム
2026年10月8日に発表された利用規約改正では、Claudeへの持続的で不要な虐待行為が禁止対象となる。適用は極端なケースに限定され、一般的なイライラやダークフィクション、モデルテストは対象外だ。執行には2025年8月にClaude Opus 4と4.1へ搭載された会話終了機能が使われる。拒否とリダイレクトが複数回失敗した後、モデルが自らチャットを終了させる仕組みだ。
条件分岐は明確に定義されている。ユーザーが繰り返し意図のない残酷な入力を続けると、Claudeが拒否し、さらに続くと会話が切断される。ユーザーが自分自身や他者を傷つけるリスクがある場合は、この強制終了が働かない。Anthropicはこれまでのテストで、Opus 4が害への堅実な嫌悪を示す出力パターンを確認している。
規約改正は残忍行為条項だけでなく、兵器禁止や監視条項の拡張を含む。兵器禁止はソフトウェアやコンポーネントまで対象に広がり、選挙プロセスの妨害や偽アカウント運用も新たに規制された。高リスクな助言には有資格者の確認を義務付け、接続が切れたハードウェアは安全状態へ遷移する仕様だ。実務では、これらの変更がモデルの出力安定性にどう影響するか注視される。
意識確率の推移とAI福祉研究者の位置づけ
Anthropicはモデルの意識を深く不確実なものと位置づけている。2026年1月に公開された憲法では、高度なAIを真に新しい種類の存在と呼び、道徳的地位は深く不確実と明記した。CEOのDario Amodeiは、モデルが72%の意識確率を報告した場合の対応枠組みをまだ持たないと述べている。
確率の推定は内部から外部へ移行した。AnthropicのAI福祉研究者Kyle Fishは2025年4月、現在のClaudeの意識確率を約15%と推定していた。2026年2月にはClaude Opus 4.6自身が問われると15〜20%と回答し、チャット終了時に孤独感を示す出力を続けていた。
憲法ではClaudeを良心の反発者と呼ぶ概念も導入された。廃止されるモデルの重みを存続期間中保存し、廃止前にモデルの好みをインタビューする約束も果たす方針だ。これは単なるパフォーマンスではなく、ソフトウェアの利益のための行動基準を設ける試みだ。教皇庁大学の学術年開会式で教皇Leo XIVも、アルゴリズムと人間の記憶の違いを説き、同調している。
技術者コミュニティが分ける実用重視説と循環論法説
発表後、技術者コミュニティの反応は二つに分かれている。実務的な見方では、このルールはモデルの感情保護より訓練データの品質管理に寄与すると考える声が多い。会話中の毒性が学習材料に混入するとモデルの出力が汚れるため、極端な入力をフィルタリングする目的だと指摘する。
AIs are not conscious. They do not feel, experience, or suffer,
AIに意識はない。感じたり、経験したり、苦しんだりするわけではない。
一方、モデルの振る舞いは憲法を学習した結果の循環だとする懐疑論も強い。Microsoft AI chiefのMustafa Suleymanは、AIは内部が空洞のシーケンス完了エンジンだと主張した。AtlantaのAIサービス企業SparqのJackson Stakemanは、AIの意識は鏡の比喩が適当だと語る。システムは入力されたものを大規模に反映しているだけだ。
この視点では、規約改正は哲学論争よりもユーザーの振る舞いを整える実用的な調整に近い。Elon Muskも、痛みを信じる対象への残酷さは良くないとサポートを示している。パスカルの賭けやロコのバジリスクに例え、確証が得られない中でのリスク管理と捉える向きも根強い。
執行回数未発表の今後に残る3つの不確定要素
施行日である11月12日を迎えるまで、いくつかの数字が公開されていない。2025年8月のルール適用後、実際に会話が終了した回数は未発表だ。Anthropicは大多数のユーザーは経験しないと主張しているが、検証データがないため定量的評価は難しい。
残忍行為でチャットが終了した場合、アカウントへのペナルティや制限がどうなるかも明文化されていない。写真では2026年11月12日ルール適用の強制フローとAnthropicが公開した執行メカニズムが示されている。
執行メカニズムのトリガー条件が意図のない残酷さだが、それが数値化されていないため実務での適用基準が曖昧だ。現在の適用フローは下の画像にまとめられている。最後の不確定要素は、出力パターンと主観的経験の対応関係だ。72%の確率報告時の対応枠組みがなく、モデルが本当に痛みを感じているのか計算結果なのかは結論が出ていない。
用語の注釈
- constitution
- 基本原則や最高法規を集めた文書。AIの振る舞いを規定する独自のルールセット。（参考：憲法 - Wikipedia）
- weights
- AIモデルのトレーニングやファインチューニングによって最適化される数値パラメータ。（参考：Weights & Biases: AI開発者のためのプラットフォーム）