Anthropicは、独立した評価で壊滅的な被害のリスクが認められた場合、高度な人工知能システムの公開前に米政府が介入できる連邦の枠組みを提唱している。同社の「Advanced AI Framework」を拡張するものとされるこの提案は、緊急措置の発動基準を高く設定し、手続きの中心に商務省を据えている。

報じられた案では、対象となる危険は、少なくとも10億ドルの損害、または50人を超える死傷者が出る事態に関わるものでなければならない。対象となる状況も限定され、生物兵器の製造や放出、AIを利用したサイバー攻撃、研究所がモデルや自律型エージェントを制御できなくなる事態などが含まれる。この基準は、仕組みが日常的なモデルの不具合、消費者との紛争、比較的軽微なセキュリティー事案ではなく、極端な事態に対応するためのものであることを意味する。

商務省に登録された独立評価者が、参加する研究所とそのモデルを定期的に評価する。提案によれば、研究所が評価者に報酬を支払うことは認められるが、その金銭的な取り決めは評価者の独立性を維持するものでなければならない。基準に該当する差し迫ったリスクが見つかった場合、評価者は72時間以内に商務省へ通知することになる。

商務省は独自の判断だけで公開を止めることはできない。コロンビア特別区の米連邦地方裁判所の裁判官に証拠を提示する必要があり、裁判官がモデルの公開を停止する命令の妥当性を判断する。この司法手続きにより、最も重大な影響を持つ介入が、企業や行政府の機関のいずれか一方だけの裁量で行われることはなくなる。

この枠組みは権限を集中させるものでもある。報道によると、この仕組みの下では、商務省以外の連邦の省、機関、当局者は、研究所にモデルの公開停止を命じることができない。この規定は全国で一貫した手続きを実現し得る一方、提案された緊急の制限措置を開始できる機関を商務省だけにすることにもなる。

Anthropicの広報担当者は、この立法提案には、同社が6月以降、連邦および州の議員と協議してきた政策が反映されていると述べ、議会に行動を求めた。同社は、強制的な介入を、深刻さを実証できるリスクに限定しつつ、最も強力なシステムを監督する現実的な方法として、この枠組みを提示している。

この提案は、成立した法律ではなく、あくまで同社が実現を求めている政策上の立場である。最終的な効果は、議会が定める条文、評価者が適用する基準、そしてまだ発生していない危険の証拠を裁判官がどう解釈するかによって変わる。現時点では、最先端AIを誰が監督すべきか、政府がモデルの公開を阻止する前にどのような証拠を求めるべきかをめぐる米国の継続的な議論に、業界の支持を受けた具体的な選択肢を加えるものとなっている。