メタは、A.I.A.のセルフハーム会話について両親に警告します

メタは、親カル・クラストディのAIチャットでマイナーの高リスクコンテンツを含めるようになりました。同社は、青年とメタAIの対話が自殺者や自衛隊に明示的に言及した場合、プラットフォームは両親にリマインダーを送り、より高リスクな状況で緊急サービスに連絡する能力を開発することを示しています。

4つの国にございます。

メタは、このリマインダー機能がInstagramのペアレンタルコントロールツールを使用してユーザーに利用可能になったこと、米国、イギリス、オーストラリア、カナダをカバーし、今年の終わりまでに世界を拡大する計画を述べています。

このアップデートは、既存のペアレンタル警告メカニズムに組み込まれています。以前は、プラットフォームは、若者がInstagramで自殺者や自傷に関連する単語を繰り返し検索した場合、両親にリマインダーを送信しました。また、過去1週間にメタAIと議論した話題を親子で見てもらうための機能も提供しました。

I.A.の後に手動でレビューをしました。

メタは、企業が対話の中で自分自身を傷つけると明らかに思春期を識別するために特別なAIシステムを確立したと述べた。システムによってマークされたチャットレコードは、通知を直接トリガーしませんが、むしろ両親にリマインダーを送信するための決定は、マニュアルレビュー後に行われます。

同社によると、思春期の意図が明確でないと、プラットフォームは両親に最初に警告する傾向があります。メタは、そのようなアプローチが誤認につながる可能性があることを認識していますが、この段階では、保護範囲を拡大するための優先順位を与える方がより適切であると考えています。

メタAIのコンテンツ同期を制限

メタは、メタAIにInstagramの「制限コンテンツ」のセットアップが適用されていることを発表しました。若者のアカウントをより厳しいコンテンツ環境に持ち込むために使用していたモデルは、チャットロボットが対応できるトピックの範囲を制限します。

メタAIは現在、若い人々と性、愛、またはアルコール関連の対話を避けるために訓練されていることを述べています。「制限コンテンツ」にアクセスすると、チャットロボットはより多くのタイプの質問を拒否します。しかし、メタは、導入やトピックに特に含まれている追加の制限がこの段階で示さなかった。

リスクの高い対話や緊急サービスへの連絡

親のリマインダーに加えて、Meta AIとの対話が、成人や青年を問わず、ユーザーが自殺する可能性のあるリスクを明らかにした場合、プラットフォームは緊急サービスに連絡する可能性があることを示しました。

今回が起きたのは初めてではありません。 FacebookやInstagramが同様のリスクを投稿したときに、メタは以前に緊急サービスに連絡しました。今回のアップデートでは、AIチャットシーンにさらなる拡張が期待できます。