ゲームにチャット機能がある場合、不適切な発言がなされる可能性もある。人気のオンラインゲーム作成プラットフォームであるRobloxは、他の多くのゲームと同様、長年にわたり単純な伏せ字によってそうした発言に対処してきた。不適切な言葉を一連の記号（#）に置き換えるという手法だ。そして同社は今回、AIを活用して不適切なフレーズを別のフレーズに置き換える試みを開始する。
「問題のあるテキストをAIフィルターでブロックする（ユーザーには#####と表示される）ことは常に、安全性の確保と礼節の向上に向けた当社の取り組みの中核をなしてきた」と、Robloxのユーザー＆ディスカバリー製品担当バイスプレジデントであるRajiv Bhatia氏は発表の中で述べた。「本日、ゲーム内テキストチャットの礼節を保つための新機能を追加する。AIを活用してメッセージを自動的に言い換える機能で、まずは冒涜的な言葉から対処する」
プレイヤーがチャットで問題のある言葉を使用すると、投稿前にAIがメッセージを書き換える。例えば、「oh shit, are you OK?」は「are you OK?」になり、「hurry tf up」は「hurry up」に変換される（後者のように直接的な表現を避けていても、AIは「F」が何を意味するかを理解する）。
チャットの参加者全員にAIがメッセージを言い換えたことが表示されるが、不適切な表現について警告を受けるのは送信者のみだ。
この変更は、Robloxが顔認識機能を導入してからわずか2カ月後に行われた。顔認識機能は、子供と大人の接触を制限するためにユーザーを年齢層別に分けるものだ。しかし、これによって法的措置が止まったわけではない。ネブラスカ州は3月4日、テキサス州、フロリダ州、ルイジアナ州、ケンタッキー州などに加わり、Robloxの児童安全策の不備を指摘する訴訟を提起した。
進化する言語への対応
人々は常に新しいスラングを生み出しており、その多くは過激または有害とみなされる可能性がある。同社によると、今回のAIは最新の用語をブロックするために、大規模モデルとゲーム内のチャットサンプルに基づく「一連の専門的なモデル」で訓練されているという。新しいスラングへの対応については、AIシステムが新しい単語やフレーズが実際に不適切かどうかを判断できない場合、より高度にトレーニングされた大規模なAIモデルに送られ、文脈からその意味を推論する仕組みだ。
新しいシステムを何度も回避しようとしたり、禁止用語を使い続けたりするプレイヤーは、ゲームのコミュニティ基準の規則に基づき、通常通り処分の対象となる。
新しいシステムでも誤検知が発生したり、新しい用語を学習するのに時間がかかったりする可能性はあるが、Robloxは大抵の場合において正しく機能するとみている。
「実験では、この複合的アプローチによってフィルターが大幅に改善されたことが示されている」とBhatia氏は述べた。「フィルターはリートスピーク（文字を数字や記号に置き換える表記法）やフィルターを回避しようとする巧妙な試みを、以前より適切に検出できる」
この記事は海外Ziff Davis発の記事を4Xが日本向けに編集したものです。
Amazonのアソシエイトとして、CNET Japanは適格販売により収入を得ています。