仏AI企業のMistral AIは11月7日(現地時間)、コンテンツモデレーション用の新しいAPIをリリースしたと発表した。同社のチャットbot「Le Chat」のモデレーションに使っているものと同じAPIという。
ユーザーはこのAPIを使うことで、特定のアプリや安全基準に合わせてカスタマイズできるようになる。
このモデレーションモデルは、テキスト入力を、性的、憎悪と差別、暴力と脅迫、危険で犯罪的なコンテンツ、自傷行為、健康、金融、法律、個人を特定できる情報という9つのカテゴリに分類するようトレーニングされたLLM(Ministral 8B)で駆動する。日本語を含む多言語に対応している。
このAPIはテキストと会話に適用できるとしている。詳細は技術ドキュメントを参照されたい。