omni-moderation-latest 解説：OpenAI Moderation API 完全ガイド

要点をまとめます：

• OpenAI は 2024年9月26日 に omni-moderation-latest を発表しました。
• GPT-4o をベースとし、テキストと画像の両方の入力に対応しています。
• OpenAI によると、このモデルは Moderation API を通じて無料で利用できます。
• 画像対応はカテゴリごとに異なるため、すべてのモデレーションカテゴリが画像のみの入力に対応しているわけではありません。
• EvoLink ワークフロー内で OpenAI 互換のモデレーションエンドポイントを利用したいチームは、EvoLink Moderation 1.0 の評価も検討できます。

本ガイドでは、このモデルの機能、従来のテキストモデレーションモデルとの違い、本番環境での実装の考え方について解説します。

omni-moderation-latest とは？

参考資料：

• OpenAI omni-moderation-latest モデルページ
• OpenAI 発表：Moderation API のアップグレード

このモデルは汎用的な画像生成モデルやチャットモデルではありません。分類器です。ユーザーコンテンツを Moderation API に送信すると、レスポンスでどのカテゴリが該当する可能性があるか、モデルがどの程度のスコアを付けたかが返されます。

OpenAI がテキストのみのモデレーションからマルチモーダルモデレーションに移行した理由

• ユーザーコメント用のモデレーション呼び出し
• 画像アップロード用の別サービス
• 別々のカテゴリ定義
• 別々のレスポンス形式
• 別々のしきい値とレビュールール

OpenAI の 2024年9月の発表では、新しいモデルを、より高性能なマルチモーダル分類器で有害なテキストと画像を評価する手段として位置づけています。また、OpenAI は特に非英語コンテンツでパフォーマンスが向上したと述べています。

実用的な結果はシンプルです。キャプションと画像の両方を受け付けるアプリケーションでは、テキスト分類器と別の画像安全サービスをつなぎ合わせる代わりに、1つのモデレーションモデルを使用できます。

omni-moderation-latest が対応する入力

OpenAI のモデルページには以下が記載されています：

ユーザー生成コンテンツのワークフローを構築するチームにとって、これは一般的なユースケースに適合します：

• コメントやチャットメッセージ
• プロフィールテキスト
• 画像アップロード
• キャプションと写真を含むリスティング
• 公開前の AI 生成テキストや生成画像

画像に対応するカテゴリは？

これは多くのチームが見落とす重要な詳細です。

OpenAI の発表によると、リリース時にマルチモーダルな有害コンテンツ分類は以下の画像関連カテゴリに対応していました：

• violence および violence/graphic
• self-harm、self-harm/intent、self-harm/instructions
• sexual content（ただし sexual/minors は除く）

また、OpenAI は発表時点で残りのカテゴリはテキストのみの対応であり、マルチモーダル対応を拡大する計画があると述べています。

実際には、画像モデレーションは有用ですが、すべてのテキストモデレーションカテゴリが画像でも同等に機能するという意味ではありません。ミーム内のヘイトシンボル検出、画像内に埋め込まれたポリシー違反テキスト、ブランドセーフティの問題、スパムオーバーレイ、マーケットプレイス固有のビジュアルルールなどが必要な場合は、追加のチェックが必要になることがあります。

omni-moderation-latest と text-moderation-latest の比較

omni-moderation-latest の使い方

基本的なテキストモデレーション呼び出しは以下のようになります：

from openai import OpenAI

client = OpenAI()

response = client.moderations.create(
    model="omni-moderation-latest",
    input="User-submitted text goes here"
)

result = response.results[0]

if result.flagged:
    print(result.categories)
    print(result.category_scores)

画像モデレーションの場合は、画像入力を使用します：

from openai import OpenAI

client = OpenAI()

response = client.moderations.create(
    model="omni-moderation-latest",
    input=[
        {
            "type": "image_url",
            "image_url": {
                "url": "https://example.com/user-upload.jpg"
            }
        }
    ]
)

result = response.results[0]
print(result.flagged)
print(result.category_scores)

テキスト＋画像モデレーションの場合：

response = client.moderations.create(
    model="omni-moderation-latest",
    input=[
        {"type": "text", "text": "Caption or user message"},
        {
            "type": "image_url",
            "image_url": {
                "url": "https://example.com/user-upload.jpg"
            }
        }
    ]
)

これらの例は本番適用前に必ず最新の OpenAI API ドキュメントと照合してください。SDK のリクエスト形式は時間とともに変更される可能性があります。

本番環境でのモデレーションワークフローパターン

API 呼び出しはモデレーションシステムの一部にすぎません。本番環境では、アプリケーションが結果をどう処理するかがより重要な問題です。

一般的なパターンは以下の通りです：

低リスク    -> 許可
中リスク    -> 人間によるレビューのキューに追加
高リスク    -> ブロックまたは異議申し立てを要求

OpenAI モデレーションでは、通常カテゴリフラグとカテゴリスコアからこのマッピングを構築します。どのカテゴリを即座にブロックし、どのカテゴリをレビュー対象とし、どのスコアをシグナルのみとするかは、アプリケーション側で決定します。

また、以下の項目も追跡する必要があります：

• 誤検知（false positive）
• ユーザーから報告された未検出の違反
• カテゴリレベルのトリガー率
• レイテンシと API エラー
• プロダクト画面ごとのモデレーション判定
• レビュアーのオーバーライド率

ここで多くのチームが、「モデレーションモデルを使う」ことと「モデレーションワークフローを運用する」ことは別のタスクであると気づきます。

omni-moderation-latest が適しているケース

• すでに OpenAI を直接利用している
• アプリが OpenAI の文書化されたモデレーションカテゴリを必要としている
• ワークフローがテキスト中心で、一部画像モデレーションのニーズがある
• 独自のしきい値とレビューロジックの実装に問題がない
• OpenAI API エコシステム内で無料のモデレーションモデルを使いたい

多くの OpenAI ネイティブ製品にとって、これは強力な出発点です。

OpenAI 互換の代替手段を検討すべきケース

代替手段は、「無料」を生のエンドポイント価格で上回る必要はありません。運用の複雑さを軽減する必要があります。

• risk_level
• flagged
• violations
• max_score
• max_category

これにより、カテゴリスコアの集計ロジックを自分で多く書かなくても、許可 / レビュー / ブロック のロジックを容易に実装できます。

OpenAI vs EvoLink：選び方

万能の正解はありません。OpenAI のモデルは OpenAI ネイティブのアプリケーションに最適です。EvoLink は、モデレーションレイヤーを他の EvoLink API 呼び出しと並べて配置し、本番運用向けのリスクサマリーを返したいチームに最適です。

FAQ

omni-moderation-latest は無料ですか？

OpenAI はモデレーションモデルを無料モデルとして説明しており、OpenAI の発表では新しいモデレーションモデルは Moderation API を通じて無料で利用できるとされています。レート制限は使用量のティアによって異なります。

omni-moderation-latest は画像に対応していますか？

はい。OpenAI のモデルページでは画像が入力モダリティとして記載されています。ただし、OpenAI の発表では画像対応がカテゴリ固有であることが明記されており、すべてのモデレーションカテゴリが画像入力に適用されるわけではありません。

omni-moderation-latest は動画や音声に対応していますか？

いいえ。OpenAI のモデルページでは、このモデルについて音声と動画は非対応と記載されています。

EvoLink Moderation は omni-moderation-latest と同じですか？

いいえ。EvoLink Moderation 1.0 は、OpenAI 互換の API インターフェースを持つ独立した EvoLink モデレーションサービスです。EvoLink ワークフロー内でテキストと画像のモデレーションを行いたいチーム向けに設計されています。

OpenAI モデレーションを EvoLink Moderation に置き換えるべきですか？

関連モデレーションガイド

• OpenAI Moderation API の料金：無料？制限と代替手段
• 画像モデレーション API ガイド：安全でないユーザーアップロード画像をフィルタリングする方法
• 開発者向けベストコンテンツモデレーション API・ツール
• チャットボットや AI エージェントにコンテンツモデレーションを追加する方法