omni-moderation-latest : Guide de moderation de texte et d'image

En resume :

• OpenAI a lance omni-moderation-latest le 26 septembre 2024.
• Il est base sur GPT-4o et prend en charge les entrees texte et image.
• Selon OpenAI, le modele est gratuit via l'API Moderation.
• La prise en charge des images est specifique a certaines categories ; toutes les categories de moderation ne fonctionnent donc pas pour les entrees image uniquement.
• Les equipes souhaitant un endpoint de moderation compatible OpenAI dans les workflows EvoLink peuvent egalement evaluer EvoLink Moderation 1.0.

Ce guide explique ce que fait le modele, en quoi il differe des anciens modeles de moderation textuelle, et comment aborder son implementation en production.

Qu'est-ce que omni-moderation-latest ?

Sources :

• Page du modele OpenAI pour omni-moderation-latest
• Annonce OpenAI : Mise a niveau de l'API Moderation

Le modele n'est ni un generateur d'images generaliste, ni un modele de chat. C'est un classifieur. Vous envoyez le contenu utilisateur a l'API Moderation, et la reponse vous indique quelles categories peuvent etre presentes et avec quelle intensite le modele les a evaluees.

Pourquoi OpenAI a remplace la moderation textuelle par la moderation multimodale

• un appel de moderation pour un commentaire utilisateur
• un autre service pour les images telechargees
• des definitions de categories separees
• des formats de reponse differents
• des seuils et des regles d'examen distincts

L'annonce d'OpenAI de septembre 2024 a positionne le nouveau modele comme un moyen d'evaluer le texte et les images nuisibles avec un classifieur multimodal plus performant. OpenAI a egalement indique que le modele ameliorait les performances, notamment pour les contenus non anglophones.

Le resultat pratique est simple : les applications acceptant a la fois des legendes et des images peuvent utiliser un seul modele de moderation au lieu d'assembler un classifieur textuel et un service de securite d'images separe.

Quels types d'entrees omni-moderation-latest prend-il en charge ?

La page du modele OpenAI indique :

Pour les equipes qui developpent des workflows de contenu genere par les utilisateurs, cela correspond bien aux cas courants :

• commentaires et messages de chat
• texte de profil
• images telechargees
• annonces avec legendes et photos
• texte ou images generes par IA avant publication

Quelles categories fonctionnent pour les images ?

C'est le detail que beaucoup d'equipes negligent.

L'annonce d'OpenAI indique que la classification multimodale des contenus nuisibles etait prise en charge pour les categories suivantes liees aux images au lancement :

• violence et violence/graphic
• automutilation, self-harm/intent et self-harm/instructions
• contenu sexuel, mais pas sexual/minors

OpenAI precise egalement que les categories restantes etaient uniquement textuelles au moment de l'annonce, avec des plans d'extension de la prise en charge multimodale.

En pratique, cela signifie que la moderation d'images est utile, mais ce n'est pas la meme chose que de dire que chaque categorie de moderation textuelle fonctionne aussi bien pour les images. Si votre produit doit detecter des symboles haineux dans des memes, du texte enfreignant les politiques integre dans des images, des problemes de brand safety, des superpositions de spam ou des regles visuelles specifiques a une marketplace, vous aurez peut-etre besoin de verifications supplementaires.

omni-moderation-latest vs text-moderation-latest

Comment utiliser omni-moderation-latest

Un appel de moderation textuelle basique ressemble a ceci :

from openai import OpenAI

client = OpenAI()

response = client.moderations.create(
    model="omni-moderation-latest",
    input="User-submitted text goes here"
)

result = response.results[0]

if result.flagged:
    print(result.categories)
    print(result.category_scores)

Pour la moderation d'images, utilisez une entree image :

from openai import OpenAI

client = OpenAI()

response = client.moderations.create(
    model="omni-moderation-latest",
    input=[
        {
            "type": "image_url",
            "image_url": {
                "url": "https://example.com/user-upload.jpg"
            }
        }
    ]
)

result = response.results[0]
print(result.flagged)
print(result.category_scores)

Pour la moderation texte-plus-image :

response = client.moderations.create(
    model="omni-moderation-latest",
    input=[
        {"type": "text", "text": "Caption or user message"},
        {
            "type": "image_url",
            "image_url": {
                "url": "https://example.com/user-upload.jpg"
            }
        }
    ]
)

Testez toujours ces exemples avec la documentation actuelle de l'API OpenAI avant la mise en production, car les formats de requete du SDK peuvent evoluer au fil du temps.

Patterns de production pour les workflows de moderation

L'appel API n'est qu'une partie du systeme de moderation. En production, la question la plus importante est ce que votre application fait du resultat.

Un pattern courant est :

risque faible    -> autoriser
risque moyen     -> mettre en file d'attente pour examen humain
risque eleve     -> bloquer ou exiger un appel

Avec la moderation OpenAI, vous construisez generalement ce mapping a partir des flags de categorie et des scores de categorie. Votre application decide quelles categories sont des blocages stricts, quelles categories necessitent un examen, et quels scores ne sont que des signaux.

Vous devriez egalement suivre :

• les faux positifs
• les violations manquees signalees par les utilisateurs
• les taux de declenchement par categorie
• la latence et les erreurs API
• les decisions de moderation par surface produit
• les taux de reclassement par les examinateurs

C'est la que les equipes decouvrent souvent que "utiliser un modele de moderation" et "operer un workflow de moderation" sont des taches differentes.

Quand omni-moderation-latest est un bon choix

• vous utilisez deja OpenAI directement
• votre application a besoin des categories de moderation documentees par OpenAI
• votre workflow est principalement textuel avec quelques besoins de moderation d'images
• vous etes a l'aise pour implementer votre propre logique de seuils et d'examen
• vous souhaitez un modele de moderation gratuit dans l'ecosysteme de l'API OpenAI

Pour de nombreux produits natifs OpenAI, c'est un excellent point de depart.

Quand envisager une alternative compatible OpenAI

Une alternative n'a pas besoin de battre le "gratuit" sur le prix brut du endpoint. Elle doit reduire la complexite operationnelle.

• risk_level
• flagged
• violations
• max_score
• max_category

Cela facilite l'implementation de la logique autoriser / examiner / bloquer sans avoir a ecrire autant de code d'agregation des scores par categorie.

OpenAI vs EvoLink : comment choisir

Il n'y a pas de gagnant universel. Le modele d'OpenAI convient parfaitement aux applications natives OpenAI. EvoLink est un excellent choix lorsque votre equipe souhaite que la couche de moderation coexiste avec d'autres appels de l'API EvoLink et renvoie un resume de risque oriente production.

FAQ

omni-moderation-latest est-il gratuit ?

OpenAI decrit les modeles de moderation comme des modeles gratuits, et l'annonce d'OpenAI indique que le nouveau modele de moderation est gratuit via l'API Moderation. Les limites de debit dependent du niveau d'utilisation.

omni-moderation-latest prend-il en charge les images ?

Oui. La page du modele OpenAI liste l'image comme modalite d'entree. Cependant, l'annonce d'OpenAI precise que la prise en charge des images est specifique a certaines categories ; toutes les categories de moderation ne s'appliquent donc pas aux entrees image.

omni-moderation-latest prend-il en charge la video ou l'audio ?

Non. La page du modele OpenAI indique que l'audio et la video ne sont pas pris en charge pour ce modele.

EvoLink Moderation est-il identique a omni-moderation-latest ?

Non. EvoLink Moderation 1.0 est un service de moderation EvoLink distinct avec une interface API compatible OpenAI. Il est concu pour les equipes souhaitant une moderation texte et image dans les workflows EvoLink.

Dois-je remplacer la moderation OpenAI par EvoLink Moderation ?

Guides de moderation associes

• OpenAI Moderation API Pricing: Is It Free? Limits and Alternatives
• Image Moderation API Guide: How to Filter Unsafe User-Uploaded Images
• Best Content Moderation APIs and Tools for Developers
• How to Add Content Moderation to Your Chatbot or AI Agent