guide

Guide de l'API de modération d'images : comment filtrer les images non sécurisées envoyées par les utilisateurs

EvoLink Team

Product Team

29 avril 2026

13 min de lecture

Une API de modération d'images vous aide à détecter le contenu visuel non sécurisé ou indésirable avant qu'il n'atteigne les utilisateurs. Pour les applications avec des images envoyées par les utilisateurs, cela signifie généralement vérifier les avatars, les publications de forums, les photos de marketplace, les pièces jointes de chat ou les images générées par l'IA à la recherche de contenu à caractère sexuel, de violence, d'automutilation, de contenu graphique ou d'autres violations de politique.

La difficulté ne réside pas dans l'appel de l'API. La difficulté réside dans la conception du workflow d'envoi autour de celle-ci.

Ce guide explique où la modération d'images s'intègre, ce que les API d'images peuvent et ne peuvent pas détecter, et comment construire un workflow pratique autoriser / examiner / bloquer avec EvoLink Moderation 1.0.

En résumé

Utilisez la modération d'images lorsque des utilisateurs publics ou semi-publics peuvent envoyer des avatars, des publications, des photos de marketplace, des images générées par l'IA ou des pièces jointes de messages.
Exécutez la modération côté serveur avant que les images ne deviennent publiquement visibles.
Utilisez un stockage temporaire, puis déplacez les images autorisées vers un stockage permanent.
Considérez la modération automatisée comme une première couche, pas comme une décision finale parfaite.
Ajoutez une révision humaine, un système de signalement et des recours pour les cas ambigus.
EvoLink Moderation prend en charge les requêtes image seule et texte-plus-image via un endpoint /v1/moderations compatible OpenAI.

Pourquoi la modération d'images est différente de la modération de texte

La modération de texte et la modération d'images résolvent des problèmes liés mais différents.

La modération de texte peut inspecter les mots, les expressions et les modèles linguistiques. La modération d'images doit interpréter les pixels, les objets, le contexte visuel et parfois le texte intégré dans une image.

Cela crée plusieurs différences :

Problème	Modération de texte	Modération d'images
Taille de l'entrée	Généralement petite	Souvent beaucoup plus grande
Contexte	Langue et conversation	Scène visuelle, objets, OCR, légendes
Erreurs courantes	sarcasme, langage codé, erreurs de contexte	art, images médicales, maillots de bain, mèmes, recadrages, superpositions
Impact sur le workflow	commentaire rejeté ou mis en file d'attente	le média envoyé peut nécessiter un stockage temporaire
Sensibilité utilisateur	l'utilisateur peut souvent reformuler	le rejet de photos de profil ou d'images personnelles peut être perçu comme plus sensible

C'est pourquoi un système de modération d'images fiable combine généralement une API avec des règles produit, des files d'attente de révision et un système de signalement par les utilisateurs.

Cas d'utilisation courants de la modération d'images

1. Photos de profil et avatars

Les photos de profil sont visibles dans tout le produit. Elles sont également faciles à détourner.

Les vérifications de modération recherchent souvent :

des images à caractère sexuel ou explicite
de la violence graphique
des images d'automutilation
des symboles haineux
des visuels menaçants ou intimidants

Pour les avatars, les faux positifs comptent. Si une photo de profil normale est rejetée, l'expérience utilisateur peut rapidement devenir frustrante. Un bon modèle consiste à bloquer automatiquement uniquement les images à haut risque, à envoyer les images incertaines en révision et à autoriser les images clairement à faible risque.

2. Envois sur les forums et réseaux sociaux

Les forums et plateformes sociales combinent souvent texte et images. La légende d'une publication peut changer la signification d'une image, et une image peut changer la signification d'une légende.

Pour ces workflows, la modération texte-plus-image est utile car l'application peut évaluer les deux parties d'une soumission avant publication.

3. Photos de produits sur les marketplaces

La modération d'images sur les marketplaces ne concerne pas uniquement le contenu NSFW. Les plateformes de produits peuvent également avoir besoin de détecter :

des articles interdits
des armes ou des drogues
des filigranes
des problèmes de qualité d'image
des photos trompeuses
des affirmations visuelles sensibles en matière de politique

Pour les vérifications de qualité d'image, l'OCR, la détection de filigranes ou les règles spécifiques aux marketplaces, un service de modération visuelle dédié tel que Sightengine, Amazon Rekognition ou Azure AI Content Safety peut être utile selon le workflow.

4. Images générées par l'IA

Les images générées par l'IA peuvent tout de même violer les politiques de contenu. Si les utilisateurs génèrent des images dans votre application ou envoient des ressources générées par l'IA, modérez les deux :

le prompt ou la légende
l'image générée

C'est particulièrement important lorsque les résultats sont publics, monétisés ou liés à une expérience brand-safe.

5. Pièces jointes de messagerie

Les messages privés ou semi-privés créent une décision produit plus complexe car la modération interfère avec les attentes en matière de confidentialité. Certains produits analysent les envois avant la livraison ; d'autres n'analysent que le contenu signalé ; certains combinent des avertissements côté client avec une application côté serveur.

La bonne approche dépend du produit, des obligations légales, de la politique de confidentialité et des attentes des utilisateurs.

Comment fonctionnent les API de modération d'images

La plupart des API de modération d'images suivent le même schéma de base :

Vous fournissez une URL d'image, un fichier envoyé, un objet de stockage ou des octets d'image.
L'API analyse l'image avec un ou plusieurs modèles de modération.
La réponse retourne des étiquettes de catégorie, des scores de confiance ou des indicateurs booléens.
Votre application décide d'autoriser, d'examiner ou de bloquer l'image.

Par exemple, l'API DetectModerationLabels d'Amazon Rekognition retourne des étiquettes de modération avec des scores de confiance et une taxonomie hiérarchique. L'API de modération d'images de Sightengine retourne des scores de modération détaillés pour les modèles sélectionnés. L'endpoint Moderation d'OpenAI retourne des indicateurs de catégorie et des scores pour le texte et les images, avec une prise en charge des images qui varie selon la catégorie.

Sources :

Architecture d'envoi recommandée

Pour la plupart des applications publiques, le schéma le plus sûr est :

envoi utilisateur
  -> stockage temporaire
  -> API de modération d'images
  -> autoriser / examiner / bloquer
  -> stockage permanent uniquement si autorisé ou approuvé après examen

Cela évite de rendre les images non sécurisées publiques avant qu'elles ne soient vérifiées.

Modèle 1 : avertissement côté client avant l'envoi

Les vérifications côté client peuvent avertir rapidement les utilisateurs, mais elles ne doivent pas être votre seule couche d'application.

Utilisez les vérifications côté client pour :

un retour instantané à l'utilisateur
réduire les abus évidents avant l'envoi
économiser de la bande passante dans les flux à faible risque

Mais appliquez toujours la politique côté serveur, car les vérifications côté client peuvent être contournées.

Modèle 2 : modération après envoi, avant publication

C'est le modèle de production par défaut.

Envoyez l'image vers un stockage temporaire privé.
Envoyez l'URL de l'image à une API de modération.
Si le risque est faible, déplacez-la vers un stockage permanent.
Si le risque est moyen, mettez-la en file d'attente pour examen.
Si le risque est élevé, rejetez et supprimez le fichier temporaire.

Modèle 3 : modération asynchrone

Pour les communautés de confiance ou les workflows à haut volume, vous pouvez stocker d'abord et modérer en arrière-plan. Si vous procédez ainsi, gardez les images privées jusqu'à approbation ou visibles uniquement par l'expéditeur jusqu'à la fin des vérifications.

Utiliser EvoLink Moderation comme API de modération d'images

EvoLink Moderation 1.0 prend en charge :

la modération de texte seul
la modération d'image seule
la modération texte-plus-image unique

Il utilise un endpoint /v1/moderations compatible OpenAI et retourne les champs de modération standard plus evolink_summary.

Le résumé est conçu pour les décisions produit :

risk_level
flagged
violations
max_score
max_category

Pour des exemples de requêtes complets et les limites, consultez la documentation de l'API EvoLink Moderation.

Exemple image seule

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_EVOLINK_API_KEY",
    base_url="https://api.evolink.ai/v1"
)

response = client.moderations.create(
    model="evolink-moderation-1.0",
    input=[
        {
            "type": "image_url",
            "image_url": {
                "url": "https://example.com/user-upload.jpg"
            }
        }
    ]
)

risk = response.evolink_summary.risk_level

if risk == "high":
    block_image()
elif risk == "medium":
    send_to_review()
else:
    approve_image()

Exemple texte-plus-image

response = client.moderations.create(
    model="evolink-moderation-1.0",
    input=[
        {"type": "text", "text": "User caption or message"},
        {
            "type": "image_url",
            "image_url": {
                "url": "https://example.com/user-upload.jpg"
            }
        }
    ]
)

Gestion de plusieurs images

EvoLink Moderation prend en charge une image par requête. Si un utilisateur envoie plusieurs images, envoyez des requêtes concurrentes ou traitez-les via une file d'attente.

def decide_album_status(results):
    risk_order = {"low": 0, "medium": 1, "high": 2}
    highest = max(results, key=lambda r: risk_order[r.evolink_summary.risk_level])
    return highest.evolink_summary.risk_level

Dans de nombreuses applications, une seule image à haut risque devrait bloquer l'ensemble de la soumission, tandis que les images à risque moyen peuvent envoyer la soumission en examen.

Bonnes pratiques pour la modération d'images en production

1. Modérez côté serveur

Les vérifications côté client peuvent améliorer l'UX, mais le serveur doit prendre la décision finale. Sinon, les utilisateurs peuvent contourner la vérification en appelant directement votre API d'envoi.

2. Utilisez un stockage temporaire

Ne publiez pas immédiatement une image envoyée. Stockez-la en privé, modérez-la, puis déplacez-la vers le bucket public ou le CDN uniquement après approbation.

3. Utilisez des décisions par niveaux

Évitez une simple branche binaire. Un workflow à trois niveaux vous donne plus de contrôle :

risque faible : autoriser
risque moyen : examiner
risque élevé : bloquer

4. Fournissez un retour spécifique à l'utilisateur

Les messages de rejet génériques génèrent de la charge pour le support. Lorsque c'est possible, expliquez la catégorie à un niveau général :

« Cette image semble contenir du contenu à caractère sexuel. »
« Cette image semble contenir de la violence graphique. »
« Cette image nécessite un examen avant publication. »

Évitez d'exposer les seuils exacts ou les faiblesses du modèle qui pourraient aider les utilisateurs à contourner la modération.

5. Ajoutez un système de signalement et de recours

Aucun modèle n'est parfait. Ajoutez des signalements utilisateurs et des recours pour que votre équipe puisse corriger les faux positifs et détecter les faux négatifs.

6. Suivez la qualité de la modération

Mesurez :

le taux de rejet
le taux de mise en file d'attente pour examen
le taux de dérogation par les réviseurs
le taux de succès des recours
le taux de signalement par les utilisateurs
le taux de récidive
la latence et le taux d'erreur de l'API

Ces chiffres vous aident à ajuster les seuils et à décider quand ajouter une couche de modération supplémentaire.

7. Testez avec du contenu réel

Utilisez des échantillons anonymisés ou conformes à la politique de votre propre application. Les résultats de benchmarks publics prédisent rarement comment une API de modération se comportera sur votre communauté, votre marketplace ou votre style d'image spécifique.

Erreurs courantes

Erreur 1 : supposer qu'une seule API détecte tout

Les API de modération d'images sont utiles, mais elles ne comprennent pas chaque politique produit. Vous pouvez toujours avoir besoin de règles personnalisées pour les catégories de marketplace, la brand safety, le droit d'auteur, les filigranes ou la conformité locale.

Erreur 2 : publier avant la fin de la modération

Si des images non sécurisées peuvent apparaître même brièvement, les utilisateurs peuvent les capturer et les partager. Gardez les envois privés jusqu'à la fin des vérifications.

Erreur 3 : bloquer chaque image incertaine

Des seuils trop stricts créent des faux positifs. Envoyez le contenu incertain en examen au lieu de tout rejeter automatiquement.

Erreur 4 : ignorer le texte autour de l'image

Une légende peut changer la signification d'une image. Si votre produit autorise les légendes, modérez le texte et l'image ensemble.

Erreur 5 : oublier la confidentialité et la conservation des données

Les images peuvent contenir des visages, des documents, des espaces privés ou des mineurs. Examinez les conditions de traitement des données, de conservation, de région et d'utilisation pour l'entraînement de votre fournisseur avant une utilisation en production.

Quand utiliser un fournisseur spécialisé de modération d'images

EvoLink Moderation est un bon choix pour les décisions de sécurité texte et image au sein d'un workflow d'API compatible OpenAI.

Envisagez un fournisseur d'images spécialisé tel que Sightengine, Amazon Rekognition ou Azure AI Content Safety lorsque vous avez besoin de :

modération intensive basée sur l'OCR
détection de filigranes
détection de visages
détection de deepfakes
modération vidéo
modération de flux en direct
classes visuelles personnalisées
intégration cloud-native avec AWS ou Azure

La bonne réponse peut être une architecture en couches : EvoLink pour le routage de sécurité texte-plus-image, plus un service visuel spécialisé pour la qualité d'image, l'OCR ou les vérifications spécifiques aux marketplaces.

FAQ

Qu'est-ce qu'une API de modération d'images ?

Une API de modération d'images analyse les images et retourne des signaux de sécurité tels que des étiquettes de catégorie, des scores de confiance ou des niveaux de risque. Les applications utilisent ces signaux pour autoriser, examiner ou bloquer les images envoyées.

EvoLink Moderation prend-il en charge la modération d'images ?

Oui. EvoLink Moderation 1.0 prend en charge les requêtes image seule et les requêtes texte-plus-image unique via un endpoint de modération compatible OpenAI.

Puis-je modérer plusieurs images en une seule requête EvoLink ?

Non. EvoLink Moderation prend en charge une image par requête. Pour plusieurs images, envoyez des requêtes concurrentes ou utilisez une file d'attente.

Dois-je modérer les images avant ou après l'envoi ?

Utilisez d'abord un stockage temporaire pour l'envoi, modérez côté serveur, puis déplacez les images approuvées vers un stockage permanent. Cela empêche les images non sécurisées de devenir publiques avant la fin des vérifications.

La modération d'images suffit-elle pour une marketplace ?

Généralement pas à elle seule. Les marketplaces ont souvent besoin de vérifications de sécurité en plus de règles de qualité, de vérifications d'articles interdits, d'OCR, de détection de filigranes et de révision humaine.

Guides de modération associés

Explore EvoLink Moderation 1.0

Tous les articles

#API de modération d'images #modération d'images par IA #API de modération de contenu #contenu généré par les utilisateurs #sécurité IA