
omni-moderation-latest explicado: Guía de moderación de texto e imagen

omni-moderation-latest es el modelo de moderación multimodal de OpenAI para detectar contenido dañino en texto e imágenes. Es relevante porque llevó la moderación de OpenAI más allá de las verificaciones de solo texto y proporcionó a los desarrolladores una única familia de modelos para flujos de trabajo de seguridad de texto e imagen.La versión resumida:
- OpenAI presentó
omni-moderation-latestel 26 de septiembre de 2024. - Está basado en GPT-4o y admite entradas de texto e imagen.
- OpenAI indica que el modelo es de uso gratuito a través de Moderation API.
- La compatibilidad con imágenes es específica por categoría, por lo que no todas las categorías de moderación funcionan para entradas exclusivamente de imagen.
- Los equipos que deseen un endpoint de moderación compatible con OpenAI dentro de los flujos de trabajo de EvoLink también pueden evaluar EvoLink Moderation 1.0.
Esta guía explica qué hace el modelo, en qué se diferencia de los modelos de moderación de texto anteriores y cómo abordar la implementación en producción.
¿Qué es omni-moderation-latest?
omni-moderation-latest es el modelo de moderación de OpenAI para identificar contenido potencialmente dañino. La página del modelo de OpenAI lo describe como un modelo de moderación gratuito que acepta entradas de texto e imagen y devuelve una salida de texto a través del endpoint de Moderation.Fuentes:
- Página del modelo de OpenAI para omni-moderation-latest
- Anuncio de OpenAI: Upgrading the Moderation API
El modelo no es un generador de imágenes de propósito general ni un modelo de chat. Es un clasificador. Usted envía contenido de usuario a Moderation API y la respuesta le indica qué categorías pueden estar presentes y con qué intensidad las puntuó el modelo.
Por qué OpenAI reemplazó la moderación de solo texto por moderación multimodal
omni-moderation-latest, muchos sistemas de moderación trataban el texto y las imágenes como problemas separados. Eso generaba flujos de trabajo de producción incómodos:- una llamada de moderación para un comentario de usuario
- otro servicio para la carga de imágenes
- definiciones de categorías separadas
- formatos de respuesta separados
- umbrales y reglas de revisión separados
El anuncio de septiembre de 2024 de OpenAI posicionó el nuevo modelo como una forma de evaluar texto e imágenes dañinos con un clasificador multimodal más capaz. OpenAI también señaló que el modelo mejoró el rendimiento especialmente para contenido en idiomas distintos al inglés.
El resultado práctico es simple: las aplicaciones que aceptan tanto subtítulos como imágenes pueden usar un solo modelo de moderación en lugar de unir un clasificador de texto y un servicio de seguridad de imágenes independiente.
¿Qué entradas admite omni-moderation-latest?
La página del modelo de OpenAI indica:
| Modalidad | Compatibilidad |
|---|---|
| Texto | Entrada y salida |
| Imagen | Solo entrada |
| Audio | No compatible |
| Video | No compatible |
omni-moderation-latest puede evaluar texto, imágenes o solicitudes de texto más imagen, pero no modera audio ni video directamente.Para los equipos que construyen flujos de trabajo de contenido generado por usuarios, esto se adapta bien a los casos comunes:
- comentarios y mensajes de chat
- texto de perfil
- carga de imágenes
- publicaciones con subtítulos y fotos
- texto generado por IA o imágenes generadas antes de su publicación
¿Qué categorías funcionan para imágenes?
Este es el detalle que muchos equipos pasan por alto.
El anuncio de OpenAI indica que la clasificación multimodal de daños era compatible con estas categorías relacionadas con imágenes en el lanzamiento:
- violence y
violence/graphic - self-harm,
self-harm/intentyself-harm/instructions - contenido sexual, pero no
sexual/minors
OpenAI también señala que las categorías restantes eran de solo texto en el momento del anuncio, con planes de ampliar la compatibilidad multimodal.
En la práctica, eso significa que la moderación de imágenes es útil, pero no es lo mismo que decir que todas las categorías de moderación de texto funcionan igual de bien para imágenes. Si su producto necesita detectar símbolos de odio en memes, texto que infringe políticas incrustado en imágenes, problemas de brand safety, superposiciones de spam o reglas visuales específicas de un marketplace, es posible que aún necesite verificaciones adicionales.
omni-moderation-latest vs text-moderation-latest
| Aspecto | text-moderation-latest | omni-moderation-latest |
|---|---|---|
| Entrada principal | Texto | Texto e imágenes |
| Moderación de imágenes | No es el caso de uso principal | Compatible para categorías seleccionadas |
| Categorías de daño más recientes | Más limitadas | Añade illicit e illicit/violent como categorías de solo texto, según el anuncio de OpenAI |
| Rendimiento multilingüe | Línea base anterior | OpenAI informó un rendimiento multilingüe más sólido en su evaluación interna |
| Mejor ajuste | Integraciones legacy de solo texto | Flujos de trabajo de moderación de texto e imagen más recientes |
omni-moderation-latest es una compatibilidad de entrada más amplia y un comportamiento de categorías más reciente.Cómo usar omni-moderation-latest
Una llamada básica de moderación de texto se ve así:
from openai import OpenAI
client = OpenAI()
response = client.moderations.create(
model="omni-moderation-latest",
input="User-submitted text goes here"
)
result = response.results[0]
if result.flagged:
print(result.categories)
print(result.category_scores)Para la moderación de imágenes, utilice una entrada de imagen:
from openai import OpenAI
client = OpenAI()
response = client.moderations.create(
model="omni-moderation-latest",
input=[
{
"type": "image_url",
"image_url": {
"url": "https://example.com/user-upload.jpg"
}
}
]
)
result = response.results[0]
print(result.flagged)
print(result.category_scores)Para moderación de texto más imagen:
response = client.moderations.create(
model="omni-moderation-latest",
input=[
{"type": "text", "text": "Caption or user message"},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/user-upload.jpg"
}
}
]
)Siempre pruebe estos ejemplos con la documentación actual de OpenAI API antes de llevarlos a producción, ya que las estructuras de solicitud del SDK pueden evolucionar con el tiempo.
Patrones de producción para flujos de trabajo de moderación
La llamada a la API es solo una parte del sistema de moderación. En producción, la pregunta más importante es qué hace su aplicación con el resultado.
Un patrón común es:
low risk -> permitir
medium risk -> revisar por un humano
high risk -> bloquear o requerir apelaciónCon la moderación de OpenAI, normalmente se construye esa correspondencia a partir de los flags de categoría y las puntuaciones de categoría. Su aplicación decide qué categorías son bloqueos estrictos, qué categorías requieren revisión y qué puntuaciones son solo señales.
También debería rastrear:
- falsos positivos
- infracciones no detectadas reportadas por usuarios
- tasas de activación por categoría
- latencia y errores de API
- decisiones de moderación por superficie de producto
- tasas de anulación de revisores
Aquí es donde los equipos suelen descubrir que "usar un modelo de moderación" y "operar un flujo de trabajo de moderación" son tareas diferentes.
Cuándo omni-moderation-latest es una buena opción
omni-moderation-latest cuando:- ya utiliza OpenAI directamente
- su aplicación necesita las categorías de moderación documentadas de OpenAI
- su flujo de trabajo es principalmente de texto con algunas necesidades de moderación de imágenes
- se siente cómodo implementando su propia lógica de umbrales y revisión
- desea un modelo de moderación gratuito dentro del ecosistema de OpenAI API
Para muchos productos nativos de OpenAI, ese es un punto de partida sólido.
Cuándo considerar una alternativa compatible con OpenAI
Una alternativa no necesita superar lo "gratuito" en precio bruto del endpoint. Necesita reducir la complejidad operativa.
model: evolink-moderation-1.0, admite entradas de solo texto, solo imagen y texto más imagen, y devuelve campos de moderación estándar más un objeto evolink_summary.evolink_summary es útil porque proporciona a su aplicación un resumen de decisión directo:risk_levelflaggedviolationsmax_scoremax_category
Eso facilita la implementación de la lógica de permitir / revisar / bloquear sin tener que escribir tanta agregación de puntuaciones por categoría usted mismo.
OpenAI vs EvoLink: cómo elegir
| Elija esto | Si su prioridad es... |
|---|---|
OpenAI omni-moderation-latest | Moderación gratuita dentro de un flujo de trabajo directo con OpenAI API |
| EvoLink Moderation 1.0 | Moderación compatible con OpenAI dentro de EvoLink con soporte de texto más imagen y un resumen de riesgo simplificado |
| Moderación multicapa | Aplicación de políticas personalizadas, reglas de marca, apelaciones, revisión humana o flujos de trabajo de cumplimiento más allá de una sola API |
No hay un ganador universal. El modelo de OpenAI es una buena opción para aplicaciones nativas de OpenAI. EvoLink es una buena opción cuando su equipo desea que la capa de moderación se ubique junto a otras llamadas de EvoLink API y devuelva un resumen de riesgo orientado a producción.
FAQ
¿Es gratuito omni-moderation-latest?
OpenAI describe los modelos de moderación como modelos gratuitos, y el anuncio de OpenAI indica que el nuevo modelo de moderación es de uso gratuito a través de Moderation API. Los límites de tasa dependen del nivel de uso.
¿Admite imágenes omni-moderation-latest?
Sí. La página del modelo de OpenAI lista imagen como modalidad de entrada. Sin embargo, el anuncio de OpenAI deja claro que la compatibilidad con imágenes es específica por categoría, por lo que no todas las categorías de moderación se aplican a entradas de imagen.
¿Admite video o audio omni-moderation-latest?
No. La página del modelo de OpenAI lista audio y video como no compatibles para este modelo.
¿Es EvoLink Moderation lo mismo que omni-moderation-latest?
No. EvoLink Moderation 1.0 es un servicio de moderación independiente de EvoLink con una interfaz de API compatible con OpenAI. Está diseñado para equipos que desean moderación de texto e imagen dentro de los flujos de trabajo de EvoLink.
¿Debería reemplazar la moderación de OpenAI por EvoLink Moderation?
evolink_summary.risk_level, precios fijos por llamada e integración con otras APIs de EvoLink.Guías de moderación relacionadas
- OpenAI Moderation API Pricing: Is It Free? Limits and Alternatives
- Image Moderation API Guide: How to Filter Unsafe User-Uploaded Images
- Best Content Moderation APIs and Tools for Developers
- How to Add Content Moderation to Your Chatbot or AI Agent


