
omni-moderation-latest 全面解析:OpenAI Moderation API 使用指南

omni-moderation-latest 是 OpenAI 的多模态审核模型,用于检测文本和图片中的有害内容。它的意义在于把 OpenAI 的审核能力从纯文本扩展到了多模态,让开发者可以用同一个模型家族处理文本和图片的安全审核。快速了解:
- OpenAI 于 2024 年 9 月 26 日推出
omni-moderation-latest。 - 它基于 GPT-4o,支持文本和图片两种输入。
- OpenAI 表示该模型通过 Moderation API 免费使用。
- 图片支持是按类别区分的——不是所有审核类别都能用于纯图片输入。
- 如果你的团队需要一个 OpenAI 兼容的审核端点,并且希望集成在 EvoLink 工作流中,也可以评估 EvoLink Moderation 1.0。
本文将解释这个模型的能力、它和早期纯文本审核模型的区别,以及生产落地时需要考虑的问题。
omni-moderation-latest 是什么?
omni-moderation-latest 是 OpenAI 用于识别潜在有害内容的审核模型。OpenAI 的模型页面将其描述为一个免费的审核模型,接受文本和图片输入,通过 Moderation 端点返回文本输出。来源:
为什么 OpenAI 要从纯文本审核升级到多模态审核
omni-moderation-latest 之前,很多审核系统把文本和图片当成两个独立问题来处理。这在生产环境中造成了不少麻烦:- 用户评论走一次审核调用
- 图片上传走另一个服务
- 分类定义各管各的
- 返回格式不统一
- 阈值和复审规则各搞一套
OpenAI 在 2024 年 9 月的公告中,将新模型定位为一种用更强的多模态分类器来评估有害文本和图片的方式。OpenAI 还指出这个模型在非英语内容上的表现有明显提升。
实际效果很直观:如果你的应用同时接收文字说明和图片,现在可以用一个审核模型搞定,不用再把文本分类器和图片安全服务拼接在一起了。
omni-moderation-latest 支持哪些输入?
OpenAI 模型页面列出的支持情况:
| 模态 | 支持情况 |
|---|---|
| 文本 | 输入和输出 |
| 图片 | 仅输入 |
| 音频 | 不支持 |
| 视频 | 不支持 |
omni-moderation-latest 可以处理文本、图片、或文本+图片请求,但不能直接审核音频或视频。对于做用户生成内容的团队来说,这覆盖了大部分常见场景:
- 评论和聊天消息
- 个人资料文本
- 图片上传
- 带文字描述和照片的商品列表
- AI 生成的文本或图片在发布前的安全检查
哪些类别支持图片审核?
这是很多团队容易忽略的细节。
OpenAI 公告中提到,发布时支持图片多模态有害内容分类的类别包括:
- violence(暴力)和
violence/graphic(血腥暴力) - self-harm(自残)、
self-harm/intent(自残意图)和self-harm/instructions(自残指导) - sexual(色情内容),但不包括
sexual/minors(未成年色情)
OpenAI 同时说明,其余类别在公告发布时仅支持文本,后续会扩展多模态支持。
这在实际使用中意味着:图片审核是可用的,但不等于说所有文本审核类别都能同样适用于图片。如果你的产品需要检测表情包中的仇恨符号、图片内嵌的违规文字、品牌安全问题、垃圾信息水印、或电商场景的特殊视觉规则,你可能仍然需要额外的检测手段。
omni-moderation-latest vs text-moderation-latest
| 对比项 | text-moderation-latest | omni-moderation-latest |
|---|---|---|
| 主要输入 | 文本 | 文本和图片 |
| 图片审核 | 非主要用途 | 部分类别支持 |
| 更新的有害类别 | 较少 | 新增 illicit(违法)和 illicit/violent(暴力违法)作为纯文本类别(来自 OpenAI 公告) |
| 多语言表现 | 旧基线 | OpenAI 内部评测显示多语言能力更强 |
| 适用场景 | 遗留的纯文本集成 | 新的文本和图片审核工作流 |
omni-moderation-latest 的主要理由是更广的输入支持和更新的类别行为。怎么使用 omni-moderation-latest
最基本的文本审核调用:
from openai import OpenAI
client = OpenAI()
response = client.moderations.create(
model="omni-moderation-latest",
input="这里放用户提交的文本"
)
result = response.results[0]
if result.flagged:
print(result.categories)
print(result.category_scores)图片审核:
from openai import OpenAI
client = OpenAI()
response = client.moderations.create(
model="omni-moderation-latest",
input=[
{
"type": "image_url",
"image_url": {
"url": "https://example.com/user-upload.jpg"
}
}
]
)
result = response.results[0]
print(result.flagged)
print(result.category_scores)文本+图片混合审核:
response = client.moderations.create(
model="omni-moderation-latest",
input=[
{"type": "text", "text": "文字说明或用户消息"},
{
"type": "image_url",
"image_url": {
"url": "https://example.com/user-upload.jpg"
}
}
]
)上线前务必对照最新的 OpenAI API 文档验证这些示例,SDK 的请求格式可能会随版本更新而变化。
生产环境的审核工作流模式
API 调用只是审核系统的一个环节。在生产环境中,更关键的问题是:你的应用拿到审核结果之后怎么处理。
常见的模式是:
低风险 -> 放行
中风险 -> 进入人工复审队列
高风险 -> 拦截或要求申诉使用 OpenAI 审核时,你通常需要根据类别标记和类别分数自己构建这个映射逻辑。你的应用需要决定:哪些类别是硬拦截、哪些类别需要复审、哪些分数只是参考信号。
同时你还需要追踪:
- 误判(本该放行却拦截了)
- 用户举报的漏检
- 各类别的触发率
- 延迟和 API 错误
- 按产品线统计的审核决策
- 人工复审的改判率
这也是很多团队最终会发现的一件事:"用一个审核模型"和"运营一套审核工作流"是完全不同的两件事。
什么时候 omni-moderation-latest 是好选择
omni-moderation-latest:- 你已经在直接使用 OpenAI
- 你的应用需要 OpenAI 文档中定义的审核类别
- 你的工作流以文本为主,附带一些图片审核需求
- 你有能力自己实现阈值和复审逻辑
- 你需要一个 OpenAI API 生态内的免费审核模型
对很多 OpenAI 原生产品来说,这是一个很扎实的起点。
什么时候该考虑 OpenAI 兼容的替代方案
替代方案不需要在价格上打赢"免费"——它需要做到的是降低运维复杂度。
model: evolink-moderation-1.0,支持纯文本、纯图片和文本+图片输入,返回标准审核字段加上一个 evolink_summary 对象。evolink_summary 字段的价值在于它直接给出决策摘要:risk_level(风险等级)flagged(是否标记)violations(违规类别列表)max_score(最高分数)max_category(最高分类别)
这让你更容易实现"放行 / 人审 / 拦截"的逻辑,不需要自己写大量的类别分数聚合代码。
OpenAI vs EvoLink:怎么选
| 选择 | 适用场景 |
|---|---|
OpenAI omni-moderation-latest | 在 OpenAI API 工作流内使用免费审核 |
| EvoLink Moderation 1.0 | 在 EvoLink 内使用 OpenAI 兼容的审核,支持文本+图片和简化的风险摘要 |
| 多层审核体系 | 自定义策略执行、品牌规则、申诉流程、人工复审、或超出单一 API 能力的合规工作流 |
没有通吃的最优解。OpenAI 的模型非常适合 OpenAI 原生应用。EvoLink 更适合这样的团队:希望审核层和其他 EvoLink API 调用并排使用,并且需要一个面向生产的风险摘要。
常见问题
omni-moderation-latest 免费吗?
OpenAI 将审核模型归类为免费模型,公告中也说新的审核模型通过 Moderation API 免费使用。速率限制取决于你的使用等级。
omni-moderation-latest 支持图片吗?
支持。OpenAI 模型页面将图片列为一种输入模态。但 OpenAI 的公告明确说明图片支持是按类别区分的,不是所有审核类别都适用于图片输入。
omni-moderation-latest 支持视频或音频吗?
不支持。OpenAI 模型页面列明该模型不支持音频和视频输入。
EvoLink Moderation 和 omni-moderation-latest 是同一个东西吗?
不是。EvoLink Moderation 1.0 是 EvoLink 独立的审核服务,API 接口兼容 OpenAI 格式。它面向的是希望在 EvoLink 工作流内进行文本和图片审核的团队。
应该用 EvoLink Moderation 替换 OpenAI Moderation 吗?
evolink_summary.risk_level 的 OpenAI 兼容审核端点、按次计费、并且希望和其他 EvoLink API 集成在一起,再来评估 EvoLink。相关审核指南
- OpenAI Moderation API 定价:到底免不免费?限制与替代方案
- 图片审核 API 指南:如何过滤不安全的用户上传图片
- 最佳内容审核 API 与工具推荐
- 如何为聊天机器人或 AI Agent 添加内容审核


