omni-moderation-latest 완전 가이드: OpenAI Moderation API 사용법

핵심 요약:

• OpenAI는 2024년 9월 26일에 omni-moderation-latest를 출시했습니다.
• 이 모델은 GPT-4o 기반이며, 텍스트와 이미지 입력을 모두 지원합니다.
• OpenAI에 따르면 이 모델은 Moderation API를 통해 무료로 사용할 수 있습니다.
• 이미지 지원은 카테고리별로 제한되므로, 모든 모더레이션 카테고리가 이미지 전용 입력에 적용되는 것은 아닙니다.
• EvoLink 워크플로우 내에서 OpenAI 호환 모더레이션 엔드포인트를 원하는 팀은 EvoLink Moderation 1.0도 검토해 볼 수 있습니다.

이 가이드에서는 모델의 기능, 기존 텍스트 모더레이션 모델과의 차이점, 그리고 프로덕션 구현 시 고려사항을 설명합니다.

omni-moderation-latest란?

출처:

• OpenAI omni-moderation-latest 모델 페이지
• OpenAI 발표: Moderation API 업그레이드

이 모델은 범용 이미지 생성기나 채팅 모델이 아닙니다. 분류기입니다. 사용자 콘텐츠를 Moderation API로 전송하면, 응답에서 어떤 카테고리가 존재할 수 있는지와 모델이 해당 카테고리에 부여한 점수를 알려줍니다.

OpenAI가 텍스트 전용 모더레이션을 멀티모달 모더레이션으로 대체한 이유

• 사용자 댓글에 대한 모더레이션 호출 하나
• 이미지 업로드를 위한 별도 서비스
• 별도의 카테고리 정의
• 별도의 응답 형식
• 별도의 임계값 및 검토 규칙

OpenAI의 2024년 9월 발표에서는 새로운 모델을 더 강력한 멀티모달 분류기로 유해 텍스트와 이미지를 평가하는 방법으로 소개했습니다. OpenAI는 또한 이 모델이 특히 비영어권 콘텐츠에서 성능이 향상되었다고 밝혔습니다.

실질적인 결과는 간단합니다: 캡션과 이미지를 모두 수용하는 애플리케이션이 텍스트 분류기와 별도의 이미지 안전 서비스를 조합하는 대신, 하나의 모더레이션 모델을 사용할 수 있게 되었습니다.

omni-moderation-latest는 어떤 입력을 지원합니까?

OpenAI의 모델 페이지에 나열된 내용:

사용자 생성 콘텐츠 워크플로우를 구축하는 팀에게 이는 일반적인 사용 사례에 잘 부합합니다:

• 댓글 및 채팅 메시지
• 프로필 텍스트
• 이미지 업로드
• 캡션과 사진이 포함된 게시물
• 게시 전 AI 생성 텍스트 또는 생성 이미지

이미지에서 작동하는 카테고리는?

많은 팀이 놓치는 세부 사항입니다.

OpenAI의 발표에 따르면, 출시 시점에 다음과 같은 이미지 관련 카테고리에서 멀티모달 유해 콘텐츠 분류가 지원되었습니다:

• violence 및 violence/graphic
• self-harm, self-harm/intent, self-harm/instructions
• sexual content (단, sexual/minors는 제외)

OpenAI는 또한 나머지 카테고리는 발표 시점에 텍스트 전용이었으며, 멀티모달 지원을 확대할 계획이라고 밝혔습니다.

실제로 이는 이미지 모더레이션이 유용하지만, 모든 텍스트 모더레이션 카테고리가 이미지에서도 동일하게 작동한다는 의미는 아닙니다. 제품에서 밈 속 혐오 심볼, 이미지에 삽입된 정책 위반 텍스트, 브랜드 안전 문제, 스팸 오버레이, 마켓플레이스별 시각 규칙 등을 감지해야 하는 경우, 추가 검사가 여전히 필요할 수 있습니다.

omni-moderation-latest vs text-moderation-latest

omni-moderation-latest 사용 방법

기본적인 텍스트 모더레이션 호출은 다음과 같습니다:

from openai import OpenAI

client = OpenAI()

response = client.moderations.create(
    model="omni-moderation-latest",
    input="User-submitted text goes here"
)

result = response.results[0]

if result.flagged:
    print(result.categories)
    print(result.category_scores)

이미지 모더레이션의 경우 이미지 입력을 사용합니다:

from openai import OpenAI

client = OpenAI()

response = client.moderations.create(
    model="omni-moderation-latest",
    input=[
        {
            "type": "image_url",
            "image_url": {
                "url": "https://example.com/user-upload.jpg"
            }
        }
    ]
)

result = response.results[0]
print(result.flagged)
print(result.category_scores)

텍스트+이미지 모더레이션의 경우:

response = client.moderations.create(
    model="omni-moderation-latest",
    input=[
        {"type": "text", "text": "Caption or user message"},
        {
            "type": "image_url",
            "image_url": {
                "url": "https://example.com/user-upload.jpg"
            }
        }
    ]
)

배포 전에 항상 현재 OpenAI API 문서를 기준으로 이 예제를 테스트하십시오. SDK 요청 형식은 시간이 지남에 따라 변경될 수 있습니다.

모더레이션 워크플로우의 프로덕션 패턴

API 호출은 모더레이션 시스템의 한 부분에 불과합니다. 프로덕션에서 더 중요한 질문은 애플리케이션이 결과를 어떻게 처리하느냐입니다.

일반적인 패턴은 다음과 같습니다:

low risk    -> allow
medium risk -> queue for human review
high risk   -> block or require appeal

OpenAI 모더레이션에서는 일반적으로 카테고리 플래그와 카테고리 점수를 기반으로 이러한 매핑을 구축합니다. 어떤 카테고리를 즉시 차단할지, 어떤 카테고리에 검토가 필요한지, 어떤 점수가 단순 신호에 불과한지는 애플리케이션이 결정합니다.

다음 항목도 추적해야 합니다:

• 오탐지(false positive)
• 사용자가 보고한 미감지 위반 사항
• 카테고리별 트리거율
• 지연 시간 및 API 오류
• 제품 영역별 모더레이션 결정
• 검토자 재정의율

이 지점에서 많은 팀이 "모더레이션 모델을 사용하는 것"과 "모더레이션 워크플로우를 운영하는 것"이 다른 작업임을 깨닫게 됩니다.

omni-moderation-latest가 적합한 경우

• 이미 OpenAI를 직접 사용하고 있는 경우
• 앱에 OpenAI의 문서화된 모더레이션 카테고리가 필요한 경우
• 텍스트 중심 워크플로우에 일부 이미지 모더레이션이 필요한 경우
• 직접 임계값 및 검토 로직을 구현하는 것이 문제없는 경우
• OpenAI API 생태계 내에서 무료 모더레이션 모델을 원하는 경우

많은 OpenAI 네이티브 제품에서 이는 훌륭한 출발점입니다.

OpenAI 호환 대안을 고려해야 할 때

대안이 "무료"보다 원시 엔드포인트 가격에서 이길 필요는 없습니다. 운영 복잡성을 줄여야 합니다.

• risk_level
• flagged
• violations
• max_score
• max_category

이를 통해 카테고리 점수 집계를 직접 많이 작성하지 않고도 허용 / 검토 / 차단 로직을 더 쉽게 구현할 수 있습니다.

OpenAI vs EvoLink: 선택 방법

절대적인 정답은 없습니다. OpenAI의 모델은 OpenAI 네이티브 애플리케이션에 적합합니다. EvoLink는 모더레이션 레이어를 다른 EvoLink API 호출과 함께 배치하고 프로덕션 지향 리스크 요약을 반환하기를 원하는 팀에 적합합니다.

FAQ

omni-moderation-latest는 무료입니까?

OpenAI는 모더레이션 모델을 무료 모델로 설명하며, OpenAI의 발표에 따르면 새로운 모더레이션 모델은 Moderation API를 통해 무료로 사용할 수 있습니다. Rate limit는 사용 등급에 따라 다릅니다.

omni-moderation-latest는 이미지를 지원합니까?

네. OpenAI의 모델 페이지에 이미지가 입력 모달리티로 나열되어 있습니다. 다만, OpenAI의 발표에서 이미지 지원이 카테고리별로 제한된다고 명시했으므로, 모든 모더레이션 카테고리가 이미지 입력에 적용되는 것은 아닙니다.

omni-moderation-latest는 비디오나 오디오를 지원합니까?

아니요. OpenAI의 모델 페이지에 이 모델에 대해 오디오와 비디오가 미지원으로 나열되어 있습니다.

EvoLink Moderation은 omni-moderation-latest와 같습니까?

아니요. EvoLink Moderation 1.0은 OpenAI 호환 API 인터페이스를 갖춘 별도의 EvoLink 모더레이션 서비스입니다. EvoLink 워크플로우 내에서 텍스트 및 이미지 모더레이션을 원하는 팀을 위해 설계되었습니다.

OpenAI 모더레이션을 EvoLink Moderation으로 교체해야 합니까?

관련 모더레이션 가이드

• OpenAI Moderation API 가격: 무료인가요? 한도 및 대안
• 이미지 모더레이션 API 가이드: 안전하지 않은 사용자 업로드 이미지를 필터링하는 방법
• 개발자를 위한 최고의 콘텐츠 모더레이션 API 및 도구
• 챗봇 또는 AI 에이전트에 콘텐츠 모더레이션을 추가하는 방법