EvoLink Smart Router verwenden: API-Setup und Produktionstest

Smart Router: Schnellreferenz

1. API-Schlüssel vorbereiten

Erstellen Sie einen API-Schlüssel im EvoLink Dashboard und speichern Sie ihn als Umgebungsvariable:

export EVOLINK_API_KEY="your-api-key"

Für PowerShell:

$env:EVOLINK_API_KEY="your-api-key"

Verwenden Sie getrennte Schlüssel für lokale Entwicklung, Staging und Produktion. Das erleichtert Nutzungsanalyse und Rotation.

2. Erste Anfrage senden

curl --request POST \
  --url https://direct.evolink.ai/v1/chat/completions \
  --header "Authorization: Bearer $EVOLINK_API_KEY" \
  --header "Content-Type: application/json" \
  --data '{
    "model": "evolink/auto",
    "messages": [
      {
        "role": "user",
        "content": "Klassifiziere diese Support-Anfrage als Abrechnung, Technik oder Kontozugriff: Ich kann mich nach dem Zurücksetzen meines Passworts nicht anmelden."
      }
    ],
    "temperature": 0.2,
    "stream": false
  }'

{
  "id": "chatcmpl-example",
  "object": "chat.completion",
  "model": "actual-routed-model",
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "Kontozugriff"
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 26,
    "completion_tokens": 3,
    "total_tokens": 29
  }
}

3. Python-Integration

import os
import time
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["EVOLINK_API_KEY"],
    base_url="https://direct.evolink.ai/v1",
)

started_at = time.perf_counter()

response = client.chat.completions.create(
    model="evolink/auto",
    messages=[
        {
            "role": "user",
            "content": "Fasse diesen Incident Report zusammen und nenne die nächsten zwei Engineering-Schritte.",
        }
    ],
    temperature=0.2,
)

print("routed_model:", response.model)
print("latency_ms:", round((time.perf_counter() - started_at) * 1000))
print("usage:", response.usage)
print("output:", response.choices[0].message.content)

Wie Smart Router routet

EvoLink beschreibt den Ablauf für unterstützte Textanfragen in fünf Schritten:

1. Die Anwendung sendet einen OpenAI-kompatiblen Request mit evolink/auto.
2. Der Router bewertet Aufgabentyp und Komplexität.
3. Die Anfrage wird einem Profil wie Fast, Standard oder Reasoning zugeordnet.
4. Ein geeignetes Kandidatenmodell verarbeitet die Anfrage.
5. Das ausgewählte Modell erscheint in response.model.

Behandeln Sie diese Profile als Aufgabenkategorien, nicht als feste öffentliche Modellliste.

Smart Router oder festes Modell?

In der Praxis sind beide Pfade sinnvoll: Routing für gemischte Textarbeit, feste IDs für evaluierte und kontrollierte Funktionen.

Was Sie protokollieren sollten

Protokollieren Sie keine sensiblen Prompts oder Antworten, wenn dies Ihren Datenschutz- und Aufbewahrungsregeln widerspricht.

Vor Produktion testen

1. Erstellen Sie ein repräsentatives Testset mit normalen, mehrdeutigen und fehlerhaften Eingaben.
2. Wählen Sie das aktuell verwendete feste Modell als Baseline.
3. Senden Sie dieselben Inputs mit denselben Parametern über evolink/auto.
4. Vergleichen Sie Qualität, Latenz, Token-Nutzung, Fehler und geroutete Modelle pro Workflow.
5. Starten Sie mit risikoarmem Traffic und behalten Sie feste Modelle für strenge QA.

Ein Router kann im Durchschnitt gut aussehen und trotzdem für einen einzelnen Hochrisiko-Workflow ungeeignet sein.

Häufige API-Fehler

Setzen Sie explizite Timeouts und vermeiden Sie unbegrenzte Retries.

Häufige Fehler bei der Einführung

• Smart Router als Garantie für das billigste Modell behandeln
• davon ausgehen, dass dieselbe Anfrage immer dasselbe Modell erhält
• Bild- oder Videoanfragen an evolink/auto senden
• response.model nicht protokollieren
• eine feste Kandidatenmodell-Liste veröffentlichen

FAQ

Welchen Endpoint soll ich verwenden?

Welche Model ID aktiviert Smart Router?

Wie sehe ich das ausgewählte Modell?

Ist Smart Router immer billiger?

Nein. Der effektive Aufwand hängt von Anfrage, geroutetem Modell, Output-Länge, Retries und Qualitätsanforderungen ab.

Wird für denselben Prompt immer dasselbe Modell verwendet?

Darauf sollten Sie sich nicht verlassen. Verwenden Sie eine feste Model ID, wenn Modellidentität oder reproduzierbare Tests erforderlich sind.

Funktioniert Smart Router für Bilder und Videos?

Der aktuelle Scope sind unterstützte Text- und Agent-Anfragen. Für Media-Generierung verwenden Sie explizite Model IDs.

Kann ich Streaming verwenden?

Wann sollte ich zu einem festen Modell wechseln?

Wenn ein Workflow einen klaren Gewinner hat, modellspezifische Funktionen benötigt oder strenge Regressionstests und Freigaben verlangt.

Nächster Schritt