Wie man evolink Smart router verwendet: 5-Minuten-Setup für einheitliches KI-Modell-Routing

Was evolink Smart router ist

• ein OpenAI-kompatibles Anforderungsformat beibehalten
• anwendungsseitiges Wechseln zwischen Anbietern oder Modellfamilien reduzieren
• das geroutete Modell in der API-Antwort überprüfen, anstatt überall ein Modell fest zu codieren
• mit einem flexiblen Gateway-Pfad beginnen, bevor Sie ein festes Modell für produktionskritische Abläufe festlegen

Wenn Sie bereits das genaue Modell, das Latenzprofil und das Kostenziel kennen, das Sie benötigen, ist eine feste Modell-ID normalerweise die sauberere Wahl.

Was Sie vor dem Start benötigen

Ihre erste Anfrage mit curl

curl https://api.evolink.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "evolink/auto",
    "messages": [
      {
        "role": "user",
        "content": "Erklären Sie Vektordatenbanken in einem kurzen Absatz."
      }
    ]
  }'

Python-Beispiel

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.evolink.ai/v1"
)

response = client.chat.completions.create(
    model="evolink/auto",
    messages=[
        {
            "role": "user",
            "content": "Fassen Sie den Kompromiss zwischen Latenz und Modellqualität zusammen."
        }
    ]
)

print(response.model)
print(response.choices[0].message.content)

Node.js-Beispiel

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.EVOLINK_API_KEY,
  baseURL: "https://api.evolink.ai/v1",
});

const response = await client.chat.completions.create({
  model: "evolink/auto",
  messages: [
    {
      role: "user",
      content: "Listen Sie drei Gründe auf, warum Teams ein KI-Gateway verwenden.",
    },
  ],
});

console.log(response.model);
console.log(response.choices[0].message.content);

Wie man die Antwort liest

Eine Smart-Router-Antwort folgt weiterhin der vertrauten Chat-Completions-Struktur:

{
  "id": "chatcmpl-example",
  "object": "chat.completion",
  "created": 1773187200,
  "model": "provider/model-selected-at-runtime",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "Eine Vektordatenbank speichert Embeddings, damit die semantische Suche ähnliche Inhalte effizient abrufen kann."
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 17,
    "completion_tokens": 18,
    "total_tokens": 35
  }
}

Smart Router vs festes Modell

Das Muster, das normalerweise am besten skaliert, ist einfach:

1. Beginnen Sie mit evolink Smart router, während sich die Arbeitslast noch ändert.
2. Protokollieren Sie den gerouteten model-Wert und vergleichen Sie Kosten, Latenz und Ausgabequalität.
3. Legen Sie ein festes Modell für Abläufe fest, die eine engere betriebliche Vorhersagbarkeit benötigen.

Was kontospezifisch bleibt

Der ursprüngliche Entwurf enthielt mehrere Produktaussagen, die nicht als harte Fakten ohne eine verifizierte Quelle, die mit Ihrem Konto oder der offiziellen Dokumentation verknüpft ist, veröffentlicht werden sollten. Behandeln Sie diese als zu bestätigende Punkte, bevor Sie externe Versprechen veröffentlichen:

• die genaue öffentliche Modellkennung für evolink Smart router
• die genaue Größe des verfügbaren Routing-Pools
• jedes Versprechen über "keine Routing-Gebühr"
• jede prozentuale Rabattaussage gegenüber direkten Anbietern
• SLA-Aussagen wie 99,9% Betriebszeit
• welche erweiterten Funktionen über den Smart Router für jedes geroutete Modell garantiert sind

Wenn Sie möchten, dass dieser Artikel später verkaufsorientierter wird, besteht die saubere Methode darin, diese Punkte erst hinzuzufügen, nachdem sie auf einer Erstanbieter-Preisseite, Produktseite oder offiziellen API-Dokumentation dokumentiert wurden.

Produktions-Checkliste vor dem Rollout

Nächste Schritte

Sobald Ihre erste Anfrage funktioniert, ist die wertvollste Folgeaktion nicht mehr Beispielcode. Es ist Instrumentierung.

• protokollieren Sie response.model
• speichern Sie Token-Nutzung nach Feature oder Route
• vergleichen Sie Smart-Router-Traffic mit einer Baseline mit festem Modell
• überprüfen Sie verfügbare feste Modelle im EvoLink-Modellkatalog

Das gibt Ihnen die Daten, die Sie benötigen, um zu entscheiden, ob der Gateway-Pfad die Kosteneffizienz und Produktionszuverlässigkeit für Ihre tatsächliche Arbeitslast verbessert.

FAQ

Ist evolink Smart router dasselbe wie die Auswahl eines festen Modells?

Benötige ich ein anderes SDK, um evolink Smart router zu verwenden?

Nein. Basierend auf den vorhandenen Beispielen des Repositorys bleibt das Integrationsmuster OpenAI-kompatibel. Sie ändern hauptsächlich die Basis-URL und die Modellkennung.

Wo finde ich die richtige Smart-Router-Modell-ID?

Bestätigen Sie sie in Ihrem EvoLink-Dashboard oder der offiziellen Dokumentation, bevor Sie Kopier-Einfüge-Code veröffentlichen oder versenden. Der ursprüngliche Entwurf enthielt keine lokal verifizierte Kennung.

Sollte ich Produktionsverkehr auf evolink Smart router starten?

Ja, wenn Ihre Arbeitslast sich noch entwickelt und Sie einen einzigen Gateway-Einstiegspunkt möchten. Für streng kontrollierte Abläufe vergleichen Sie ihn vor dem vollständigen Rollout mit einem festen Modell.

Was sollte ich nach der Integration zuerst protokollieren?

Garantiert Smart Routing niedrigere Kosten?

Nicht automatisch. Es kann effektive Kosten verbessern, aber das Ergebnis hängt von Ihren Prompts, ausgewählten Downstream-Modellen und Kontokonfiguration ab.

Wann sollte ich von Smart Router zu einem festen Modell wechseln?

Wechseln Sie, wenn eine Arbeitslast einen klaren Gewinner bei Qualität, Latenz oder Kosten hat und Sie engeres QA und vorhersagbareres Produktionsverhalten möchten.