Skip to main content
Routing mit einem universellen LLM bedeutet in der Regel, dass Sie es einen Zielnamen generieren lassen und den Text anschließend validieren und parsen. Mit GLiDE definieren Sie die zulässigen Routen und erhalten eine ausgewählte Route plus eine Wahrscheinlichkeit für jede Option. Verwenden Sie dieses Muster für Support-Warteschlangen, Agent-Tools, Workflows, Modelle oder jede andere Routing-Entscheidung, bei der genau eine Option gewählt wird. Fügen Sie eine Route other oder human_review hinzu, wenn die aufgeführten Ziele nicht vollständig sind.

Ein Support-Ticket routen

choice ist immer einer Ihrer criteria-Schlüssel. probabilities zeigt die vollständige Verteilung, während confidence der Abstand zwischen den beiden wahrscheinlichsten Routen ist. Passen Sie den Fallback-Schwellenwert anhand von repräsentativem Traffic an, statt 0.5 als universellen Wert zu betrachten.

Was sich gegenüber einem LLM-Router ändert

  • Das Ziel ist auf die von Ihnen definierten Schlüssel beschränkt; es gibt keinen generierten Text, den Sie parsen müssen.
  • Sie erhalten die vollständige Verteilung über alle Routen, nicht nur ein Label.
  • Sie können unsichere oder nicht abgedeckte Fälle an einen expliziten Fallback weiterleiten.
  • Sie können in einer Anfrage mehrere Routing- oder Scoring-Fragen zum selben State stellen.
Informationen zu Authentifizierung, Limits, Fehlern und dem vollständigen Antwortvertrag finden Sie unter GLiDE-Inferenz.