Inferenz-API

Fastino bietet zwei synchrone Schnittstellen für die GLiNER-Inferenz. Wählen Sie die Schnittstelle, die zu Ihrem Modell und Ihren Payload-Anforderungen passt:

Funktion	`/v1/chat/completions`	`/v1/gliner-2`
Modell	Wählen Sie ein inferenzfähiges Basismodell oder die UUID eines abgeschlossenen Trainingsjobs	Verwendet immer `fastino/gliner2-base-v1`
Anfrage	OpenAI-kompatible `model` und `messages` sowie Fastinos `schema` auf oberster Ebene	Native Felder `text`, `schema`, `threshold`, `include_confidence` und `include_spans`
Antwort	OpenAI-Chat-Completion-Umschlag; parsen Sie `choices[0].message.content` als JSON	Nativer `{ "result": ..., "token_usage": ... }`-Body
Batch-Eingabe	Eine Konversation pro Anfrage	Akzeptiert einen String oder eine Liste von Strings
Asynchrone Verarbeitung	Nicht verfügbar	Mit `POST /v1/gliner-2/async` einreichen, dann `GET /v1/gliner-2/jobs/{job_id}` abfragen
Geeignet für	Standardintegrationen und feinabgestimmte Modelle	GLiNER2-Basisinferenz, native Ergebnisse, Batch-Verarbeitung oder lang laufende Jobs

Beginnen Sie mit /v1/chat/completions, um eine einheitliche API für Basis- und feinabgestimmte Modelle zu erhalten. Verwenden Sie /v1/gliner-2, wenn Sie gezielt den nativen Vertrag des festen GLiNER2-Basismodells, Batch-Eingaben oder asynchrone Verarbeitung benötigen.

Diese Seite dokumentiert im Folgenden den rohen HTTP-Vertrag von /v1/chat/completions. Die nativen /v1/gliner-2-Schemas sind im OpenAPI-Dokument veröffentlicht. SDK-Nutzung, Modelltraining, Evaluation, Inferenz-Historie und Feedback liegen außerhalb des Umfangs dieser Seite.

POST /inference wurde entfernt. Senden Sie keine veralteten Felder wie model_id, text, task, format_results oder is_warmup.

Endpunkt

POST https://api.fastino.ai/v1/chat/completions

Authentifizierung

Senden Sie einen Fastino-API-Schlüssel als Bearer-Token:

export FASTINO_API_KEY="fast_sk_..."

Authorization: Bearer $FASTINO_API_KEY
Content-Type: application/json

Anfrage

string

erforderlich

Eine inferenzfähige Basismodell-ID oder die UUID eines abgeschlossenen, bereitstellbaren Fastino-Trainingsjobs.

object[]

erforderlich

Eine nicht leere Liste von Nachrichten. Für die GLiNER-Inferenz platzieren Sie den zu analysierenden Text im content einer Benutzernachricht.

object

Definiert benutzerdefinierte Encoder-Aufgaben. Geben Sie ein Dictionary an, das einen oder mehrere der Schlüssel entities, classifications, structures oder relations enthält. Lassen Sie es nur weg, wenn das ausgewählte Modell eine konfigurierte Standardaufgabe hat.Ein flaches Array von Entitätslabels ist veraltet. Verwenden Sie immer die Dictionary-Form.

number

Standard:"0.5"

Konfidenzschwelle von 0 bis 1. Niedrigere Werte begünstigen Recall; höhere Werte begünstigen Precision.

boolean

Standard:"true"

Konfidenzwerte in extrahierten Ergebnissen enthalten.

boolean

Standard:"true"

Halboffene Zeichen-Offsets (start, end) in Entitätsergebnissen enthalten.

boolean

Standard:"true"

Die Inferenz persistieren. Setzen Sie den Wert auf false, um dies abzulehnen.

Entitäts-Schema

Verwenden Sie nach Möglichkeit beschreibende Entitätsdefinitionen:

{
  "entities": [
    {
      "name": "organization",
      "description": "business or institution name"
    },
    {
      "name": "product",
      "description": "named commercial product"
    }
  ]
}

Klassifikations-Schema

{
  "classifications": [
    {
      "task": "sentiment",
      "labels": ["positive", "negative", "neutral"],
      "multi_label": false,
      "top_k": 1
    }
  ]
}

Schema für strukturierte Extraktion

Strukturfelder verwenden field::type::description-Spezifikationen:

{
  "structures": {
    "product": [
      "name::str::product name",
      "price::str::listed price",
      "features::list::named features"
    ]
  }
}

Relations-Schema

Das einfachste Relations-Schema ist eine flache Liste von Relationsnamen:

{
  "relations": ["works_for", "lives_in"]
}

Sie können auch ein Dictionary verwenden, um Beschreibungen oder eine relationsspezifische Konfiguration hinzuzufügen:

{
  "relations": {
    "works_for": {
      "description": "employment relationship",
      "threshold": 0.6
    }
  }
}

Senden Sie keine Relationsobjekte, die Head- und Tail-Definitionen enthalten.

Kombiniertes Schema

Führen Sie mehrere Aufgaben über denselben Text aus, indem Sie die Schlüssel kombinieren:

{
  "entities": [
    {
      "name": "organization",
      "description": "business or institution name"
    },
    {
      "name": "product",
      "description": "named commercial product"
    }
  ],
  "classifications": [
    {
      "task": "sentiment",
      "labels": ["positive", "negative", "neutral"],
      "multi_label": false,
      "top_k": 1
    }
  ]
}

Das Schema erkennt die Operation automatisch. Senden Sie weder task noch task_type.

Beispiel

curl -X POST "https://api.fastino.ai/v1/chat/completions" \
  -H "Authorization: Bearer $FASTINO_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "fastino/gliner2.5-multi-v1",
    "messages": [
      {
        "role": "user",
        "content": "Apple announced the MacBook Pro at WWDC in Cupertino."
      }
    ],
    "schema": {
      "entities": [
        {
          "name": "organization",
          "description": "business or institution name"
        },
        {
          "name": "product",
          "description": "named commercial product"
        },
        {
          "name": "event",
          "description": "named conference or event"
        },
        {
          "name": "location",
          "description": "city, region, or place"
        }
      ]
    },
    "threshold": 0.5
  }'

Der Wert von model muss aktuell gehostete Inferenz unterstützen. Verwenden Sie den Live-Modellkatalog, statt anzunehmen, dass jedes Hugging-Face-Checkpoint verfügbar ist:

curl "https://api.fastino.ai/v1/base-models?supports_inference=true&task_type=encoder"

Antwort

Der Endpunkt gibt einen Chat-Completion-Umschlag zurück. Das GLiNER-Ergebnis wird als JSON-String in choices[0].message.content serialisiert:

{
  "id": "chatcmpl_...",
  "object": "chat.completion",
  "created": 1790123456,
  "model": "fastino/gliner2.5-multi-v1",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": "{\"entities\":[{\"organization\":[{\"text\":\"Apple\",\"confidence\":0.99,\"start\":0,\"end\":5}],\"product\":[{\"text\":\"MacBook Pro\",\"confidence\":0.98,\"start\":20,\"end\":31}],\"event\":[{\"text\":\"WWDC\",\"confidence\":0.97,\"start\":35,\"end\":39}],\"location\":[{\"text\":\"Cupertino\",\"confidence\":0.99,\"start\":43,\"end\":52}]}],\"classifications\":{},\"structures\":{},\"relations\":{}}"
      },
      "finish_reason": "stop"
    }
  ],
  "usage": {
    "prompt_tokens": 0,
    "completion_tokens": 0,
    "total_tokens": 0
  },
  "x_pioneer": {
    "inference_id": "..."
  }
}

Parsen Sie choices[0].message.content als JSON, bevor Sie die Aufgabenergebnisse lesen. Wenn store=true, identifiziert x_pioneer.inference_id die persistierte Inferenz.

Wiederholte Eingaben

Der Endpunkt akzeptiert eine Konversation pro Anfrage. Die entfernte native Batch-Form text: string[] wird nicht unterstützt. Senden Sie bei mehreren Eingaben separate Anfragen gleichzeitig.

Kaltstarts und Wiederholungsversuche

Ein inaktives oder neu bereitgestelltes Modell kann einen Kaltstart durchführen. Verwenden Sie ein Lese-Timeout von mindestens 300 Sekunden und wiederholen Sie Antworten mit den Statuscodes 425, 429 und 503. Beachten Sie den Antwort-Header Retry-After, sofern vorhanden. Eine Anfrage, die in einen Timeout gelaufen ist, kann die Bereitstellung dennoch aufwärmen, sodass die nächste Anfrage erfolgreich sein kann. Wiederholen Sie Fehler bei Authentifizierung, Abrechnung, Validierung, unbekanntem Modell oder nicht bereitstellbarem Job nicht, ohne das zugrunde liegende Problem zu beheben.

curl --max-time 300 -X POST "https://api.fastino.ai/v1/chat/completions" \
  -H "Authorization: Bearer $FASTINO_API_KEY" \
  -H "Content-Type: application/json" \
  -d @request.json

Fehler

Status	Wahrscheinliche Ursache	Maßnahme
`400`	Ungültige Anfrage oder ungültiges Schema	Korrigieren Sie die Anfragefelder oder das Schema
`401`	Fehlender, falsch formatierter oder ungültiger API-Schlüssel	Exportieren Sie einen gültigen `fast_sk_...`-Schlüssel
`402`	Unzureichende Credits, erforderliche Finanzierung oder ein vom Eigentümer festgelegtes tägliches/monatliches Ausgabenlimit	Fügen Sie Credits hinzu oder passen Sie das Ausgabenlimit an
`403`	Ablehnung wegen Zahlungsmethode, Kartenverifizierung, Kreditlimit oder Kontorichtlinie	Erfüllen Sie die Abrechnungs- oder Kontoanforderung
`404`	Unbekanntes oder nicht unterstütztes Modell	Verwenden Sie eine inferenzfähige Katalog-ID oder die UUID eines bereitstellbaren Jobs
`409`	Feingetuntes Modell existiert, ist aber nicht bereitgestellt	Warten Sie auf die Bereitstellung oder reparieren Sie sie
`422`	Anfragenvalidierung fehlgeschlagen	Lesen und korrigieren Sie die Validierungsdetails auf Feldebene
`425`	Feingetunte Bereitstellung wird aufgewärmt	Wiederholen Sie den Vorgang nach der angegebenen Verzögerung
`429`	Rate- oder Kapazitätslimit	Beachten Sie `Retry-After` und wiederholen Sie mit Backoff
`503`	Kaltstart oder vorübergehendes Kapazitätsproblem des Anbieters	Wiederholen Sie den Vorgang, bevor Sie ihn als endgültig betrachten

Migration veralteter Anfragen

Entferntes `/inference`-Feld	Aktuelles Feld
`model_id`	`model`
`text`	`messages: [{"role": "user", "content": "..."}]`
Flache `schema`-Entitätsliste	`schema`-Dictionary
`task` oder `task_type`	Entfernen; das Schema identifiziert die Operation
`text: string[]`	Separate Anfragen senden
`format_results` oder `is_warmup`	Entfernen
Nativer Ergebnis-Body	`choices[0].message.content` parsen

Erste Schritte

Kernkonzepte

Trainings-API

Konto

Inferenz-API

Endpunkt

Authentifizierung

Anfrage

Entitäts-Schema

Klassifikations-Schema

Schema für strukturierte Extraktion

Relations-Schema

Kombiniertes Schema

Beispiel

Antwort

Wiederholte Eingaben

Kaltstarts und Wiederholungsversuche

Fehler

Migration veralteter Anfragen

​Endpunkt

​Authentifizierung

​Anfrage

​Entitäts-Schema

​Klassifikations-Schema

​Schema für strukturierte Extraktion

​Relations-Schema

​Kombiniertes Schema

​Beispiel

​Antwort

​Wiederholte Eingaben

​Kaltstarts und Wiederholungsversuche

​Fehler

​Migration veralteter Anfragen

Endpunkt

Authentifizierung

Anfrage

Entitäts-Schema

Klassifikations-Schema

Schema für strukturierte Extraktion

Relations-Schema

Kombiniertes Schema

Beispiel

Antwort

Wiederholte Eingaben

Kaltstarts und Wiederholungsversuche

Fehler

Migration veralteter Anfragen