Skip to main content
Cet endpoint utilise une enveloppe compatible OpenAI : un model compatible avec l’inférence, une liste messages et un schema de premier niveau décrivant la tâche GLiNER. Consultez la vue d’ensemble de l’API d’inférence pour l’authentification et le comportement de démarrage à froid et de nouvelles tentatives communs aux interfaces d’inférence de Fastino.
POST /inference a été supprimé. N’envoyez pas ses champs hérités tels que model_id, text, task, format_results ou is_warmup.

Requête

string
requis
Un identifiant de modèle de base compatible avec l’inférence ou l’UUID d’une tâche d’entraînement Fastino terminée et déployable.
object[]
requis
Une liste de messages non vide. Pour l’inférence GLiNER, placez le texte à analyser dans le content d’un message utilisateur.
object
Définit des tâches d’encodeur personnalisées. Fournissez un dictionnaire contenant une ou plusieurs des clés entities, classifications, structures ou relations. Ne l’omettez que lorsque le modèle sélectionné a une tâche par défaut configurée.Un tableau plat d’étiquettes d’entités est déprécié. Utilisez toujours la forme dictionnaire.
number
défaut:"0.5"
Seuil de confiance de 0 à 1. Les valeurs plus basses favorisent le rappel ; les plus élevées favorisent la précision.
boolean
défaut:"true"
Inclut les valeurs de confiance dans les résultats extraits.
boolean
défaut:"true"
Inclut les décalages de caractères en intervalle semi-ouvert (start, end) dans les résultats d’entités.
boolean
défaut:"true"
Persiste l’inférence. Définissez sur false pour ne pas la conserver.

Schéma d’entités

Utilisez des définitions d’entités descriptives lorsque c’est possible :

Schéma de classification

Schéma d’extraction structurée

Les champs de structure utilisent des spécifications field::type::description :

Schéma de relations

Le schéma de relations le plus simple est une liste plate de noms de relations :
Vous pouvez également utiliser un dictionnaire pour ajouter des descriptions ou une configuration par relation :
N’envoyez pas d’objets de relation contenant des définitions head et tail.

Schéma combiné

Exécutez plusieurs tâches sur le même texte en combinant les clés :
Le schéma identifie l’opération automatiquement. N’envoyez pas task ni task_type.

Exemple

La valeur de model doit actuellement prendre en charge l’inférence hébergée. Utilisez le catalogue de modèles en direct plutôt que de supposer que chaque checkpoint Hugging Face est disponible :

Réponse

Le endpoint renvoie une enveloppe de chat completion. Le résultat GLiNER est sérialisé sous forme de chaîne JSON dans choices[0].message.content :
Analysez choices[0].message.content comme JSON avant de lire les résultats de la tâche. Lorsque store=true, x_pioneer.inference_id identifie l’inférence persistée.

Entrées répétées

Le endpoint accepte une conversation par requête. Il ne prend pas en charge la forme de lot text: string[] de l’endpoint natif supprimé. Envoyez des requêtes séparées en simultané lors du traitement de plusieurs entrées.

Erreurs

Consultez Démarrages à froid et nouvelles tentatives pour le schéma de nouvelles tentatives commun.

Migration des requêtes héritées