Von Tinker migrieren

Sie müssen Ihre Trainingsschleife nicht neu schreiben oder ändern, wie Ihr Projekt das Tinker SDK verwaltet. Fastino unterstützt tinker==0.32.0. Richten Sie die API-Basis-URL und die Anmeldedaten des SDK auf Fastino aus und führen Sie dann Ihr bestehendes Programm aus.

1. SDK auf Fastino richten

export FASTINO_API_KEY="fast_sk_..."
unset TINKER_API_KEY
export TINKER_BASE_URL="https://api.fastino.ai/v1/training/compat/tinker"
export TINKER_CREDENTIAL_CMD='printf "%s\n" "$FASTINO_API_KEY"'

$env:FASTINO_API_KEY = "fast_sk_..."
Remove-Item Env:TINKER_API_KEY -ErrorAction SilentlyContinue
$env:TINKER_BASE_URL = "https://api.fastino.ai/v1/training/compat/tinker"
$env:TINKER_CREDENTIAL_CMD = 'powershell -NoProfile -Command "[Console]::Out.WriteLine($env:FASTINO_API_KEY)"'

Verwenden Sie einen Fastino-Schlüssel mit fast_sk_ über TINKER_CREDENTIAL_CMD. Entfernen Sie TINKER_API_KEY aus der Umgebung, da das SDK jeden dort gesetzten Wert vor TINKER_CREDENTIAL_CMD prüft. Fastino lehnt Tinker-Schlüssel mit tml- mit 401 ab.

2. Verbindung prüfen

import tinker

service_client = tinker.ServiceClient()
print(service_client.get_server_capabilities())

Wählen Sie ein von get_server_capabilities() zurückgegebenes Modell und führen Sie eine kleine Version Ihres Workloads aus. Der Test sollte ein Update abschließen, den Status speichern und neu laden sowie Sampler-Gewichte mit einer expliziten TTL vor dem Sampling speichern. Erhöhen Sie danach die Workload-Größe.

Tinker-SDK-Kompatibilität

Mit tinker==0.32.0 ist jeder Tinker-Trainingsclient ein interaktiver Fastino-Job. Die SDK-Modell-ID ist zugleich seine ID unter /v1/training/jobs.

Bereich	Unterstütztes Verhalten
Training	Client erstellen oder wiederherstellen; prüfen; Forward-, Forward/Backward-, `forward_backward_custom`- und Optimizer-Operationen ausführen. Der Custom-Helper berechnet den Loss in Ihrem Prozess und übersetzt ihn in unterstützte eingebaute Modelloperationen.
Checkpoints	Status speichern und laden; Sampler-Gewichte speichern; prüfen, auflisten, herunterladen, löschen, veröffentlichen und Aufbewahrung setzen
Sampling	Sampling-Client erstellen oder abrufen und `sample` aufrufen
Futures	Einzelne asynchrone Ergebnisse abrufen; unvollendete Sampling-Futures abbrechen
Nutzung	Interaktive Läufe auflisten und Speicher- oder stündliche Abrechnungsdaten lesen

Unterstützte Verwaltungsaufrufe

Fastino unterstützt list_training_runs, get_training_run, list_checkpoints, list_user_checkpoints, get_weights_info_by_tinker_path, get_checkpoint_archive_url, delete_checkpoint_from_tinker_path, publish_checkpoint_from_tinker_path, unpublish_checkpoint_from_tinker_path, set_checkpoint_ttl_from_tinker_path, get_current_checkpoint_storage_usage und get_billing_usage.Die Laufauflistung liest nur interaktive Läufe. Verwenden Sie /v1/training/jobs, um Config- und interaktive Jobs aufzulisten.

Limits

Der LoRA-Rang muss zwischen 1 und 32 liegen.
Der Optimizer ist AdamW.
Unterstützte Losses sind cross_entropy, importance_sampling, ppo, cispo und dro.
Prompt-Chunks müssen encoded_text verwenden.
Trainingsoperationen laufen der Reihe nach; ihre Futures können nicht abgebrochen werden.
Die SDK-Sitzung wird nach 5 Minuten ohne Heartbeat freigegeben. Halten Sie den ServiceClient aktiv oder beenden Sie die Sitzung, bevor ein Laptop in den Ruhezustand wechselt.
Downloads erfordern die Berechtigung zum Herunterladen von Gewichten. Ohne sie wird 403 zurückgegeben; wenden Sie sich an sales@fastino.ai.
Veröffentlichung ändert nur die Sichtbarkeit im besitzenden Team. Der Pfad kann dadurch nicht von einem anderen Team geladen werden.

Nicht unterstützte Aufrufe

Batch-Abruf mit retrieve_futures
save_weights_external und external_weights_urls
Export von Session-Traces und Audit-Log-Einträge
Sampling ohne SamplingClient
target_prompt_logprobs und positive Werte für prompt_alt_tokens_k

Wenn die Authentifizierung fehlschlägt, prüfen Sie, ob TINKER_CREDENTIAL_CMD genau einen aktuellen fast_sk_-Schlüssel ausgibt und TINKER_BASE_URL dem obigen Wert entspricht.

Erste Schritte

Entscheidungsmodelle

Entitäten und Klassifikation

Trainings-API

Inferenz-API

Fehlerbehebung

SDK-Integrationen

Modelle

Konto

1. SDK auf Fastino richten

2. Verbindung prüfen

Tinker-SDK-Kompatibilität

​1. SDK auf Fastino richten

​2. Verbindung prüfen

​Tinker-SDK-Kompatibilität

1. SDK auf Fastino richten

2. Verbindung prüfen

Tinker-SDK-Kompatibilität