Skip to main content
Fastino 支持将 tinker SDK 的一个明确子集用作交互式训练任务的客户端接口。 迁移后的训练客户端是 /v1/training/jobs 中的一个 Fastino 任务；其 SDK 模型 ID 与规范的 Fastino 任务 ID 相同。 将现有程序作为验收测试。更改连接、检查每项操作，并在恢复生产工作负载规模之前运行小型冒烟测试。

​
1. 锁定经过测试的软件包

​
2. 替换端点和身份验证

SDK 会将 /api/v1/{operation} 追加到 TINKER_BASE_URL。每次请求令牌时都会运行 TINKER_CREDENTIAL_CMD，该命令必须打印非空凭据。使用普通的 fast_sk_ Fastino 密钥；tml- 凭据会被拒绝。不要设置 TINKER_API_KEY。

​
3. 检查工作负载

  1. 查询 ServiceClient.get_server_capabilities() 并选择可用的基础模型。保持 SDK 参数名 base_model 不变。
  2. 将代码中的每个方法与受支持的客户端行为进行比较。
  3. 移除对不受支持的批量 future 检索、外部权重导出或外部权重 URL 的依赖。
  4. 将提示词渲染、奖励逻辑、批处理、评估和停止条件保留在你的应用中。
功能是环境相关支持的权威来源。不要沿用其他部署中的模型、秩、上下文、损失或请求限制假设。

​
4. 运行冒烟测试

使用现有工作负载中最小的有效 datum 和优化器设置，执行一项低成本测试，以：
  • 使用 create_lora_training_client(base_model=...) 创建一个客户端
  • 读取 training_client.get_info().model_data.model_id
  • 保存采样器权重并采样一次
  • 运行一次受支持的前向/反向操作和一次优化器步骤
  • 保存并重新加载状态检查点
  • 从 GET /v1/training/jobs/{job_id} 获取相同的 ID
使用 SDK 执行交互式操作。适配器有意不出现在 Fastino 的 OpenAPI 和 API 参考中， 因此请勿构造适配器 HTTP 调用。

​
受支持的客户端行为

Fastino 的 HTTP 适配器将 tinker==0.33.1 中受支持的调用转换为对一个 Fastino 交互式任务的操作。

​
训练和采样

保持 SDK 参数 base_model 不变。在选择模型、秩、损失或可选操作之前，请查询 ServiceClient.get_server_capabilities()。

​
Future 和管理

这些管理方法是受支持的 SDK 操作，而不是公开的训练 API 路由。适配器还会使用 TINKER_CREDENTIAL_CMD 输出的密钥自动完成令牌交换。不要自行构造适配器请求。

​
不受支持的调用

Fastino 不支持：
  • 通过 retrieve_futures 批量检索 future
  • save_weights_external
  • external_weights_urls
不要仅因为已安装的软件包中存在某个方法就推断其受支持。实时功能响应是环境相关行为的权威来源。

​
排查连接问题

​
迁移检查清单

  • 锁定 tinker==0.33.1。
  • 设置 Fastino 适配器基础 URL。
  • 通过 TINKER_CREDENTIAL_CMD 提供 fast_sk_ 密钥。
  • 确认已为 Fastino 团队启用交互式训练。
  • 对照受支持的客户端行为检查每个 SDK 方法。
  • 从功能中选择模型和可选功能。
  • 完成一次采样和训练更新。
  • 保存并重新加载一个状态检查点。
  • 通过规范任务端点验证 SDK 模型 ID。
  • 仅在冒烟测试通过后增加工作负载规模。

构建训练循环

在一个任务中连接采样、奖励、更新和检查点。