跳转到主要内容
POST
POST /v1/training/jobs/{job_id}/sample 使用作业的某个 sampler 检查点为标记化提示生成续写。作业停止后仍可采样。 从已完成 future 的 result.sequences 中读取生成的 token。

请求

string
必填
您的 Fastino API 密钥。
string
必填
交互式作业 ID。
string
必填
此作业保存的采样器检查点的名称或其 tinker://<job_id>/sampler_weights/<name> 路径。
integer[]
必填
由基础模型 tokenizer 生成的提示 token ID。至少包含一个 token。
integer
默认值:"1"
延续数量,从 1 到 512。
object
解码设置。
boolean
默认值:"false"
同时返回每个提示 token 的对数概率。
integer
默认值:"0"
返回每个提示位置的前 k 个选项。
integer
默认值:"0"
返回每个生成位置的前 k 个备选方案。
以下数字 prompt token 数组仅为说明性占位符。请使用任务 base_model 的 tokenizer 对实际 prompt 进行分词。
一个团队最多可有 2,048 个正在处理的采样请求。达到此限制时,API 返回 429;请等待现有 sample future 完成后再重试。

响应

已完成结果中的每个序列都包含 tokens、logprobs、stop_reason(stop 或 length)和 topk_logprobs。请使用同一个 tokenizer 解码 tokens。要取消未完成的采样,请使用 POST /v1/training/jobs/{job_id}/futures/{future_id}/cancel。