交互式检查点
从交互式作业采样
从采样器检查点为标记化提示生成续写,并从已完成 future 的 result.sequences 中读取 token,作业停止后同样可用。
POST
POST /v1/training/jobs/{job_id}/sample
使用作业的某个 sampler 检查点为标记化提示生成续写。作业停止后仍可采样。
从已完成 future 的 result.sequences 中读取生成的 token。
请求
string
必填
您的 Fastino API 密钥。
string
必填
交互式作业 ID。
string
必填
此作业保存的采样器检查点的名称或其
tinker://<job_id>/sampler_weights/<name> 路径。integer[]
必填
由基础模型 tokenizer 生成的提示 token ID。至少包含一个 token。
integer
默认值:"1"
延续数量,从
1 到 512。object
解码设置。
boolean
默认值:"false"
同时返回每个提示 token 的对数概率。
integer
默认值:"0"
返回每个提示位置的前 k 个选项。
integer
默认值:"0"
返回每个生成位置的前 k 个备选方案。
base_model 的 tokenizer 对实际 prompt 进行分词。
一个团队最多可有
2,048 个正在处理的采样请求。达到此限制时,API 返回 429;请等待现有 sample future 完成后再重试。响应
tokens、logprobs、stop_reason(stop 或 length)和 topk_logprobs。请使用同一个 tokenizer 解码 tokens。要取消未完成的采样,请使用
POST /v1/training/jobs/{job_id}/futures/{future_id}/cancel。

