你需要提供的信息
- 存储桶名称,以及可选的键前缀,例如
incoming/。 - Fastino 项目名称或 ID。
- 数据用途:
training或evaluation。
开始前
将编码代理连接到团队的 Fastino MCP 端点:iam:CreateRole、iam:UpdateAssumeRolePolicy 和 iam:PutRolePolicy。
请在拥有该存储桶的账户中创建角色。即使角色自身的策略允许读取,拒绝该角色的
存储桶策略或服务控制策略仍会阻止 Fastino 访问。
向代理发出请求
代理会做什么
连接器响应中包含s3_setup:external_id(此连接器专属的值,角色的信任策略
必须要求它;它不是机密)、broker_role_arn(允许代入你的角色的 Fastino 角色)、
trust_policy 和 read_policy 两份 IAM 策略文档,以及 setup_commands
(用于创建或修复该角色的 AWS CLI 命令)。角色在创建连接器时无需已经存在。
代理会使用你的 AWS 凭证运行 setup_commands,然后测试只读列举权限并启动同步。
同步结果
同步会先转换并验证所选前缀下的文件,然后再发布数据集。同步成功后, 同步报告会列出生成的数据集。- 如果有文件未通过验证,同步会失败且不会发布任何数据集。报告会列出需要检查的文件。 代理会转告这些失败信息,并在排除文件或更改前缀之前先征求你的同意。
- 如果文档转换触发速率限制,报告会标记为
partial(列出的数据集可用,但缺少部分文件) 或transient(未发布新内容),并列出retryable_files。让代理重新同步即可, 无需重新测试或更改前缀。 - 如果你通过 Fastino MCP 委托微调,同步是可选的。批准计划后,微调代理可以检查并 预处理已连接存储桶中的原始文件。
安全模型
Fastino 通过代入你创建的角色来读取存储桶。该角色的信任策略只指定一个 Fastino 角色,并要求此连接器的外部 ID,因此其他 AWS 主体和其他 Fastino 客户都无法使用它。 读取策略只允许对所选前缀执行s3:ListBucket,并对其下的键执行 s3:GetObject,
不授予写入、删除或存储桶配置权限。Fastino 在你的角色上的会话是临时的,最长一小时。
Fastino 不接受访问密钥、私有密钥或会话令牌。
更改连接器的前缀或角色后,连接器会回到 pending,直到再次测试。更改前缀后,
请重新运行新的 s3_setup.setup_commands,使角色的读取策略保持一致。删除连接器
会停止后续同步,但不会删除已发布的数据集。要撤销存储访问权限,请移除角色的读取权限并撤销其
活动会话。IAM 更改的传播可能需要一些时间。
与团队共享连接器
连接器属于某一个 Fastino 项目;除非项目可见性为team,否则项目仅对创建者可见。
请将项目创建为团队项目(例如让代理以团队可见性创建项目),这样具有相应团队权限的成员就能
看到该连接器、同步它,并使用其数据集进行微调。
团队成员为此无需任何 AWS 权限:Fastino 通过你创建的 IAM 角色读取存储桶,而不是
使用团队成员的账户。只有设置连接器的人需要 AWS 权限。不要让团队成员在自己的
项目中为同一存储桶再创建一个连接器;那会重复设置流程,并需要他们自己的 AWS 权限。
故障排除
如果 AWS 返回了错误代码,测试结果会在
provider_error_code 中包含它。IAM 更改通常
几秒内生效,但也可能更久。先让代理重试测试,不要立即创建重复连接器。
