• 简体中文

    • AI 员工问答调试（LangSmith）

    当你需要排查 AI 员工的问答过程，例如想确认模型改写了什么问题、调用了哪些工具、某一步为什么报错，推荐接入 LangSmith 进行链路追踪。

    接入后，系统在处理问答请求时会把执行链路上报到 LangSmith，你可以直接在 LangSmith 后台查看每次问答的详细 Trace。

    使用步骤

    1. 注册 LangSmith 账号

    先前往 LangSmith 官网注册账号，并获取可用的 API Key。

    2. 配置环境变量

    在启动 Data Agent 服务前，配置以下环境变量：

    LANGSMITH_TRACING_V2=true
LANGSMITH_API_KEY=xxxxxxxx
LANGSMITH_PROJECT=yiask

    参数说明：

    变量说明
    LANGSMITH_TRACING_V2开启 LangSmith Trace 上报，固定设置为 true
    LANGSMITH_API_KEY你的 LangSmith API Key
    LANGSMITH_PROJECTLangSmith 中的项目名称，建议按环境区分，例如 yiask-prod、yiask-test

    3. 启动或重启系统

    完成环境变量配置后，重新启动 Data Agent，让配置生效。

    如果你使用的是 Docker Compose，通常可以把变量写入 .env 或 docker-compose.yml 的 environment 中；如果你使用 Kubernetes，建议写入 Secret 或 ConfigMap 再挂载到 Deployment。

    4. 去 LangSmith 查看问答链路

    系统启动后，再次发起 AI 员工问答。随后进入 LangSmith 后台，打开对应的 Project，即可查看该次问答的 Trace 详情。

    重点可以关注：

    • 用户原始问题
    • 模型中间输出
    • 工具调用参数
    • 各步骤返回结果
    • 报错节点与耗时

    适合排查的问题

    LangSmith 特别适合用于排查以下问题：

    • AI 员工为什么把问题改写错了
    • 为什么没有调用预期的工具
    • 工具调用参数是否正确
    • 某一步报错发生在哪个节点
    • 多轮问答中上下文是否被正确带入

    建议

    • 生产环境和测试环境建议使用不同的 LANGSMITH_PROJECT
    • 如果是多人协作排查，建议统一项目命名规则，方便筛选 Trace
    • 当 UI 中的信息不足以定位问题时，优先去 LangSmith 看完整链路

    相关文档