LangSmith 评估

LangSmith 支持两种基于运行时间和地点的评估类型：

离线评估

发布前测试

在开发阶段对精选数据集运行评估，以比较版本、基准测试性能并捕捉回归问题。

在线评估

生产环境监控

实时评估真实用户交互，以检测问题并衡量实时流量下的质量。

评估工作流

离线评估流程

1. 创建数据集

   从手动整理的测试用例、历史生产轨迹或合成数据生成中，创建包含 示例 的 数据集。

2. 定义评估器

   创建 评估器 以评估性能：

   • 人工 审核
   • 代码 规则
   • LLM 作为裁判
   • 成对 比较
3. 运行实验

   在数据集上执行您的应用程序以创建一个 实验。配置 重复次数、并发性和缓存 以优化运行。

4. 分析结果

   比较实验以进行 基准测试、单元测试、回归测试 或 回测。

在线评估流程

1. 部署您的应用程序

   每次交互都会创建一个 运行，无需参考输出。

2. 配置在线评估器

   设置 评估器 以在生产轨迹上自动运行：安全检查、格式验证、质量启发式方法和无参考的 LLM 作为裁判。应用 过滤器和采样率 以控制成本。

3. 实时监控

   评估器在 运行 或 线程 上自动运行，提供实时监控、异常检测和警报。

4. 建立反馈循环

   将失败的生产轨迹添加到您的 数据集，创建有针对性的评估器，通过离线实验验证修复，并重新部署。

有关离线和在线评估差异的更多信息，请参阅 评估概念 页面。

开始使用

评估快速入门

开始使用离线评估。

管理数据集

通过 UI 或 SDK 创建和管理用于评估的数据集。

运行离线评估

探索评估类型、技术和框架，进行全面测试。

分析结果

查看和分析评估结果，比较实验，过滤数据并导出发现。

运行在线评估

从“可观测性”选项卡实时监控生产质量。

跟随教程

通过逐步教程学习，从简单的聊天机器人到复杂的智能体评估。

要设置 LangSmith 实例，请访问 平台设置部分 以选择云、混合或自托管。所有选项均包含可观测性、评估、提示工程以及部署。

---

Edit this page on GitHub or file an issue.

Connect these docs to Claude, VSCode, and more via MCP for real-time answers.