- 部署到 GKE、配置托管服务和设置身份验证的初始设置步骤。
- GCP 特定的架构模式和参考图表。
- 服务建议和最佳实践。
- 关于卓越运营、安全性和可靠性的Google Cloud Well-Architected 最佳实践。
LangChain 专门为 GCP 提供了 Terraform 模块，以帮助为 LangSmith 配置基础设施。这些模块可以快速设置 GKE 集群、Cloud SQL、Memorystore Redis、Cloud Storage 和网络资源。查看 GCP Terraform 模块 获取文档和示例。
初始设置
1
部署到 Kubernetes
遵循 Kubernetes 安装指南。LangSmith 已在 Google Kubernetes Engine (GKE) 上测试。GKE 特定说明：
- LangSmith 适用于标准 GKE 集群
- 使用 GCE 持久磁盘存储类
2
配置外部服务
对于生产部署，连接到 GCP 托管服务：
Google Cloud Storage
在 GCS 中存储追踪数据
Cloud SQL
PostgreSQL 数据库
Memorystore
用于缓存的 Redis
ClickHouse Cloud
分析数据库
3
设置身份验证
使用 Workload Identity 对 LangSmith Pod 进行身份验证以访问 GCP 服务。关键页面：
参考架构
我们建议利用 GCP 的托管服务来提供一个可扩展、安全且具有弹性的平台。以下架构适用于自托管和混合模式，并符合 Google Cloud Well-Architected Framework：
- 入口和网络：请求通过您 VPC 内的 Cloud Load Balancing 进入，使用 Cloud Armor 和基于 IAM 的身份验证进行保护。
- 前端和后端服务：容器在 Google Kubernetes Engine (GKE) 上运行，在负载均衡器后面进行编排。根据需要将请求路由到集群内的其他服务。
-
存储和数据库：
- Cloud SQL for PostgreSQL：元数据、项目、用户以及已部署代理的短期和长期记忆。LangSmith 支持 PostgreSQL 14 或更高版本。
- Memorystore for Redis：缓存和作业队列。Memorystore 可以是单实例或集群模式，运行 Redis OSS 5 或更高版本。
- ClickHouse + Persistent Disks：分析和追踪存储。
- 除非安全或合规性原因不允许，否则我们建议使用外部托管的 ClickHouse 解决方案。
- 混合部署不需要 ClickHouse。
- Cloud Storage：用于追踪工件和遥测的对象存储。
- LLM 集成：可选地将请求代理到 Vertex AI 进行 LLM 推理。
- 监控和可观测性：与 Cloud Monitoring 和 Cloud Logging 集成。
计算选项
LangSmith 支持多种计算选项，具体取决于您的需求：Google Cloud Well-Architected 最佳实践
此参考设计旨在符合 Google Cloud Well-Architected Framework 的六大支柱：卓越运营
- 使用 IaC（Terraform / Deployment Manager）自动化部署。
- 使用 Secret Manager 管理配置和敏感数据。
- 配置您的 LangSmith 实例以导出遥测数据，并通过 Cloud Logging 持续监控。
- 管理 LangSmith 部署 的首选方法是创建一个 CI 流程，构建 Agent Server 镜像并将其推送到 Artifact Registry。在 PR 合并后将新版本部署到暂存或生产环境之前，为拉取请求创建一个测试部署。
安全性
- 使用具有最小权限策略的 IAM 角色和 Workload Identity 进行安全的 Pod 到 GCP 服务身份验证。
- 启用静态加密（Cloud SQL、Cloud Storage、Persistent Disks）和传输中加密（TLS 1.2+）。
- 与 Secret Manager 集成以管理凭据。
- 使用 Identity Platform 或 Workload Identity Federation 作为 IDP，结合 LangSmith 的内置身份验证和授权功能，以保护对代理及其工具的访问。
可靠性
- 跨区域复制 LangSmith 数据平面：将相同的数据平面部署到不同区域的 Kubernetes 集群以进行 LangSmith 部署。跨多个区域部署 Cloud SQL 和 GKE 服务。
- 使用 Horizontal Pod Autoscaler 和 Cluster Autoscaler 为后端工作器实现自动扩缩。
- 使用 Cloud DNS 健康检查和故障转移策略。
性能优化
- 利用 Compute Engine 实例进行优化计算，并选择合适的机器类型。
- 使用 Cloud Storage 生命周期策略 处理不常访问的追踪数据，将其移动到 Nearline 或 Coldline 存储类别。
成本优化
- 使用承诺使用折扣 和持续使用折扣 合理调整 GKE 集群大小。
- 使用 Cloud Billing 仪表板和成本管理 工具监控成本 KPI。
可持续性
- 使用按需计算和自动扩缩 最小化空闲工作负载。
- 使用 Cloud Storage 生命周期策略 将遥测存储在低延迟、低成本的层级中。
- 使用计划操作 为非生产环境启用自动关机。
安全与合规
LangSmith 可以配置为：- 仅限 Private Service Connect 访问（无公共互联网暴露，除了计费所需的出口流量）。
- 使用基于 Cloud KMS 的加密密钥保护 Cloud Storage、Cloud SQL 和 Persistent Disks。
- 将审计日志记录到 Cloud Logging 和 Cloud Audit Logs。
监控与评估
使用 LangSmith 进行：- 捕获在 Vertex AI 上运行的 LLM 应用的追踪。
- 通过 LangSmith 数据集 评估模型输出。
- 跟踪延迟、令牌使用情况和成功率。
- Cloud Monitoring 仪表板。
- OpenTelemetry 和 Prometheus 导出器。
Connect these docs to Claude, VSCode, and more via MCP for real-time answers.