Anthropic Code with Claude：Agent 与评估实战工作坊材料汇编
该仓库汇集Anthropic举办的“Code with Claude”系列实战工作坊材料，涵盖模型选择、多智能体、记忆与评估等主题，便于学习代理工程与评估驱动开发；但仓库已声明不再维护且大量示例依赖Anthropic服务，迁移与长期运行存在显著风险。
GitHub anthropics/cwc-workshops 更新 2026-07-18 分支 main 星标 1.6K 分叉 489
Mixed/Unknown Claude 管理型 Agent 多智能体系统 评估驱动开发 教学/培训材料 Apache-2.0 只读/不接收贡献

💡 深度解析

3
如何通过仓库提供的 model-audit 与 fast-eval 流程选择合适的模型与推理参数？

核心分析

项目定位：仓库提供的 rightmodel/ 与 agent-battle/ 模式鼓励先用短周期的 fast-eval 探针筛选配置，然后对少量候选做更长跑的基准验证，从而找到最佳的质量/成本/延迟平衡点。

技术特点

  • 短周期决策探针：快速回路（~30s）可用于频繁迭代配置。
  • 系统化扫参：并行尝试不同模型与推理参数（temperature、extended thinking、effort 等）。
  • 双层评估信号：程序化指标（例如输出结构/时延/成本）+ LLM-as-judge 提供主观质量评价。

使用步骤（实操建议）

  1. 建立小型评测套件（10-20 个代表性任务），用于 fast-eval。
  2. 运行并行 sweep：先扫成本敏感参数，记录延迟与 token 使用。
  3. 筛选 top-N 配置：用更长的 100+ 任务基准与 LLM judge 验证稳定性。
  4. 把评估纳入 CI：用自动化指标防止回归。

重要提示：LLM-as-judge 易被 prompt 化，务必保留程序化指标并定期更新评判 rubrics。

总结：fast-eval + 系统扫参是一种节省成本且效果可靠的选型流程，适合在早期频繁试错和后期确定生产配置。

85.0%
对初次使用该仓库的工程师，学习曲线与常见坑有哪些，如何快速上手？

核心分析

项目定位：面向有工程背景的 ML/软件工程师，仓库假定用户熟悉 web stack 与基本 infra，但对 Anthropic 管道不熟的开发者会遇到较高的上手成本。

常见坑

  • 依赖特定 API 与权限：完整复现需要 Claude Managed Agents 的访问权限与 API key。
  • 运维复杂性：多个本地服务（MCP、memory service、本地工具 endpoint）容易配置出错。
  • 评估误读：混合程序化指标与 LLM judge 时，若没有明确 rubric 会误导调优方向。

快速上手建议

  1. 按 workshop 顺序跑最小示例：例如 ship-your-first-managed-agent 的七个小函数是良好起点。
  2. 验证基础依赖：先确保 API keys、生效的本地 endpoints 与最小 UI 能工作。
  3. 用 fast-eval 缩短反馈回路：频繁小步验证配置改动，避免在长跑基准上反复失败。
  4. 记录 rubrics 与程序化指标：在调优时保持可复现的评估标准。

重要提示：仓库注明“不维护”，遇到 SDK 变更或依赖过时时需自行适配。

总结：通过分阶段、从小到大的实验路径并结合 fast-eval，可在短时间内获得可运行样例，但要注意平台依赖与维护风险。

85.0%
仓库提到的机器可读 DOM 合约与 CI 风格运行时验证如何在实际工程中落地？

核心分析

项目定位：仓库提倡把前端组件與 agent 交互契约化（机器可读 DOM 合约），并把这些契约纳入 CI 与运行时验证链，以保证 agent 与 UI 端到端行为的一致性。

技术实现要点

  • 契约表达：用 JSON schema 或类似格式定义组件期望的字段、事件与状态转换（例如按钮、流式事件、工具调用的结构）。
  • CI 层验证：在端到端测试中加载 schema，模拟 agent 输出并断言 DOM 合约满足性（contract tests）。
  • 运行时校验：在生产流中对 agent 生成的事件/DOM 片段做 schema 验证，异常时触发告警、拦截或降级逻辑。

实用建议

  1. 从关键交互开始契约化：先为高风险路径（工具调用、支付、数据导出）设计合约。
  2. 自动化合约测试：把 contract tests 加入 CI，防止前端或 agent 更新破坏约定。
  3. 设计防错与降级机制：当合约校验失败时，优先降级到安全提示或人工审核以避免误操作。

重要提示：合约必须随产品迭代维护，频繁变更会导致维护负担；为变更设计可兼容的 schema 版本策略。

总结：机器可读 DOM 合约加 CI/运行时验证是提高 agent-UI 可靠性的有效工程实践，但需要投入 schema 管理、测试覆盖与变更治理。

85.0%

✨ 核心亮点

  • 提供多场景、多模块的实战工作坊材料，覆盖端到端示例
  • 涵盖模型选择、代理分解、记忆、评估与生产化示例
  • 仓库声明不维护且不接受贡献，社区参与受限
  • 示例大量依赖Anthropic私有服务与API，迁移或长期运行存在风险

🔧 工程化

  • 面向工程化的多智能体与技能化实践示例，便于学习架构与分层设计
  • 包含从设计、实现到评测的端到端工作坊材料与可运行示例

⚠️ 风险

  • 无活跃贡献者、无正式发布和明显的提交记录，维护与安全更新不可保证
  • 内容依赖闭源/托管的Claude服务与内部API，脱离生态难以复现或运行

👥 适合谁？

  • 适合需要实战示例以理解代理工程和评估流程的AI工程师与研究人员
  • 也可作为内部培训、教学与概念验证的参考教材，但非生产级依赖库