How always-on
agents work

课程第一周写的基础 loopS03

messages = [system_prompt, user_message]
while True:
    reply = llm(messages, tools=TOOLS)
    messages.append(reply)
    if not reply.tool_calls:
        print(reply.text)
        break
    for call in reply.tool_calls:
        messages.append(run_tool(call))

• 讲者团队的实现叫 Bot（S08）。界面左边是一列 bot（Sales Outbound、Inbox Manager……），右边是聊天。缺少 Salesforce 登录时，它会在自己的电脑上请你登录。

六项能力S10

1. 长时间工作，并一直遵守指令。
2. 把任务交给 helper，每个 helper 都有全新的 context。
3. 使用真实工具：shell、文件、浏览器、MCP。
4. 操作电脑，没有 API 的应用也能用。
5. 知识存在文件里。
6. 你演示一遍，它就存成 skill。

• 云电脑（S15）：每个用户一台 Firecracker 虚拟机，里面跑 Debian 容器，由 supervisor 保持运行。文件、已装的工具、浏览器登录状态都跨会话保留。
• 为什么 loop 跑在服务器上（S17）：合上电脑照样干活；手机电脑无缝切换；发版不等 App Store；要跑几个月的 agent 不能放在设备上^◐。
• 关键一条（S18）：状态都在服务器上，所以虚拟机随时可以重建（比如修复 Linux 0-day 漏洞），不打断 loop。

按下发送之后S19

1. 发送：消息先在本地显示，并带上唯一 ID；服务器丢弃重复的 ID，所以重试是安全的。
2. 一轮：消息进入队列，一个会话一次只跑一轮，每一步都存进数据库。
3. 通知：服务器只发一个“有变化”的信号，各端自己去拉数据，所以丢掉一个信号也无害。
4. 排序：每个更新都带序号（41、42、43），缺了哪个就从数据库重新加载^◐。

用电脑的三种方式S27

• 读页面结构：拿到按钮和链接的列表，快且稳。
• 点像素：在 1280×800 的屏幕上点，用于桌面 app 和系统对话框。
• 问人：遇到登录、两步验证、captcha、付款时交给你。
• 点击由 helper 完成，截图不会进入主 context。

工具设计 4 条S29

1. 两轮之间不增删工具。
2. 每个工具的描述加 schema 少于 4,000 字符。
3. 存状态用专用工具，方便审查。
4. 错误信息要写清下一步，例如：“The computer is asleep. Use Shell or Read to wake it, then try again.”

• 主 context 只留指针或总结（S33）：长输出存文件，截图和重活交给 helper，旧消息换成总结，指令写成 skill。
• 把 cache miss 当 bug（S34）：总结前前缀一字不改；部署改了工具描述，就给进行中的对话追加说明；顺序固定、分段哈希；用户一打字就预热缓存。

• 训练三阶段（S37）：
  • 预训练：学语言、代码和通用知识。
  • SFT：学会 harness，包括工具和格式、什么时候该快速回复。
  • RL：练习遵循长指令、使用 skills 和记忆、点对位置（grounding）、与其他 bot 协作。
• 推理也分开调：主 agent 几秒内就要回复；helper 要能可靠地跑好几个小时^◐。

• 架构会复利：写代码便宜了，对的架构能让你走得比别人快。
• 自己造一个：从课程第一周写的基础 agent 出发，加上服务器、电脑和记忆。开源的 always-on agent 很适合拿来学。
• 学 LLM 的基本原理：就像做网站要懂数据库^◐。