可複用自動化如何工作

English · 文件中心 · MCP 快速開始

程式設計代理幫助開發和驗證程式；儲存後的 Python 程式負責實際自動化。開發階段使用模型，日常執行執行指令碼，因此重複的本地執行無需消耗模型 Token。

開發階段

你描述目標應用、起始狀態、步驟和可見的成功條件。程式設計代理通過 MCP 讀取工作流技能、觀察目標、提交 Python 任務檔案並檢查結果；通過本地檔案訪問檢查已安裝 API、儲存程式碼、分析日誌和截圖。

代理不斷驗證和修改，直到指令碼在測試條件下正確執行。任務邏輯、配置和識別素材儲存在應用專案中。全程使用 ok-script 截圖和互動，不使用 Computer Use 工具。

日常執行階段

儲存的 Python 任務執行以下迴圈：

1. 觀察： 擷取目標視窗或裝置畫面。
2. 識別： 用幾何、顏色、模板匹配或 OCR 判斷當前狀態。
3. 操作： 通過配置的 ok-script 輸入後端傳送操作。
4. 驗證： 檢查結果，達到成功條件後結束。

迴圈由程式碼控制。本地 OCR 或影像識別模型無需對話式大模型；只有主動為指令碼新增大模型呼叫時，才會產生對應的推理成本。

為任務選擇識別方式

讓代理從最簡單可靠的方法開始，並通過真實截圖驗證。解析度、縮放、動畫和介面更新都可能影響模板與幾何識別。一次成功只代表測試過的條件，不保證後續所有版本都能執行。

讓重複執行可靠

可複用任務應恢復並驗證起始狀態，使用有上限的等待，記錄失敗並斷言實際結果。重複執行應保持期望結果，例如“啟用選項”任務不能在第二次執行時把選項關閉。

後臺輸入同樣需要實測。讓代理在 Windows 上優先使用 PostMessage，並驗證視窗未聚焦或被遮擋時的實際效果。截圖成功不代表輸入有效，被遮擋可用也不代表最小化可用。

第一個任務

選擇開啟設定並啟用一個選項這樣的小流程。完成 MCP 快速開始，再複製任務開發提示詞。儲存生成的指令碼，脫離代理執行。介面變化後重新連線代理，修復已有任務。