這篇寫給還沒用過 AI 代理、想開始用的人。看完你會知道:一件事該寫成固定程式、用 AI 加固定步驟,還是真的需要 AI 代理;選錯會付出什麼代價;以及剛開始要讓 AI 自己做到什麼程度。這是「AI 助理實戰」系列第 1 篇。AI 說「做完了」之後怎麼驗收,看第 6 篇;我平常怎麼帶著 AI 開發系統,看AI 協作開發方法。
先認識三種做法
先講幾個詞。模型是 AI 背後負責「讀懂、寫出來」的那個程式。LLM(大型語言模型)是最常見的一種,ChatGPT、Claude 都是。AI 代理(Agent)是讓 LLM 自己決定下一步做什麼:查一下、看結果、再決定接著查哪裡,一路做到目標完成。
Anthropic 在 2024 年底的文章〈Building effective agents〉裡這樣分:步驟事先用程式寫好、AI 照著走的,叫工作流程(workflow);由 AI 自己決定流程和要用哪些工具的,才叫代理(agent)。
| 做法 | 下一步由誰決定 | 生活裡的例子 |
|---|---|---|
| 固定程式 | 寫程式的人,事先全部寫死 | 自動販賣機:投錢、按鈕、掉飲料,每次都一樣 |
| AI 流程(LLM 加固定步驟) | 固定的步驟,AI 只負責其中幾步 | 連鎖餐廳的廚房:菜由廚師炒,菜單和出菜順序是固定的 |
| AI 代理 | AI 自己,看上一步查到什麼再決定 | 請水電師傅查漏水:看了天花板,決定去查樓上的水管,再決定要不要打開牆 |
兩個問題,分開問
我判斷時只問兩題,而且分開問。
| 問題 | 答案 | 結論 |
|---|---|---|
| 把 AI 換成「如果…就…」的規則,還做得出來嗎? | 做得出來 | 寫固定程式,用不到 LLM |
| 做不出來(要讀懂文字、寫出文字) | 需要 LLM,接著問下一題 | |
| 下一步做什麼,是誰決定的? | 人,或固定的規則 | AI 流程就夠了 |
| 要看剛剛查到什麼才知道 | 這才是 AI 代理的題目 |
最容易犯的錯,是把第一題的答案當成第二題的答案。寫文章、下標題,確實需要 LLM;可是輸入是稿子、輸出是文章和標題,中間幾步都固定,下一步由人決定。這是一條固定流程,用不到 AI 代理。
一次推薦,兩次更正
有一次我請 AI 幫我挑「值得做成 AI 代理」的工作。它推薦的前兩名,後來都被推翻。
第一名是「產生一份給會計系統匯入的 Excel」。我用業務邏輯反駁:匯入檔只要欄位和格式對了就對了。從資料庫撈資料、計算、套格式、產出檔案,沒有任何一步需要 AI 判斷。
第二名是寫文章、下標題、配縮圖這類內容加工。它需要 LLM,但步驟固定、下一步由人決定,錯在把「需要 LLM」當成「需要 AI 代理」。
同一晚還推翻了第三項。原本想讓 AI 整理年度盤點的異常,AI 實際連到資料庫去查,發現要分析的那幾個欄位根本沒有記錄,正式盤點的結果也只有「有掃到、沒掃到、別的部門掃到」三種。一張固定報表就夠了。這一次是 AI 自己查證,推翻了自己原本的推薦。
最後重新整理一次:
| 工作 | 需要 LLM | 需要 AI 代理 | 理由 |
|---|---|---|---|
| 產生匯入用的 Excel | 不用 | 不用 | 欄位格式對就好 |
| 從幾個系統查資料、組成一份清單 | 不用 | 不用 | 查詢加組裝,還是程式 |
| 檢查一張排程表有沒有時段重疊 | 不用 | 不用 | 規則明確,寫死就好 |
| 寫文章、下標題 | 要 | 不用 | 步驟固定,下一步由人決定 |
| 查一套沒有文件的舊系統為什麼出錯 | 要 | 要 | 下一步查哪裡,看上一步看到什麼 |
| 研究一家公司 | 要 | 要 | 讀到異常的數字,才決定接著去查什麼 |
回頭看,真正需要 AI 代理的兩項,都是邊查邊決定方向的調查工作。花一個小時證明「這裡不需要 AI 代理」也算判斷的一部分,而且是比較難的那一半。
選錯的代價
選錯有兩個方向,代價不一樣。
| 選錯的方向 | 會發生什麼 |
|---|---|
| 固定的事,硬做成 AI 代理 | 每次都要跑模型,比較貴;同樣的輸入,結果可能每次不同;出錯了很難追是哪一步;還得另外加檢查去盯它 |
| 要邊查邊判斷的事,硬寫成固定程式 | 規則永遠寫不完,碰到沒想過的狀況就卡住;最後變成人一直在旁邊告訴它下一步 |
Anthropic 那篇文章也提醒:AI 代理比較貴,一步錯了,後面會跟著一路錯。他們的建議是先找最簡單的做法,真的需要才加複雜度,有時候答案就是不做 AI 代理。
用通勤來想比較好懂。每天走同一條路上班,搭捷運最便宜、最準時。要去一個沒去過、路況也不清楚的地方,才需要一位會看情況改路線的司機。
就算決定用 AI 代理,也不必每一步都交給它。算錢、權限、留紀錄這些一定要對的事,還是寫成固定程式,讓 AI 代理像拿工具一樣去呼叫。比方說讓 AI 查資料時,給它一個只能查、不能改的查詢工具;要改資料,另外經過人工核准。AI 負責理解問題、決定要查什麼,結果正不正確由固定程式保證。
要讓 AI 自己做到什麼程度
決定用 AI 之後,下一個問題是人要介入多少。常見的說法分四個層級:
| 層級 | 人做什麼 | 比喻 |
|---|---|---|
| 人在迴圈內(in the loop) | AI 給建議,每個決定都由人點頭 | 學開車,教練坐在旁邊 |
| 人在迴圈上(on the loop) | AI 自己跑,人在旁邊看,有異常才喊停 | 自動化工廠,亮紅燈才去按暫停 |
| 人在迴圈之上(over the loop) | 人訂目標和界線,不管每一個小決定 | 廠長巡好幾條產線,只看整體 |
| 人在迴圈外(out of the loop) | 完全自動,人不介入 | 掃地機器人,你出門它自己掃 |
原則只有一條:風險越高、越收不回來,人就要站得越近。比較經典的分法其實是三級(內、上、外),「迴圈之上」是後來延伸出來的說法,不同文獻用法有點出入。
同一個系統裡,不同動作可以放在不同層級。有一種做法是讓 AI 回答時附上「有多確定」,再依動作的風險決定怎麼處理:
| AI 有多確定 | 怎麼處理 |
|---|---|
| 很確定 | 直接做 |
| 不太確定 | 先問使用者,或標起來給人複查 |
| 沒把握 | 不做,轉給人,或請對方說清楚 |
門檻要跟著風險調。一家 AI 工具廠商的文件舉的例子是:查帳戶餘額,錯了容易補救,門檻可以低;核准轉帳,錯了代價高,要更確定才放行,介於中間的先請使用者確認。
想放手之前,先備好三件事
想從「每次都點頭」往「讓它自己跑」移,下面三件事要先有,順序不能顛倒:
| 前提 | 沒有它會怎樣 |
|---|---|
| 改壞了收得回來(有備份、有版本紀錄、可以先試跑) | 只能每一步都自己核可 |
| 出事時會亮的紅燈(自動檢查、實際看產出對不對) | 以為在監督,其實沒人在看 |
| 界線寫成檔案(規則、權限、排程設定) | 每次都要重講一遍 |
第二件我自己踩過。我有一個每天自動推送的小排程,登入憑證過期後停了大約五週,沒有任何東西提醒我。它沒有報錯,就只是安靜地停了。那段時間我以為它在自己跑,實際上沒有人在看。
紅燈也不能太多。誤報響久了,大家就不看了,防護等於不存在。有一個簡單的自我檢查:上一次你真的按下暫停、把 AI 做的東西退回,是什麼時候?想不起來,就不算在監督。
信任一步一步放
一支介紹 AI 代理的入門影片講得很直白:
“Progressive trust. Don’t hand it everything on day one.”
繁中:「漸進信任。第一天不要把所有權限都給它。」
影片裡的起點是:先讓它讀資料、分類、加標記;刪除和對外寄送這類動作,先問你;主要的信箱和跟錢有關的服務,一開始不接;要寄出去的信先寫成草稿,你看過才寄。
我自己現在大概站在這些位置:
| 工作 | 我站在哪一層 | 怎麼做 |
|---|---|---|
| 開發系統 | 迴圈之上 | 目標、界線、明確不做什麼由我訂;純技術的細節讓 AI 之間討論決定,我保留否決權 |
| 推上正式環境、寫進正式資料前 | 刻意留在迴圈內 | 一定經過我,或另一個模型的複核 |
| 整理筆記 | 正從「內」往「上」移 | 原本每次寫檔都先問我,現在改成做完我抽查;規則檔和重要的索引頁仍然先問 |
| 夜間自動整理資料 | 跑的時候在迴圈外,寫進來前在迴圈內 | 每一批我看過說可以才寫入;有一批六份裡,有一份自己改了名稱,我判不合格 |
最後那一項,我在 10 月替它訂了放手的規則:連續 5 批都沒問題,才從全部檢查改成抽查;抽查一個月錯誤率低於一成,才只看例外;只要越界一次,就退回全部檢查。信任放出去以後要收得回來,收回的條件最好在放手之前就寫好。
開始前問自己
- 這件事的規則寫得出來嗎?寫得出來,先寫成固定程式。
- 下一步做什麼,是誰決定的?是人或規則,用 AI 加固定步驟就夠。
- 如果 AI 做錯了,收得回來嗎?收不回來的那一步,留給人。
- 它壞掉的時候,有東西會叫你嗎?沒有的話,先補紅燈再放手。
AI 做完以後,怎麼確認它真的做對,看第 6 篇。
參考資料
- Erik Schluntz、Barry Zhang,〈Building effective agents〉,Anthropic,2024-12-19。https://www.anthropic.com/engineering/building-effective-agents
- 〈人類介入程度四層級|Human-in/on/over/out-of-the-loop 白話+範例〉,iPAS AI 應用規劃師學習頁。https://akira.ipas-ai.com/xx_loop.html
- TypeSafe 文件〈Confidence〉。廠商介紹自家產品的說明,門檻數字要依自己的資料實測調整。https://docs.typesafe.ai/confidence
- Metics Media,〈The Ultimate Beginner’s Guide to Hermes Agent〉,YouTube,2026-10-08。https://www.youtube.com/watch?v=XNcKUSL1CTE
- 「讓 AI 代理在外層,把一定要對的事交給固定工具」的設計原則,來自 Y Combinator 合夥人 Pete Koomen 的分享;我讀的是 hans小屋 在社群上的圖文整理。