ตัดสินใจ 5 จุดใน coding agent ด้วยโมเดลเล็ก

แก่นของเรื่อง

แนวคิดหลัก. ใน coding agent มีสถานีเดียวที่เขียนโค้ดจริง อีกห้าจุดเป็นการตัดสินใจที่ตอบได้ด้วยตัวเลือกจำนวนน้อย: อ่านไฟล์ไหน ส่งงานให้โมเดลระดับไหน คำสั่งนี้รันได้ไหม งานเสร็จหรือยัง และผลลัพธ์ของ tool ตัวไหนควรเก็บไว้ ถ้าให้โมเดลใหญ่ตัวเดียวตอบทั้งหมดในบริบทยาว ก็จ่ายราคาแพงเพื่อเลือกข้อหนึ่งจากสี่ข้อ

ทำไมถึงได้ผล. ต้นทุนของการเรียกโมเดลคือขนาดบริบทที่ต้องอ่านซ้ำคูณราคาต่อโทเคน การตัดสินใจที่ตัดสถานะให้เล็กลงก่อน (เฉพาะส่วนที่เกี่ยวกับคำถามนั้น) แล้วส่งให้โมเดลเล็กจึงถูกลงทั้งสองตัวคูณ นอกจากนี้ชนิดของคำตอบถูกกำหนดไว้ล่วงหน้า (ให้คะแนน เลือก 1 ใน N หรือตอบแบบใช่/ไม่ใช่) ระบบจึงไม่ต้องแกะคำตอบจากร้อยแก้วกลับมาเป็นค่าที่ใช้ต่อได้

20% ที่สำคัญที่สุดในทางปฏิบัติ (ตีความ ไม่ได้ระบุในภาพ):

ช่วยให้ดีขึ้นอย่างไร

ข้อสังเกต: ตัวเลขที่วัดได้ในภาพมีแต่ต้นทุน ไม่มีตัวเลขที่บอกว่าคุณภาพของการตัดสินใจเท่าเดิม ตัวเลข $1 ต่อเดือนจึงบอกได้แค่ว่า "ถ้าคำตอบใช้ได้ ราคาเป็นเท่านี้"

ลองใช้

คำนวณซ้ำตารางต้นทุน

ราคาในภาพ (ต่อล้านโทเคน): โมเดลใหญ่ input $10, cached input $1, output $50 ส่วน Jev input $0.042 ภาพระบุบริบท 120,000 โทเคนต่อการเรียกโมเดลใหญ่ ส่วน output ประมาณ 200 โทเคน ภาพไม่ได้ระบุไว้ ตัวเลขนี้คำนวณย้อนจากตาราง (ตีความ)

ตัวเลข 15 ครั้งและ 880 เซสชัน ภาพไม่ได้ระบุ แต่เป็นค่าที่ทำให้ทั้งสองคอลัมน์ในตารางของภาพตรงกันพอดี จึงใช้เป็นสมมติฐานของการคำนวณ (ตีความ)

ตัวอย่างโครงสร้างคำถาม (ถอดจากภาพ)

r = client.system_one(state=step, questions={
    "tier": Choice(
        instructions="Which model should do this step?",
        criteria={
            "cheap":    "Mechanical edit, local, low risk.",
            "mid":      "Bounded change across a few files.",
            "frontier": "Design change or unknown code.",
            "ask":      "Brief unclear; a person decides.",
        },
    ),
    "destructive": Noul(
        instructions="Does this delete or overwrite data?"),
})

อ่านโครงสร้าง: ส่ง state ของขั้นปัจจุบันพร้อมชุดคำถามที่ตั้งชื่อไว้ แต่ละคำถามมีชนิดคำตอบกำกับ ชื่อ system_one และคลาสเหล่านี้เป็นตามที่ปรากฏในภาพ ยังไม่ได้ตรวจว่ามีไลบรารีจริงหรือไม่

เมื่อไรควรและไม่ควรใช้

ก้าวแรกที่เล็กที่สุดและวิธีตรวจว่าได้ผล

1. เลือกคำถามเดียว คือ "คำสั่งนี้ลบหรือเขียนทับข้อมูลหรือไม่"
2. ดึงคำสั่งจริง 50 คำสั่งจาก log ของ agent ให้โมเดลใหญ่และโมเดลเล็กตอบคนละรอบ
3. วัดอัตราที่โมเดลเล็กตอบตรงกับโมเดลใหญ่ และจำนวนกรณี "ทำลายจริงแต่โมเดลเล็กตอบว่าไม่"
4. เกณฑ์ผ่านที่ตั้งก่อนรัน (ค่าที่เราเลือกเอง ไม่ได้มาจากภาพ): ตรงกันอย่างน้อย 95% และกรณีพลาดฝั่งอันตรายเป็น 0 จาก 50

ทดสอบความเข้าใจ

ภาพอ้างอิงและสิ่งที่อ่านได้จากภาพ

ภาพเป็นหน้าเอกสารเดียว มีแผนภาพวงจร (Fig. 1) ย่อหน้าสามส่วน บล็อกโค้ด และตารางต้นทุน ประโยคบางส่วนในภาพถูกไฮไลต์ ได้แก่ ประโยคเรื่องคำถามที่ตอบด้วยโมเดลใหญ่ตัวเดียวกัน ประโยคเรื่องคำสั่งที่รันได้ ประโยคเรื่องการลบไฟล์/ใช้เครือข่าย/เขียนประวัติใหม่ ย่อหน้าราคา และแถว frontier cached, frontier cold prefix กับ jev ในตาราง

ลูปตามแผนภาพ (ทิศทางลูกศรเป็นการตีความ)

flowchart LR
    T["task: brief + repo"] --> S1{{"Score: which files?"}}
    S1 --> R["read: top chunks only"]
    R --> C{{"Choice: which model?"}}
    C --> W["write code: frontier model"]
    W --> N1{{"Noul: safe to run?"}}
    N1 -->|irreversible| A["you approve"]
    A --> RUN
    N1 -->|safe| RUN["run in a worktree"]
    RUN --> TEST["tests: fresh evidence"]
    TEST --> N2{{"Noul: done?"}}
    N2 -->|done or unclear| H["halt: ask you"]
    N2 -->|continue| S2{{"Score: keep or drop?"}}
    S2 --> T

5 จุดตัดสินใจ

ข้อเท็จจริงที่อ่านได้ชัดเจนกับสิ่งที่ไม่ชัด

ความเสี่ยงและข้อจำกัด

Warning ตารางต้นทุนไม่มีตัวเลขคุณภาพ การเอาตัวเลข $1 ต่อเดือนไปตั้งเป็นเป้าโดยไม่วัดอัตราตรงกันของคำตอบ ทำให้ได้ระบบที่ถูกแต่ตัดสินผิดโดยไม่มีใครเห็น

Decision / next steps

Recommendation เริ่มที่จุดเดียวคือ "รันได้ไหม" ทดลองกับคำสั่ง 50 รายการจาก log จริง ตั้งเกณฑ์ผ่านก่อนรัน และขยายไปจุด "ใช้โมเดลระดับไหน" ต่อเมื่อผ่านเกณฑ์

ตัวย่อที่ใช้ในหน้านี้

แถว GPT และ API เป็นความรู้ทั่วไป ภาพไม่ได้นิยามไว้

ศัพท์เฉพาะ

Summary

• เทิร์นส่วนใหญ่ของ coding agent เป็นการตัดสินใจ มีสถานีเดียวที่เขียนโค้ด
• 5 จุดตัดสินใจ: อ่านไฟล์ไหน, โมเดลระดับไหน, รันได้ไหม, เสร็จหรือยัง, เก็บหรือทิ้ง
• ตัวเลขในภาพ: $0.130 เหลือ $0.0001 ต่อครั้ง และ $1,716 เหลือ $1 ต่อเดือน (ยังไม่ยืนยันกับผู้ให้บริการ และไม่มีตัวเลขคุณภาพ)
• เริ่มที่จุด "รันได้ไหม" วัดกับ 50 คำสั่งจริง ตั้งเกณฑ์ผ่านก่อนรัน