Agent สามชั้น: Opus ตัดสิน Sonnet สร้าง Haiku อ่าน

แก่นของเรื่อง

แนวคิดหลัก. อย่าให้โมเดลที่แพงที่สุดทำงานทุกอย่าง ส่งแต่ละงานไปยังชั้นที่ถูกที่สุดที่ทำงานนั้นได้ดี: อ่าน จัดเรียง และย่อไปที่ Haiku 5.5, สร้างและเขียนโค้ดไปที่ Sonnet 5.5, วางแผน ตัดสิน และกรณีไม่แน่ใจอยู่ที่ Opus 5.5 งานที่ล้มเหลวให้ยกขึ้นทีละชั้น ไม่ข้ามด้านข้าง และงานที่ส่ง จ่าย หรือลบรอคนอนุมัติ

ทำไมถึงได้ผล. สองกลไกคูณกัน กลไกแรก ราคาต่อโทเคนต่างกันตามชั้น (ตารางราคาทางการด้านล่าง) กลไกที่สอง ผลลัพธ์ดิบของ tool มักยาวมาก ถ้า Haiku ย่อให้เหลือไม่กี่ร้อยโทเคนก่อน Opus จะอ่านเฉพาะส่วนที่ย่อแล้ว และส่วนต้นของบริบท (system prompt กับรายการ tool) ที่เหมือนกันทุกเทิร์นถูก cache อ่านซ้ำได้ในราคาเศษหนึ่งส่วนยี่สิบของ input ปกติ

20% ที่สำคัญที่สุดในทางปฏิบัติ

ช่วยให้ดีขึ้นอย่างไร

ลองใช้

กฎส่งงานเป็นโค้ด (ถอดจากภาพ)

route(task):
  read · sort · condense  -> haiku-5.5
  build · write · code    -> sonnet-5.5
  plan · judge · unclear  -> opus-5.5
escalate: haiku -> sonnet -> opus -> you
caps: 20 turns · 2 retries per tool

คำนวณซ้ำ 1: cache prefix (ตัวอย่างประกอบ ตัวเลขของเราเอง)

ราคาทางการของ Opus 5.5 ต่อล้านโทเคน: input $4, เขียน cache (5 นาที) $5, อ่าน cache $0.20, output $20 สมมติ prefix 100,000 โทเคน และรัน 50 เทิร์น ไม่นับ output และข้อความใหม่ในแต่ละเทิร์น

ที่มาของ $0.50: เขียนครั้งแรก 100,000 x $5 / 1,000,000 ส่วน $0.02: อ่านซ้ำแต่ละเทิร์น 100,000 x $0.20 / 1,000,000

อัตราส่วน 20.00 / 1.48 ประมาณ 13.5 เท่า ตัวอย่างของภาพได้ 22.42 / 2.37 ประมาณ 9.5 เท่า ต่างกันเพราะภาพนับ output และข้อความใหม่ด้วย และเราไม่ทราบขนาดบริบทที่ภาพใช้

คำนวณซ้ำ 2: ให้ Haiku อ่านแทน Opus (ตัวอย่างประกอบ)

สมมติงานหนึ่งอ่านผลลัพธ์ tool 40 ชิ้น ชิ้นละ 5,000 โทเคน (รวม 200,000) ราคาทางการต่อล้านโทเคน: Opus 5.5 input $4, Haiku 5.5 input $0.10 และ output $0.50 (สำหรับ prompt ไม่เกิน 100,000 โทเคน) Haiku ย่อแต่ละชิ้นเหลือ 300 โทเคน (เพดานในภาพ) รวม 12,000 โทเคน ไม่นับผล cache

อัตราส่วน 0.800 / 0.074 ประมาณ 10.8 เท่า ตัวอย่างนี้ไม่ได้วัดว่าสรุปของ Haiku เก็บข้อมูลที่ Opus ต้องใช้ไว้ครบหรือไม่

เมื่อไรควรและไม่ควรใช้

ก้าวแรกที่เล็กที่สุดและวิธีตรวจว่าได้ผล

1. ตรวจ prefix ก่อน: ลบสิ่งที่เปลี่ยนทุกเทิร์น (เวลา, id สุ่ม) ออกจาก system prompt และรายการ tool
2. เปิด cache แล้วดูจำนวนโทเคนที่ถูกอ่านจาก cache ในผลตอบกลับของ API ว่าไม่เป็นศูนย์
3. เทียบต้นทุนต่อรันเดิมกับหลังแก้ ในงานเดียวกัน 10 รัน
4. เกณฑ์ผ่านที่ตั้งก่อนรัน (ค่าที่เราเลือกเอง): สัดส่วนโทเคนที่อ่านจาก cache เกิน 80% ของ input ตั้งแต่เทิร์นที่สอง

ทดสอบความเข้าใจ

ภาพอ้างอิงและสิ่งที่อ่านได้จากภาพ

ภาพเป็นหน้าเอกสารเดียว มีแผนภาพ (Fig. 1) ย่อหน้า 4 ส่วน บล็อกกฎส่งงาน และตารางราคา ส่วนที่ถูกไฮไลต์ในภาพคือประโยค "The fix is routing each task to the cheapest tier that can do it well."

แผนภาพตามภาพ (ทิศทางลูกศรเป็นการตีความ)

flowchart LR
    U["task from you"] --> O["Opus 5.5: plans, decides"]
    O -->|route| S["Sonnet 5.5: builds, codes"]
    O -->|route| H["Haiku 5.5: reads, condenses"]
    H -->|"up to 300 tokens"| O
    H -.->|escalate on fail| S
    S --> TL["tools: files, web, tests"]
    H --> TL
    TL --> H
    O --> D["done check or turn cap"]
    D --> A["you approve: send, pay, delete"]
    P["cached prefix: system prompt + tools, identical every turn"] -.-> O

ข้อเท็จจริงที่อ่านได้จากภาพ

ตรวจกับเอกสารทางการ

ราคาของ Sonnet 5.5 และ Haiku 5.5 ที่ใช้ในตัวอย่างคำนวณมาจากหน้า Pricing ของ Anthropic (Sonnet 5.5 input $2 และ output $10, Haiku 5.5 input $0.10 และ output $0.50 สำหรับ prompt ไม่เกิน 100,000 โทเคน) ภาพไม่ได้ระบุราคาของสองรุ่นนี้

ความเสี่ยงและข้อจำกัด

Warning การย่อผลลัพธ์ tool ด้วยโมเดลเล็กอาจตัดข้อมูลที่ชั้นบนต้องใช้ทิ้ง (path, เลขบรรทัด, ข้อความ error) ต้องทดสอบกับงานจริงก่อนไว้ใจ เพดาน 300 โทเคนเป็นความเสี่ยงโดยตรงเมื่อผลลัพธ์มีรายละเอียดเยอะ

Decision / next steps

Recommendation เริ่มจากสองอย่างที่ไม่ต้องแตะคุณภาพงาน: ทำ prefix ให้คงที่และตรวจว่า cache ติด จากนั้นจึงใส่เพดานเทิร์น แล้วค่อยเพิ่มการให้ Haiku ย่อผลลัพธ์พร้อมทดสอบสุ่มเทียบกับผลดิบ

Sources

• Anthropic, Pricing: https://platform.claude.com/docs/en/about-claude/pricing
• Anthropic, Prompt caching: https://platform.claude.com/docs/en/build-with-claude/prompt-caching

ตัวย่อที่ใช้ในหน้านี้

แถว API เป็นความรู้ทั่วไป ภาพไม่ได้นิยามไว้

ศัพท์เฉพาะ

Summary

• ส่งแต่ละงานไปยังชั้นที่ถูกที่สุดที่ทำได้ดี: อ่านและย่อ Haiku, สร้าง Sonnet, ตัดสินและไม่แน่ใจ Opus
• งานล้มยกขึ้นทีละชั้นถึงคน เพดาน 20 เทิร์น ลอง 2 ครั้งต่อ tool และงานส่ง จ่าย ลบ รอคนอนุมัติ
• ตัวเลขราคา Opus 5.5 ในภาพตรงกับเอกสารทางการ ตัวอย่าง $22.42 เหลือ $2.37 ตรวจซ้ำไม่ได้ ใช้ตัวอย่างที่คำนวณซ้ำได้แทน
• เริ่มที่ prefix คงที่และตรวจว่า cache ติด