Harness²: ปรับ Harness รอบโมเดลให้ดีขึ้นแบบวนซ้ำ

🎯 แก่นของเรื่อง

แก่นความคิด: ไม่ต้องแตะน้ำหนักโมเดล แต่ปรับ "สิ่งที่ห่อรอบโมเดล" (harness) ให้เหมาะกับงานตรงหน้า แล้วเก็บบทเรียนที่ได้ไว้ใช้กับงานถัดไป

ทำไมถึงได้ผล (กลไก):

1. Harness กำหนดว่าโมเดลเห็นอะไร ใช้เครื่องมืออะไร และจำอะไรได้ ดังนั้นการแก้ส่วนนี้เปลี่ยนพฤติกรรมโดยไม่ต้องฝึกโมเดลใหม่
2. ระบบรันงานเดิมด้วย harness ฐานหลายรอบ (k รอบ) แล้วเทียบการรันแต่ละครั้งกัน จึงเห็นว่าจุดไหนพลาดโดยไม่ต้องมีเฉลย
3. ข้อเสนอที่ผ่านการทดลองจริง (probe) ถูกรวม (compose) เป็น harness ใหม่ แล้วเก็บเป็นบทเรียนในคลังต่อโดเมน

20% ที่สำคัญที่สุด:

📈 ช่วยให้ดีขึ้นอย่างไร

ตัวเลขด้านล่างเป็นค่าสูงสุดที่ README รายงาน (อ่านจาก repo วันที่ 2026-10-20) ไม่ใช่ค่าเฉลี่ย และ README ไม่ได้ให้ตัวเลขต่อโมเดลต่อโดเมนในส่วนที่อ่านได้

ผลวัดบอกว่า "สูงสุดถึง" เท่านั้น ยังไม่มีข้อมูลที่อ่านได้ว่าบางกรณีดีขึ้นน้อยหรือแย่ลง ให้ถือว่าผลเฉลี่ยของคุณอาจต่ำกว่านี้

🧩 Harness คืออะไร

Harness คือระบบทั้งหมดที่ห่อรอบโมเดล ส่วน harnessing คือการปรับระบบนั้นโดยน้ำหนักโมเดลคงเดิม

คอลัมน์ตัวอย่างเป็นการตีความของเราเพื่ออธิบาย ไม่ได้อ่านจาก repo

🔁 สองระดับของการวนซ้ำ

flowchart TD
    A[งานใหม่ในโดเมน] --> B[รัน harness ฐาน k ครั้ง]
    B --> C[Propose: เสนอแนวปรับ]
    C --> D[Probe: ทดลองแนวที่เสนอ]
    D --> E[Compose: รวมเป็น harness ใหม่]
    E --> F[ใช้ harness ที่รวมแล้วทำงานจริง]
    F --> G[Reflection: เก็บ harness และบทเรียนลงคลัง]
    G --> H[งานถัดไปอ่านคลังก่อน]
    H --> A

README ไม่ได้อธิบายแต่ละขั้นย่อยของ PPC ละเอียด รายละเอียดข้างต้นจึงจำกัดเท่าที่เขียนไว้ และ repo ไม่ได้นิยามคำว่า "improvement harness" แยกต่างหากในเอกสารที่อ่าน ที่นี่ตีความว่าคือ harness ที่ปรับแล้วร่วมกับคลังบทเรียน

โหมดการวนซ้ำ

ทั้งสองโหมดเริ่มจากการรัน harness ฐาน k ครั้ง --k 1 คือ PPC หนึ่งขั้น ตามด้วย reflection หลังนำมาใช้

กฎของคลัง: งานในโดเมนเดียวกันรันตามลำดับและอ่านเฉพาะรายการก่อนหน้า คลังแยกตาม benchmark, executor, mode, งบ และ seed

🛠️ วิธีรัน

ลองก่อนโดยไม่ต้องมีเครดิต (อ่านจาก repo):

uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e '.[render]'
harness2-demo --output runs/demo --k 2

รัน benchmark จริง (ตัวอย่าง LAB):

cp .env.example .env   # ตั้งค่า Vertex AI project และ model ID
gcloud auth application-default login
harness2-setup lab
harness2-check --bench lab
harness2 --bench lab --k 1 --mode parallel \
  --only-domains antitrust-competition --max-tasks 1
harness2-judge --bench lab --k 1 --mode parallel
harness2-report --bench lab --k 1 --mode parallel

ตัวเลือกที่ควรรู้

ผลลัพธ์

• ที่เก็บ: runs/lab/, runs/jb/, runs/wb/<subset>/ เปลี่ยนด้วย HARNESS2_RUNS_DIR
• มี: สรุปงาน, artifacts ของการรัน, harness ที่นำมาใช้, บันทึก reflection, ผลตรวจ
• base_judged.json เก็บคะแนนฐานเมื่อใช้ --bases ส่วน harness2-report รายงานเฉพาะ harness ที่ปรับแล้ว
• การประเมินที่ล้มเหลวจะไม่มีคะแนน ไม่ถูกนับเป็น 0
• รันคำสั่งเดิมซ้ำจะต่อจากเดิม เปลี่ยนโมเดลหรือชุดงานต้องใช้ HARNESS2_RUNS_DIR ใหม่

🚀 ลองใช้

ตัวอย่างประกอบ (ตัวเลขสมมติ คำนวณซ้ำได้)

สมมติเลือก 1 โดเมน 10 งาน ใช้ --k 1 --mode parallel

ถ้างานแต่ละงานเสียค่า API ประมาณ 2 หน่วยต่อการรัน และ k = 1 ต้องรันฐานอย่างน้อย 1 รอบ บวกขั้น PPC ต้นทุนรวมสูงกว่ารันเดียวแน่นอน ต้องเทียบ +6.0 คะแนนกับต้นทุนที่เพิ่ม

เมื่อไรควรใช้

ขั้นแรกที่เล็กที่สุด

1. รัน harness2-demo --output runs/demo --k 2 เพื่อดูโครงผลลัพธ์โดยไม่เสียเงิน
2. รัน --dry-run กับ benchmark ที่เลือกเพื่อดูงานที่จะถูกเลือก
3. รันจริง 1 โดเมน --max-tasks 1 แล้วอ่านโฟลเดอร์ runs/

การทดสอบก่อน/หลัง

✅ ทดสอบความเข้าใจ

⚠️ Risks

⚠️ Warning — Executor มีเครือข่ายไม่จำกัด และ Codex รันโดยปิด sandbox README ให้ตั้งข้อจำกัดเครือข่ายก่อนประเมิน เพื่อไม่ให้โมเดลเข้าถึงเฉลยหรือเกณฑ์ตรวจ

ข้อผิดพลาดที่พบบ่อย (ตีความ): เปลี่ยนโมเดลโดยไม่เปลี่ยนโฟลเดอร์ผลลัพธ์, ตัดสินผลด้วยการตั้งค่า judge ที่ไม่ตรงกับตอนรัน, เริ่มรันเต็มชุดโดยไม่ทำ --dry-run

✔️ Checklist ก่อนรัน

🧭 Decision / next steps

✅ Recommendation — เริ่มจาก demo ที่ไม่ใช้เครดิต แล้วรัน 1 โดเมน 1 งานด้วย --k 1 ตั้งข้อจำกัดเครือข่ายก่อน และขยายเมื่อเห็นว่าคะแนนเพิ่มถึงเกณฑ์ที่ตั้งไว้

Sources

หน้านี้อิงเนื้อหาที่ได้จากการสรุป จึงอาจไม่ครบทุกรายละเอียดของ README ตัวเลขผลลัพธ์ควรตรวจกับ README และเอกสารอ้างอิงของ repo อีกครั้งก่อนอ้างอิงต่อ

ตัวย่อที่ใช้ในหน้านี้

สัญลักษณ์ในสูตร

แถวที่มาจากความรู้ทั่วไป ไม่ได้นิยามโดยหัวข้อนี้: API, CLI, PDF, MD, Vertex AI และคำอธิบายของ GLM-5 / Gemini 3.5 Flash

Summary

ข้อสรุป: Harness² ปรับ harness รอบโมเดลคงที่ ไม่ต้องเทรนใหม่ ผลที่รายงานดีขึ้นสูงสุด 11.5 / 4.5 / 11.8 บน 3 benchmark แต่ต้องวัดซ้ำกับงานของคุณ

• แก่น: รันฐาน k ครั้ง → Propose → Probe → Compose → เก็บบทเรียนเข้าคลังต่อโดเมน
• ปรับได้ 8 ส่วนของ harness รวมถึง prompt, memory, skills, subagents
• parallel สำรวจกว้าง, sequential ขัดเกลาลึก
• ต้องจำกัดเครือข่ายก่อนประเมิน เพราะเฉลยอาจรั่ว
• ขั้นแรกที่ปลอดภัย: demo, --dry-run, แล้ว --max-tasks 1