Knowledge Hub

รัน AI 816B พารามิเตอร์บน Mac Studio หลายเครื่อง: หลักการ ข้อจำกัด และวิธีประเมิน

เข้าใจว่าโมเดล open-weight ขนาดเกือบล้านล้านพารามิเตอร์รันในเครื่องได้อย่างไร คำนวณหน่วยความจำที่ต้องใช้เองได้ และตัดสินใจได้ว่างานของคุณควรรันในเครื่องหรือใช้ Cloud

AIอ่าน 15 นาทีเผยแพร่ 16 ตุลาคม 2569

🎯 แก่นของเรื่อง

โมเดลที่มีพารามิเตอร์รวมมาก แต่ใช้จริงเพียงส่วนน้อยต่อโทเค็น จะรันในเครื่องได้เมื่อมีหน่วยความจำรวมพอบรรจุน้ำหนักทั้งหมด และเครื่องหลายเครื่องแบ่งงานกันผ่านสายเชื่อมต่อความเร็วสูง

กลไก (ทำไมจึงได้ผล)

  • ความเร็วสร้างข้อความถูกจำกัดด้วย "อ่านน้ำหนักจากหน่วยความจำได้เร็วแค่ไหน" มากกว่า "คำนวณได้เร็วแค่ไหน"
  • โมเดลนี้มี 816B พารามิเตอร์รวม แต่ใช้ราว 42B ต่อโทเค็น (ประมาณ 5%) จึงอ่านน้อยลงมากต่อโทเค็น (ตีความ จากตัวเลขเดียวกัน)
  • แต่ น้ำหนักทั้งหมดต้องอยู่ในหน่วยความจำ แม้ใช้แค่บางส่วน ดังนั้นคอขวดจริงคือ "ความจุ" จึงต้องต่อหลายเครื่องมารวมความจุกัน

20% ที่สำคัญที่สุดในทางปฏิบัติ

ต้องรู้ รอได้
สูตรหน่วยความจำ = จำนวนพารามิเตอร์ × ไบต์ต่อพารามิเตอร์ รายละเอียดโปรโตคอลการต่อเครื่อง
พารามิเตอร์รวม (ความจุ) ต่างจากพารามิเตอร์ที่ใช้ต่อโทเค็น (ความเร็ว) การเทียบคะแนนกับโมเดลปิดอื่น
ตัวเลข 36 tok/s มาจากเครื่อง 4 เครื่อง ไม่ใช่ 2 เครื่อง เรื่องกลยุทธ์ระยะยาวของบริษัท
ต้นทุนฮาร์ดแวร์หลายเครื่องต้องเทียบกับค่า Cloud ที่ใช้จริง ชื่อรุ่นย่อยของชิป

📋 ข้อเท็จจริงกับความเห็น

ประเด็น ประเภท หมายเหตุ
Muse Spark Open (Meta) เป็น open-weight พารามิเตอร์รวม 816B ใช้งานจริงราว 42B ข้ออ้างที่ยังไม่ยืนยัน ค้นหาเพิ่มแล้วไม่พบประกาศเรื่องโมเดลนี้จากแหล่งอื่น ให้ตรวจ model card ก่อนใช้
Mac Studio ชิป M5 Ultra 2 เครื่อง ต่อผ่าน Thunderbolt ใช้ MLX รันโมเดลได้ ข้ออ้างที่ยังไม่ยืนยัน ไม่ทราบความละเอียดตัวเลขของน้ำหนัก (quantization) ที่ใช้
ทดสอบด้วย Mac Studio 4 เครื่อง ได้มากกว่า 36 tok/s ตัวเลขที่รายงาน ไม่ทราบความยาวพรอมต์ ขนาด batch หรือความละเอียดน้ำหนัก
M5 Ultra มีหน่วยความจำสูงสุด 512 GB ต่อเครื่อง และมีพอร์ต Thunderbolt 5 ข้อมูลเสริมจากการค้นหา ยังไม่ตรวจกับเอกสาร Apple รุ่นสูงสุดรายงานว่าวางขายปลายเดือนตุลาคม
Apple ไม่ต้องมีโมเดลเก่งที่สุด ถ้ามีฮาร์ดแวร์ที่รันโมเดลคนอื่นได้ดีที่สุด ความเห็นเชิงกลยุทธ์ พิสูจน์ไม่ได้จากตัวเลขทางเทคนิค
การรันในเครื่องเพิ่มความเป็นส่วนตัวและลดการพึ่ง Cloud อนุมานที่สมเหตุสมผล จริงเมื่อข้อมูลไม่ออกจากเครื่อง แต่ต้องตั้งค่าและดูแลเอง
ต้องใช้ Mac Studio รุ่นสูงหลายเครื่อง ต้นทุนไม่น้อย ข้อเท็จจริงเชิงคุณภาพ ไม่มีตัวเลขต้นทุนรวม

💡 ช่วยให้ดีขึ้นอย่างไร

สถานการณ์ ถ้าไม่ใช้วิธีนี้ ถ้ารันในเครื่อง วัดอย่างไร หลักฐาน
ข้อมูลอ่อนไหว (สัญญา โค้ดภายใน) ส่งข้อมูลให้ผู้ให้บริการ Cloud ข้อมูลอยู่ในเครื่องที่ควบคุมเอง นับจำนวนครั้งที่ข้อมูลออกนอกเครือข่าย (เป้าหมาย 0) ตีความ
ความเร็วสร้างข้อความ ขึ้นกับ API ภายนอก มากกว่า 36 tok/s บน 4 เครื่อง tok/s บนพรอมต์ชุดเดียวกัน วัดแล้ว (ตัวเลขที่รายงาน ไม่ทราบเงื่อนไขทดสอบ)
ความเร็วบน 2 เครื่อง ไม่มีตัวเลข ไม่มีตัวเลขที่รายงาน วัดเอง ยังไม่ทดสอบ
ค่าใช้จ่ายระยะยาว จ่ายตามการใช้งาน (ต่อโทเค็น) จ่ายค่าเครื่องก้อนเดียว บวกไฟฟ้าและเวลาดูแล ต้นทุนรวมต่อ 1 ล้านโทเค็น ยังไม่ทดสอบ และอาจแย่กว่า ถ้าใช้งานน้อย
คุณภาพคำตอบเทียบโมเดลปิดชั้นนำ ใช้โมเดลปิดล่าสุด ใช้ Muse Spark Open ชุดทดสอบงานจริงของคุณ ยังไม่ทดสอบ ไม่มีการเปรียบเทียบที่รายงาน
ความยืดหยุ่น (ปรับแต่ง ล็อกเวอร์ชัน) เวอร์ชันเปลี่ยนโดยผู้ให้บริการ ล็อกน้ำหนักของโมเดลไว้ได้ โมเดลเปลี่ยนโดยไม่แจ้งกี่ครั้ง ตีความ

Note ข้อแลกเปลี่ยนที่ชัดที่สุดคือ ได้ความเป็นส่วนตัวและการควบคุม แต่จ่ายด้วยเงินลงทุนสูง ความซับซ้อนในการต่อเครื่อง และไม่มีหลักฐานว่าคุณภาพเท่าโมเดลปิดรุ่นล่าสุด

🧪 ลองใช้

ตัวอย่างประกอบ: คำนวณหน่วยความจำ

ตัวเลขด้านล่างเป็นตัวอย่างประกอบที่คำนวณเอง ไม่ใช่ผลวัดที่รายงาน

สูตร: หน่วยความจำของน้ำหนัก (GB) = พารามิเตอร์ (พันล้าน) × ไบต์ต่อพารามิเตอร์

ความละเอียดน้ำหนัก ไบต์ต่อพารามิเตอร์ น้ำหนักทั้งหมด 816B ใส่ใน 1 เครื่อง (512 GB) ได้ไหม ใส่ใน 2 เครื่อง (1,024 GB) ได้ไหม
16 บิต 2 1,632 GB ไม่ได้ ไม่ได้
8 บิต 1 816 GB ไม่ได้ ได้ แต่เหลือที่ให้ระบบและ KV cache ราว 208 GB
4 บิต 0.5 408 GB ได้ แต่เหลือที่น้อย ได้ สบาย

อ่านผล: การที่ข้ออ้างบอกว่าใช้ 2 เครื่องจึงสอดคล้องกับความละเอียด 8 บิตหรือต่ำกว่า (ตีความ) ส่วนว่าใช้ความละเอียดใดจริงนั้นไม่ทราบ

ขอบเขตบนของความเร็ว (ประมาณหยาบ): ที่ 4 บิต ต่อโทเค็นอ่านน้ำหนักที่ใช้งาน 42 × 0.5 = 21 GB ถ้าแบนด์วิดท์หน่วยความจำ 1.2 TB/s (ตัวเลขจากการค้นหา ยังไม่ตรวจกับเอกสารทางการ) จะได้ 1,200 ÷ 21 ≈ 57 tok/s ในกรณีอุดมคติเครื่องเดียว ตัวเลขที่รายงานคือ 36 tok/s ซึ่งต่ำกว่าเพดานนี้ สอดคล้องกับค่าโสหุ้ยการส่งข้อมูลระหว่างเครื่อง (ตีความ)

ใช้เมื่อไร และไม่ใช้เมื่อไร

ใช้เมื่อ ไม่ควรใช้เมื่อ สิ่งที่ต้องมีก่อน
ข้อมูลห้ามออกนอกองค์กร ใช้งานเป็นครั้งคราว ปริมาณน้อย งบซื้อเครื่องหลายเครื่อง
ใช้งานหนักและสม่ำเสมอ ค่า Cloud สูง ต้องการคุณภาพสูงสุดของโมเดลปิดรุ่นใหม่ คนที่ดูแลระบบและอัปเดตซอฟต์แวร์ได้
ต้องล็อกเวอร์ชันโมเดลเพื่อทำซ้ำผลได้ ต้องรองรับผู้ใช้พร้อมกันจำนวนมาก ชุดทดสอบงานจริงสำหรับเทียบคุณภาพ
ต้องการทดลองกับ open-weight ทีมไม่มีเวลาตั้งค่าเครือข่ายและติดตามปัญหา อ่านสัญญาอนุญาตของโมเดลแล้ว

ก้าวแรกที่เล็กที่สุด

  1. อ่านสัญญาอนุญาตและ model card ของโมเดล เพื่อยืนยันว่ามีโมเดลนี้จริงและใช้งานเชิงพาณิชย์ได้
  2. ทดลองโมเดล open-weight ขนาดเล็กกว่ามากด้วย MLX บนเครื่องเดียว เพื่อเรียนรู้ขั้นตอนก่อนลงทุน
  3. วัด tok/s และคุณภาพบนงานจริง 20 ชิ้น แล้วค่อยขยายขนาดโมเดล

การทดสอบก่อนและหลัง

รายการ ค่าก่อน (baseline) เกณฑ์ผ่าน (กำหนดก่อนรัน)
คุณภาพ: ให้คะแนนคำตอบ 20 งานจริงแบบปกปิดแหล่งที่มา คะแนนเฉลี่ยของบริการ Cloud ที่ใช้อยู่ ไม่ต่ำกว่า baseline เกิน 10%
ความเร็ว: tok/s บนพรอมต์ชุดเดียวกัน tok/s ของ Cloud ไม่ต่ำกว่าที่ผู้ใช้ยอมรับได้ เช่น 15 tok/s
ต้นทุน: ค่าเครื่อง ÷ ปริมาณโทเค็นที่ใช้จริงใน 12 เดือน ค่า Cloud ต่อ 1 ล้านโทเค็น ถูกกว่า Cloud ภายในระยะเวลาที่คุณกำหนด

🔧 แนวคิดหลักที่ต้องเข้าใจ

พารามิเตอร์รวม กับพารามิเตอร์ที่ใช้งานต่อโทเค็น

  • คืออะไร: 816B คือจำนวนค่าน้ำหนักทั้งหมด ส่วน 42B คือส่วนที่ถูกใช้คำนวณต่อโทเค็นหนึ่งตัว
  • ทำไมสำคัญ: ตัวแรกกำหนดความจุที่ต้องมี ตัวหลังกำหนดความเร็วโดยประมาณ
  • ข้อควรระวัง: รูปแบบ "รวมมากแต่ใช้ส่วนน้อย" มักมาจากสถาปัตยกรรมแบบ MoE แต่ข้ออ้างไม่ได้ระบุ จึงเป็น ตีความ

Open-weight

  • คืออะไร: เผยแพร่ไฟล์น้ำหนักให้ดาวน์โหลดไปรันเอง
  • ต่างจาก open-source เต็มรูปแบบ: อาจไม่เปิดข้อมูลฝึกหรือโค้ดฝึก และสัญญาอนุญาตอาจมีเงื่อนไขการใช้งาน
  • ผลต่อการใช้งาน: ตรวจสอบ ล็อกเวอร์ชัน และรันเองได้

MLX และ unified memory

  • MLX: ไลบรารีของ Apple สำหรับรันและเรียนรู้โมเดลบน Apple silicon
  • Unified memory: CPU และ GPU ใช้หน่วยความจำก้อนเดียวกัน จึงไม่มีเพดาน VRAM แยก ซึ่งเป็นเหตุผลที่ Mac รันโมเดลใหญ่ได้ในราคาต่อ GB ที่ต่ำกว่าการ์ดจอแยกหลายใบ (ตีความ ควรเทียบราคาจริง)

การต่อหลายเครื่องผ่าน Thunderbolt

  Mac Studio A  <-- Thunderbolt -->  Mac Studio B
  [น้ำหนักส่วนที่ 1]                  [น้ำหนักส่วนที่ 2]
        |                                  |
        +-------- ส่งผลลัพธ์ระหว่างชั้น --------+
  • เครื่องแต่ละเครื่องถือน้ำหนักคนละส่วน แล้วส่งผลลัพธ์กลางให้กัน
  • การเพิ่มเครื่องช่วยเรื่องความจุก่อน ส่วนความเร็วอาจไม่เพิ่มเป็นเส้นตรงเพราะต้องรอข้อมูลข้ามสาย (ตีความ)
flowchart LR
  A[พรอมต์] --> B[เครื่อง 1: ชั้นต้น]
  B -->|Thunderbolt| C[เครื่อง 2: ชั้นถัดไป]
  C --> D[โทเค็นถัดไป]
  D --> B

กลยุทธ์ของ Apple

มุมมอง เนื้อหา ประเภท
ข้อเสนอ ขายฮาร์ดแวร์และระบบนิเวศที่รันโมเดลของคนอื่นได้ดีที่สุด ความเห็น
เหตุผลที่เป็นไปได้ ความต้องการหน่วยความจำสูง ทำให้ลูกค้าซื้อรุ่นแพง ตีความ
ความเสี่ยง ถ้าโมเดลเล็กลงและเก่งขึ้น ความต้องการเครื่องแพงอาจลดลง ตีความ

🛠️ ขั้นตอนประเมินและติดตั้งแบบย่อ

  1. กำหนดงานและเกณฑ์คุณภาพ ความเร็ว ต้นทุน
  2. คำนวณหน่วยความจำจากสูตร แล้วเผื่อ KV cache และระบบอย่างน้อย 15-20% (ค่าเผื่อนี้เป็นกฎหยาบของเรา)
  3. เลือกความละเอียดน้ำหนักที่ลดลงจนคุณภาพยังผ่านเกณฑ์
  4. ทดลองบนเครื่องเดียวด้วยโมเดลเล็กก่อน
  5. เมื่อต่อหลายเครื่อง ใช้สาย Thunderbolt ที่รองรับความเร็วเต็ม และบันทึกค่า tok/s ทุกครั้งที่เปลี่ยนการตั้งค่า
  6. ทำชุดทดสอบเดิมซ้ำทุกครั้งที่เปลี่ยนโมเดลหรือซอฟต์แวร์

✅ เช็กลิสต์ตัดสินใจ

ข้อ คำถาม สถานะ
1 ยืนยันแล้วหรือยังว่าโมเดลมีจริงและสัญญาอนุญาตเอื้อ ⚪
2 คำนวณหน่วยความจำรวมที่ต้องใช้แล้วหรือยัง ⚪
3 มีงบสำหรับจำนวนเครื่องที่ต้องใช้ ⚪
4 วัดคุณภาพเทียบ Cloud บนงานจริงแล้วหรือยัง ⚪
5 คำนวณจุดคุ้มทุนกับค่า Cloud แล้วหรือยัง ⚪
6 มีคนดูแลระบบและแผนสำรองเมื่อเครื่องใดเครื่องหนึ่งเสีย ⚪

⚠️ Risks

Warning ตัวเลข 36 tok/s มาจากเครื่อง 4 เครื่อง ส่วนข้ออ้างหลักพูดถึง 2 เครื่อง อย่าสรุปว่า 2 เครื่องได้ความเร็วเท่ากัน และยังไม่พบแหล่งยืนยันเรื่องโมเดลนี้จากภายนอก

ความเสี่ยง ผลกระทบ วิธีลดความเสี่ยง
ข้อมูลไม่ครบ (ไม่รู้ความละเอียดน้ำหนัก ความยาวบริบท เงื่อนไขทดสอบ) เปรียบเทียบตัวเลขไม่ได้ วัดเองด้วยเงื่อนไขของคุณ
ต้นทุนสูงและเครื่องล้าสมัยเร็ว คืนทุนช้า คำนวณจุดคุ้มทุนก่อนซื้อ
ความเร็วไม่โตตามจำนวนเครื่อง จ่ายเพิ่มแต่ได้น้อย ทดสอบ 1, 2, 4 เครื่องแล้วเทียบ
ความจุสำหรับบริบทยาวไม่พอ ช้าลงหรือรันไม่ได้ เผื่อพื้นที่ KV cache
คุณภาพต่ำกว่าโมเดลปิดล่าสุด งานสำคัญผิดพลาด ทดสอบแบบปกปิดแหล่งที่มา
สัญญาอนุญาตจำกัดการใช้เชิงพาณิชย์ ความเสี่ยงทางกฎหมาย อ่านสัญญาอนุญาตก่อนใช้

ข้อผิดพลาดและความเข้าใจผิดที่พบบ่อย

ความเข้าใจผิด ความจริง
ใช้แค่ 42B ก็ใช้หน่วยความจำแค่ 42B ต้องโหลดครบ 816B จึงต้องมีความจุตามนั้น
รันในเครื่องแล้วปลอดภัยโดยอัตโนมัติ ยังต้องควบคุมการเข้าถึงเครือข่าย การอัปเดต และการสำรองข้อมูล
รันในเครื่องถูกกว่า Cloud เสมอ ขึ้นกับปริมาณการใช้งาน
Open-weight เท่ากับเปิดทุกอย่าง มักเปิดเฉพาะน้ำหนัก และมีเงื่อนไขสัญญาอนุญาต
เพิ่มเครื่องแล้วเร็วขึ้นเท่าตัว ข้ามสายส่งข้อมูลมีค่าโสหุ้ย

🧭 Decision / next steps

Recommendation อย่าซื้อฮาร์ดแวร์เพราะตัวเลขข่าวอย่างเดียว ให้ยืนยันโมเดลและสัญญาอนุญาต ลองโมเดลเล็กบนเครื่องเดียว แล้ววัดคุณภาพ ความเร็ว และต้นทุนบนงานจริงของคุณ ก่อนตัดสินใจลงทุนหลายเครื่อง

สถานการณ์ของคุณ ทางเลือกที่เหมาะ
ข้อมูลอ่อนไหวมาก และใช้งานหนัก ลงทุนรันในเครื่อง หลังผ่านการทดสอบ
ใช้งานน้อย ต้องการคุณภาพสูงสุด ใช้ Cloud
อยากเรียนรู้ เริ่มจากโมเดลเล็กบนเครื่องเดียว
ตัดสินใจไม่ได้ ใช้ Cloud ต่อไป และเก็บตัวเลขการใช้งานจริงอีก 1-3 เดือน

🧠 ทดสอบความเข้าใจ

คำถาม คำตอบ คำตอบผิดที่พบบ่อย
1. โมเดล 816B ที่ 4 บิต ต้องใช้หน่วยความจำสำหรับน้ำหนักเท่าไร 816 × 0.5 = 408 GB (ยังไม่รวม KV cache และระบบ) 42 GB เพราะใช้แค่ 42B ต่อโทเค็น
2. ทำไมต้องต่อหลายเครื่อง ทั้งที่ใช้งานจริงแค่ 42B เพราะต้องบรรจุน้ำหนักครบทุกส่วนไว้ในหน่วยความจำ เครื่องเดียวอาจจุไม่พอ ต่อหลายเครื่องเพื่อให้เร็วขึ้นหลายเท่าเสมอ
3. ถ้า 4 เครื่องได้ 36 tok/s ควรคาดว่า 2 เครื่องได้ 18 tok/s ไหม ไม่ควรสรุป ความเร็วไม่เป็นเส้นตรง ต้องวัดเอง ใช่ เพราะครึ่งหนึ่งของจำนวนเครื่อง
4. ถ้าใช้ AI วันละ 20 ครั้ง การซื้อ Mac Studio หลายเครื่องคุ้มไหม น่าจะไม่คุ้ม เทียบค่า Cloud กับค่าเครื่อง (ยกเว้นต้องเก็บข้อมูลในเครื่อง) รันในเครื่องถูกกว่าเสมอ
5. ข้ออ้างว่า Apple ไม่ต้องมีโมเดลที่เก่งที่สุด มีหลักฐานจากตัวเลขไหม ไม่มี เป็นความเห็นเชิงกลยุทธ์ ตัวเลขที่รายงานแสดงแค่ว่ารันได้ที่ความเร็วหนึ่ง มีหลักฐานเพราะ 36 tok/s พิสูจน์แล้ว
6. (กับดัก) ทำไมการรันในเครื่องจึงไม่ได้แปลว่าคุณภาพเท่าโมเดลปิดชั้นนำ ที่รายงานเป็นเรื่องความสามารถในการรัน ไม่ใช่คะแนนคุณภาพเทียบกัน รันได้แปลว่าเก่งเท่ากัน

📖 ศัพท์ที่ไม่ใช่ตัวย่อ

คำ ความหมาย
พารามิเตอร์ ค่าตัวเลขที่โมเดลเรียนรู้ รวมกันเป็น "น้ำหนัก" ของโมเดล
โทเค็น (token) หน่วยข้อความที่โมเดลสร้างทีละชิ้น ภาษาไทยหนึ่งคำอาจเป็นหลายโทเค็น
Open-weight เผยแพร่ไฟล์น้ำหนักให้ดาวน์โหลดไปรันเอง
Quantization ลดความละเอียดของน้ำหนัก (16 เหลือ 4 บิต) ลดหน่วยความจำ แต่คุณภาพอาจลดลง
Cloud บริการประมวลผลบนเซิร์ฟเวอร์ของผู้ให้บริการ
Unified memory หน่วยความจำก้อนเดียวที่ CPU และ GPU ใช้ร่วมกัน
Thunderbolt มาตรฐานพอร์ตและสายเชื่อมต่อความเร็วสูง

ตัวย่อที่ใช้ในหน้านี้

ตัวย่อ ชื่อเต็ม คืออะไร อ่านค่าอย่างไร
AAPL Apple Inc. (รหัสหุ้น) รหัสซื้อขายหุ้นของ Apple ใช้ค้นราคาหุ้น ไม่เกี่ยวกับสมรรถนะโมเดล
META Meta Platforms (รหัสหุ้น) รหัสซื้อขายหุ้นของ Meta เช่นเดียวกับข้างบน
AI Artificial Intelligence ปัญญาประดิษฐ์ ในหน้านี้หมายถึงโมเดลภาษาขนาดใหญ่
B Billion หน่วยพันล้านของจำนวนพารามิเตอร์ 816B = 816,000 ล้านพารามิเตอร์
MLX ไม่ใช่ตัวย่อทางการที่ยืนยันได้ ใช้เป็นชื่อซอฟต์แวร์ ไลบรารีของ Apple สำหรับรันโมเดลบน Apple silicon ใช้เป็นตัวรันโมเดลบน Mac
M5 Ultra ชื่อรุ่นชิป Apple ซีรีส์ M5 รุ่น Ultra ชิปรุ่นสูงของ Mac Studio รุ่นมีหน่วยความจำสูงสุดได้มากกว่ารุ่นอื่น
GB Gigabyte หน่วยความจุ 408 GB = น้ำหนักโมเดล 4 บิต
TB/s Terabyte ต่อวินาที หน่วยแบนด์วิดท์หน่วยความจำ 1.2 TB/s = อ่านได้ 1,200 GB ต่อวินาทีในกรณีอุดมคติ
tok/s Tokens per second โทเค็นที่สร้างได้ต่อวินาที 36 tok/s = ราว 36 โทเค็นทุกวินาที
KV cache Key-Value cache หน่วยความจำที่เก็บบริบทของบทสนทนาระหว่างสร้างข้อความ บริบทยาวขึ้น ใช้พื้นที่มากขึ้น
MoE Mixture of Experts สถาปัตยกรรมที่เลือกใช้เฉพาะบางส่วนของโมเดลต่อโทเค็น พารามิเตอร์รวมมากกว่าส่วนที่ใช้ต่อโทเค็น
API Application Programming Interface ช่องทางเรียกใช้บริการผ่านโปรแกรม ใช้เรียกโมเดลบน Cloud
CPU / GPU Central / Graphics Processing Unit หน่วยประมวลผลกลาง / กราฟิก ใช้หน่วยความจำร่วมกันบน Mac
VRAM Video RAM หน่วยความจำของการ์ดจอแยก มักเป็นเพดานของการ์ดจอทั่วไป

ตัวย่อที่มาจากความรู้ทั่วไป ไม่ได้ถูกนิยามในเนื้อหาต้นทาง: MoE, KV cache, VRAM, API, CPU/GPU, TB/s ส่วนข้อมูลหน่วยความจำสูงสุด 512 GB และแบนด์วิดท์ 1.2 TB/s มาจากการค้นหาเพิ่ม และยังไม่ตรวจกับเอกสารทางการของ Apple

Summary

  • โมเดล 816B ที่ใช้งานจริงราว 42B ต่อโทเค็น กำหนดความจุจากพารามิเตอร์รวม และกำหนดความเร็วจากส่วนที่ใช้งาน
  • ที่ 4 บิต น้ำหนักใช้ราว 408 GB ที่ 8 บิตราว 816 GB จึงต้องต่อหลายเครื่องเพื่อรวมความจุ
  • ตัวเลขที่รายงานคือมากกว่า 36 tok/s บน 4 เครื่อง ยังไม่มีตัวเลขความเร็วบน 2 เครื่อง และไม่มีผลเทียบคุณภาพกับโมเดลปิด
  • ยังหาแหล่งยืนยันเรื่องโมเดลนี้จากภายนอกไม่ได้ ต้องตรวจ model card และสัญญาอนุญาตก่อนใช้
  • ตัดสินใจจากการวัดบนงานจริงของคุณ: คุณภาพ ความเร็ว และต้นทุนต่อล้านโทเค็น เทียบกับ Cloud
Facebook