Audio8-TTS: โมเดลเสียงพูดขนาดเล็กที่โคลนเสียงได้และรันบน CPU

ป้ายที่ใช้ในหน้านี้: [S1] = Source 1, [S2] = Source 2 (repo Edge0-AI/Audio8_TTS), อ่านจาก repo = ข้อเท็จจริงที่อ่านจากหน้า repo เมื่อ 2026-10-20, คำอ้าง = ผู้พัฒนาหรือผู้เขียนอ้างเอง, ตีความ = ข้อสรุปของเราเอง, ยังไม่ทดสอบ = ไม่ได้รันจริง

🎯 แก่นของเรื่อง

Audio8-TTS แปลงข้อความเป็นเสียงพูดและโคลนเสียงจากคลิปอ้างอิงสั้น ๆ ได้โดยไม่ต้องเทรนโมเดลใหม่ และมีขนาดเล็กพอจะรันบนเครื่องตัวเอง [S1][S2]

ทำไมถึงทำได้ (กลไก)

• โมเดลทำงานแบบ zero-shot: เสียงอ้างอิงพร้อมข้อความถอดเสียงถูกส่งเข้าไปเป็นบริบทตอนสร้างเสียง โมเดลจึงเลียนลักษณะเสียงนั้นโดยไม่ปรับน้ำหนัก (อ่านจาก repo [S2])
• สถาปัตยกรรม DualAR แบ่งงานเป็นสองส่วน ส่วน Slow AR 24 ชั้นวางโครงเสียงระดับหยาบ ส่วน Fast AR 4 ชั้นเติมรายละเอียด (อ่านจาก repo [S2])
• ขนาดเล็กลงอีกทางหนึ่งมาจากการลดความละเอียดของน้ำหนัก (quantization) เป็น INT4 หรือ INT8 ทำให้รันบน CPU ได้ (อ่านจาก repo [S2]) ตีความ: ผลที่ตามมาคือหน่วยความจำและต้นทุนฮาร์ดแวร์ลดลง

20% ที่สำคัญที่สุดในทางปฏิบัติ

📈 ช่วยให้ดีขึ้นอย่างไร

🧪 ลองใช้

ตัวอย่างประกอบ (ตัวเลขของเราเอง ไม่ใช่จาก Source)

ตัวอย่างนี้คำนวณซ้ำได้

1. ขนาดน้ำหนักโดยประมาณ = จำนวนพารามิเตอร์ × จำนวนไบต์ต่อค่า
   • 0.6B ที่ INT4 (0.5 ไบต์) = 600,000,000 × 0.5 = ราว 300 MB
   • 0.1B ที่ INT8 (1 ไบต์) = 100,000,000 × 1 = ราว 100 MB
   • 0.6B ที่ FP16 (2 ไบต์) = 600,000,000 × 2 = ราว 1.2 GB
   • ค่านี้นับเฉพาะน้ำหนัก ยังไม่รวม codec และหน่วยความจำขณะทำงาน (ตีความ)
2. แบ่งข้อความ บทพูด 450 ตัวอักษรต้องแบ่งอย่างน้อย 450 ÷ 150 = 3 ท่อน
3. เวลาสร้างเสียง ถ้า RTF = 0.116 เสียง 60 วินาทีใช้เวลา 60 × 0.116 = ราว 6.96 วินาที เป็นค่าบน H20 เท่านั้น เครื่องอื่นจะต่างออกไป

ควรใช้เมื่อไร

ก้าวแรกที่เล็กที่สุด

1. ตรวจว่าเครื่องมี Python 3.10 ขึ้นไป (อ่านจาก repo [S2])
2. รัน pip install -r requirements.txt
3. ดาวน์โหลดโมเดลจาก Hugging Face ไปไว้ใน model/ หรือส่ง model ID ผ่าน --model
4. สร้างเสียงโดยไม่ใช้เสียงอ้างอิงก่อน: audio8_tts_infer.py --text "..." --output out.wav
5. เมื่อผ่านแล้วค่อยลองโคลนเสียงด้วย --reference-audio และ --reference-text

ชื่อพารามิเตอร์ข้างต้นอ่านจากหน้า repo ยังไม่ได้รันจริง ให้ตรวจกับ README อีกครั้งก่อนใช้

ทดสอบก่อน/หลัง (ตั้งเกณฑ์ผ่านก่อนรัน)

🧠 ทดสอบความเข้าใจ

🔍 ภาพรวมโปรเจกต์

Audio8-TTS เป็นโมเดลแปลงข้อความเป็นเสียงพูด (TTS) แบบโอเพนซอร์ส ผู้พัฒนาใช้ชื่อ "SOTA-Class TTS at Compact Scale" และเรียกรุ่นหลักว่า Preview [S2] ส่วน Source 1 เรียกว่าอยู่ในช่วง beta [S1]

🧩 รุ่นของโมเดล

รุ่น 0.6B (Preview)

• มี 601,159,424 พารามิเตอร์ ไม่รวม codec (อ่านจาก repo [S2])
• Slow AR 24 ชั้น Fast AR 4 ชั้น ความกว้าง 896 ทั้งคู่ (อ่านจาก repo [S2])
• มี 10 acoustic codebooks ขนาด 4,096 รายการ ใช้ codec 44.1 kHz และบริบทสูงสุด 2,048 ตำแหน่ง (อ่านจาก repo [S2])
• ออกแบบ DualAR โดยได้แรงบันดาลใจจาก Fish Audio S2 Pro (อ่านจาก repo [S2])

รุ่น 0.1B

• เปลี่ยน slow backbone เป็น Falcon-H1 แบบไฮบริด (Mamba 2 ร่วมกับ attention) มี checkpoint บน Hugging Face และชุด ONNX INT8 ของตัวเอง (อ่านจาก repo [S2])
• Source 1 ระบุว่ารุ่นนี้มี "100 ล้าน" หน่วย ซึ่งตรงกับ 0.1B [S1]

เปรียบเทียบรุ่นที่ใช้ได้

⚙️ วิธีใช้งานตามวิธีการ

1. สร้างเสียงด้วย Python (GPU)

audio8_tts_infer.py รองรับสามโหมด (อ่านจาก repo [S2])

แนวปฏิบัติที่ดี: ข้อความต่อครั้งไม่เกิน 150 ตัวอักษร ถ้ายาวกว่านั้นให้แบ่งก่อน [S2]

2. รันบน CPU ด้วย ONNX Runtime

• โฟลเดอร์ onnx_runtime/ ให้ชุดติดตั้งแยกอิสระ ใช้น้ำหนัก INT4 และ activation แบบ FP16 มี CLI, บริการ HTTP และเสียงสตรีมแบบ PCM (อ่านจาก repo [S2])
• ใช้หน่วยความจำราว 1 GiB บน Apple M2 (อ่านจาก repo [S2])
• โฟลเดอร์ onnx_runtime_0_1b_int8/ สำหรับรุ่น 0.1B
• Source 1 กล่าวว่ามีเวอร์ชัน ONNX ที่รันบน CPU ได้ ตรงกับ repo [S1][S2]

3. ให้บริการด้วย SGLang Omni

• เป็นบริการที่เข้ากันได้กับ OpenAI รองรับเสียงอ้างอิง dynamic batching และสตรีมแบบเลือกได้ (อ่านจาก repo [S2])
• ค่าเริ่มต้น: BF16 บน GPU เดียว พอร์ต 8010 ชื่อโมเดล audio8/tts-0.6b (อ่านจาก repo [S2])
• adapter ตรึงที่ SGLang Omni commit หนึ่งและต้องใช้ Transformers 4.x (อ่านจาก repo [S2])

4. Fine-tune

ขั้นตอนมีสามขั้น (อ่านจาก repo [S2])

1. สร้าง raw manifest
2. คำนวณ codec indices ล่วงหน้าด้วย audio8_tts_prepare.py
3. เทรนด้วย audio8_tts_sft.sh ใช้ GPU เดียวหรือหลายตัว และเลือกแช่แข็ง slow หรือ fast branch ได้

flowchart TD
    A[ข้อความ ไม่เกิน 150 ตัวอักษร] --> B{มีเสียงอ้างอิง?}
    B -- มี --> C[ส่งเสียงอ้างอิง + ข้อความถอดเสียง]
    B -- ไม่มี --> D[สร้างเสียงปกติ]
    C --> E{มี GPU?}
    D --> E
    E -- มี --> F[Python infer หรือ SGLang Omni]
    E -- ไม่มี --> G[ONNX Runtime บน CPU]
    F --> H[ไฟล์เสียง]
    G --> H

📊 ผลการวัดและความน่าเชื่อถือ

ข้อควรระวังในการอ่านตัวเลข: repo บอกเองว่า normalizer และ evaluator ที่ต่างกันทำให้การเทียบข้ามโปรเจกต์เป็นเพียงค่าประมาณ [S2] ตีความ: ยังไม่ควรสรุปว่าดีที่สุดโดยรวม จนกว่าจะมีผลวัดอิสระหรือผลจากชุดประโยคของคุณเอง

⚖️ จุดที่ Source ขัดหรือต่างกัน

⚠️ Risks

⚠️ Warning การโคลนเสียงใช้เลียนแบบหรือหลอกลวงได้ ต้องขอความยินยอมเจ้าของเสียงและเคารพสิทธิความเป็นส่วนตัวก่อนทุกครั้ง [S1][S2] repo แนะนำให้บอกผู้ฟังด้วยว่าเป็นเสียงสังเคราะห์ [S2]

ข้อจำกัดและความเสี่ยง

ความเข้าใจผิดที่พบบ่อย

• โมเดลเล็กไม่ได้แปลว่าคุณภาพเท่ากันทุกรุ่น: ตัวเลข benchmark ที่อ่านมาเป็นของรุ่น 0.6B ไม่ใช่ 0.1B
• รันบน CPU ได้ ไม่ได้แปลว่าเร็วพอสำหรับงานโต้ตอบ เพราะยังไม่มีตัวเลขความเร็วบน CPU
• ใบอนุญาต Apache 2.0 อนุญาตให้ใช้ซอฟต์แวร์ ไม่ได้ให้สิทธิ์ใช้เสียงของบุคคลใด

ข้อมูลที่ยังขาด

• ความเร็วบน CPU และคุณภาพของ INT4 เทียบกับรุ่นเต็ม
• benchmark ของรุ่น 0.1B
• ผลการประเมินจากบุคคลภายนอก
• ความต้องการหน่วยความจำของ GPU

✅ Decision / next steps

✅ Recommendation เริ่มจากรุ่น 0.6B บนเครื่องที่มี GPU เพื่อเทียบคุณภาพก่อน แล้วลอง ONNX บน CPU หรือรุ่น 0.1B ถ้าต้องการรันเบา ใช้ชุดประโยคจริงของคุณเป็นเกณฑ์ตัดสิน อย่าใช้ตัวเลข benchmark ของผู้พัฒนาเป็นเกณฑ์เดียว

Sources

ตัวย่อที่ใช้ในหน้านี้

คำอธิบายในตารางมาจากความรู้ทั่วไป ไม่ใช่นิยามจาก Source: ทุกแถวยกเว้นค่าที่ระบุว่า repo รายงาน และ CV3 ที่ repo ไม่ได้ขยายชื่อ

Summary

• Audio8-TTS เป็นโมเดล TTS โอเพนซอร์ส (Apache 2.0) ที่โคลนเสียงแบบ zero-shot ได้ มี 11 ภาษา และไม่รวมภาษาไทย [S1][S2]
• มีสองขนาด คือ 0.6B และ 0.1B และมีชุด ONNX ที่รันบน CPU ได้ ใช้หน่วยความจำราว 1 GiB บน M2 [S1][S2]
• ตัวเลขดีเด่น (WER 1.506, RTF 0.116) เป็นผลที่ผู้พัฒนารายงานเอง ยังไม่ผ่านการตรวจอิสระ [S2]
• Source 1 ใช้หน่วยขนาดโมเดลคลาดเคลื่อน ให้ยึดตัวเลขพารามิเตอร์จาก repo
• ข้อความต่อครั้งไม่เกิน 150 ตัวอักษร ใช้คลิปอ้างอิงสะอาด ขอความยินยอมก่อนโคลน และทดสอบเองก่อนใช้งานจริง