Mọi trợ lý giọng nói đều phải trả lời một câu hỏi kiến trúc trước tiên: một model vừa nghe vừa nói, hay ba model chuyền lượt cho nhau? Câu trả lời quyết định sàn độ trễ, chi phí mỗi phút, mức độ kiểm soát câu chữ, và việc trợ lý có đọc được file PDF người dùng vừa gửi hay không.
Assistant Core có cả hai, dưới tên Standard và Realtime, và người dùng có thể chuyển qua lại giữa chừng cuộc trò chuyện. Bài này là bản so sánh mà chúng tôi ước có từ đầu: mỗi chế độ là gì, chúng tôi đo được gì, và bảng quyết định.
Hai kiến trúc
Standard là pipeline nhiều bước. Bộ phát hiện giọng nói (VAD) quyết định khi người dùng ngừng nói. Âm thanh đi tới model nhận dạng giọng nói (ASR). Bản ghi đi tới model chat, nơi có prompt, trí nhớ, kho kiến thức và công cụ của trợ lý. Câu trả lời được stream tới model tổng hợp giọng nói (TTS) và phát theo từng câu. Mỗi bước là một model riêng mà bạn chọn độc lập: trên production chúng tôi dùng Soniox, xAI, ElevenLabs và OpenAI cho ASR; bất kỳ model chat nào cho LLM; và xAI, Soniox hoặc ElevenLabs cho TTS.
Realtime là một model speech-to-speech song công. Âm thanh stream hai chiều trong một phiên; model nghe, suy luận và nói mà không bao giờ tạo ra bản ghi trung gian để bạn kiểm soát. Nó có thể bị ngắt lời tự nhiên, và gọi đúng những công cụ trợ lý đang có. Chúng tôi chạy Gemini Live, OpenAI Realtime và xAI Grok Voice.
Không cái nào là "cái hiện đại hơn". Chúng tối ưu cho những thứ khác nhau.
Độ trễ: chúng tôi đo được gì
Con số người dùng cảm nhận là khoảng lặng giữa lúc họ nói xong và âm thanh đầu tiên của câu trả lời. Từ benchmark trên các đoạn tiếng Việt và tiếng Anh:
| Bước | Standard | Realtime |
|---|---|---|
| ASR chốt bản ghi sau khi ngừng nói | ~0,27 s (Soniox) | không có |
| Ngừng nói → âm thanh đầu tiên | ~1,8 s | ~0,7 s |
Realtime thắng hơn một giây, và một giây đó là khác biệt giữa "như đang gọi điện" và "như một tổng đài tự động rất nhanh". Pipeline Standard mất thời gian ở ba vòng mạng và ở thời gian ra token đầu tiên của LLM; một model chat nhanh và TTS stream theo câu giữ nó dưới hai giây, nhưng khó xuống thấp hơn nhiều nếu không gộp các bước lại.
Nếu nhu cầu của bạn là hỏi đáp ngắn trên thiết bị không màn hình, khoảng cách đó là toàn bộ sản phẩm. Nếu người dùng hỏi trợ lý hỗ trợ một câu về chính sách, 1,8 giây là ổn, và ba phần tiếp theo quan trọng hơn.
Độ chính xác và khả năng kiểm soát
Pipeline cho bạn bản ghi, câu trả lời dạng văn bản, và quyền chọn model ở mọi bước. Nghĩa là:
- Model chat tuân theo prompt và tài liệu của bạn. Cùng model và cùng cơ chế truy xuất trả lời chat văn bản cũng trả lời lượt nói, nên độ chính xác trên nội dung riêng của bạn giống hệt chat.
- Bạn chọn ASR cho ngôn ngữ của mình. Chất lượng nhận dạng tiếng Việt chênh lệch rất lớn giữa các nhà cung cấp; có thể đưa tiếng Việt qua Soniox và giữ nguyên mọi thứ khác là lý do chúng tôi xây pipeline quanh một registry nhà cung cấp.
- Bạn chọn giọng. Bất kỳ giọng TTS, tốc độ và ngôn ngữ nói nào, theo từng trợ lý hoặc từng người dùng.
- File hoạt động. Người dùng có thể đính kèm ảnh hoặc PDF và hỏi bằng giọng nói. Phiên Realtime không nhận đính kèm; file sẽ chờ tới lượt Standard tiếp theo.
Model speech-to-speech đánh đổi sự kiểm soát đó lấy sự tự nhiên. Nó dùng giọng của riêng nó, cách hiểu âm thanh của riêng nó, và tự phán đoán khi nào nên nói. Nó giỏi hơn về ngữ điệu, nhịp điệu và ngắt lời, và khó lái sát theo một tài liệu hơn. Với trợ lý chào hỏi và trả lời FAQ không được phép tự bịa giá, đó là một cái giá thật.
Chi phí mỗi phút
Cách tính khác nhau, và dải giá cũng khác:
- Standard trả theo phút âm thanh cho ASR, theo 1.000 ký tự cho TTS, và theo token cho model chat. Với model chat tiết kiệm, tổng cộng chỉ vài credit mỗi phút ở mức giá hiện tại.
- Realtime trả theo phút phiên, và dải giá giữa các model rất rộng: khoảng 45 credit mỗi phút ở model realtime rẻ nhất tới khoảng 700 ở model đắt nhất, tại thời điểm viết bài. Mức giá hiện hành theo từng model nằm trong tài liệu credit.
Với trợ lý cá nhân dùng vài phút mỗi ngày, Realtime vừa túi và cảm giác tốt hơn. Với đường dây hỗ trợ chạy nhiều giờ, Standard là chế độ giữ hóa đơn phẳng, và lựa chọn model ở từng bước là chỗ bạn tinh chỉnh. Phiên realtime cũng cần đủ số dư cho ít nhất một phút trước khi bắt đầu, và kết thúc khi số dư cạn, nên ngân sách cần dư địa.
Bảng quyết định
| Chọn Standard khi | Chọn Realtime khi |
|---|---|
| Câu trả lời phải bám sát tài liệu và hướng dẫn | Cuộc trò chuyện cần giống một cuộc gọi |
| Người dùng gửi ảnh hoặc tài liệu | Người dùng hỏi đáp ngắn, qua lại liên tục |
| Bạn cần một model chat, ASR hoặc giọng TTS cụ thể | Độ trễ thấp quan trọng hơn chi phí |
| Bạn muốn có lời chào bằng giọng nói | Thiết bị không có màn hình và giọng nói là toàn bộ giao diện |
| Chi phí mỗi phút phải thấp ở quy mô lớn | Ngắt lời và chuyển lượt tự nhiên là quan trọng |
Standard là mặc định trên trợ lý mới. Nếu không có model realtime nào đang bật, ứng dụng ở lại Standard và báo rõ.
Một runtime, cả hai chế độ
Lý do thực tế để có cả hai trong một runtime là lựa chọn này hiếm khi cố định. Một sản phẩm có thể bắt đầu bằng Standard vì độ chính xác và chi phí, mở Realtime cho người dùng muốn, rồi đổi mặc định theo từng trợ lý về sau mà không đụng tới phần tích hợp. Ứng dụng trên trình duyệt, thiết bị ESP32 và voice WebSocket của Developer API đều nói chuyện với cùng một runtime, và phiên Standard qua API còn có thể yêu cầu sự kiện cảm xúc và ghi đè ngôn ngữ phiên.
Nếu bạn muốn nghe thử thay vì đọc, trang chủ có nút gọi thử chạy trên chính runtime này. Về phía thiết bị, hãy đọc cách chúng tôi chuyển âm thanh ESP32 sang MQTT + UDP và vì sao khử tiếng vọng quyết định việc ngắt lời có hoạt động hay không.