Bỏ qua đến nội dung chính
Runtime architecture

AI assistant runtime cho web, voice và thiết bị thông minh.

Assistant Core gom identity, prompt, model, voice pipeline, knowledge, memory, Tool/MCP và device gateway vào một runtime thống nhất để assistant chạy nhất quán trên nhiều điểm chạm.

Web chat & browser voiceVoice WebSocket & MQTTKnowledge, memory, Tool/MCP
Sơ đồ Assistant Core runtime kết nối web, app, thiết bị thông minh, voice, memory, knowledge base và tools
5 lớp
Intelligence, voice, tool, integration và operations
1 assistant
Một cấu hình dùng chung cho nhiều kênh
Realtime
Streaming chat, voice và device events

Runtime này giải quyết những lớp nào?

Thay vì tự ghép nhiều dịch vụ rời rạc, đội sản phẩm có một assistant runtime có thể cấu hình, vận hành và mở rộng theo từng tenant.

Assistant intelligence

Mỗi assistant có identity, system prompt, model stack, knowledge base, memory và domain riêng.

  • Prompt và persona theo từng assistant
  • Knowledge base dùng RAG với tài liệu riêng
  • Long-term memory truy xuất theo ngữ cảnh

Voice runtime

Pipeline voice realtime xử lý từ microphone đến phản hồi âm thanh mà không đẩy reasoning nặng xuống thiết bị.

  • VAD, ASR, LLM và TTS trong một luồng
  • Browser voice cho web assistant
  • Speech-to-speech cho thiết bị không màn hình

Tool/MCP execution

Assistant có thể gọi API, built-in tool, MCP server hoặc tool phía thiết bị để thực hiện hành động.

  • Tool calling có kiểm soát
  • Kết nối MCP server và endpoint
  • Device-side capability qua gateway

Integration surface

Cùng một assistant có thể xuất hiện trong web, app, embedded widget, API, WebSocket hoặc thiết bị IoT.

  • Chat API cho sản phẩm web/app
  • Voice WebSocket cho audio realtime
  • MQTT gateway cho smart device

Operations layer

Admin quản lý assistant, user, role, devices, conversations, quota và trạng thái vận hành.

  • RBAC theo từng assistant
  • Dashboard và conversation history
  • Device activation và owner binding

Multi-tenant foundation

Mỗi assistant là một runtime riêng, có domain, cấu hình, data và quyền truy cập tách biệt.

  • Tenant isolation theo request
  • Domain và branding riêng
  • Cache assistant context theo domain
Runtime architecture

Từ một assistant đến nhiều điểm chạm

Runtime được thiết kế để team bắt đầu trên web, sau đó mở rộng sang voice, thiết bị và automation mà không phải tạo lại assistant từ đầu.

01

Tạo assistant và cấu hình prompt

Định nghĩa tên, URL, system prompt, model và brand voice cho assistant.

02

Thêm knowledge và memory

Upload tài liệu, website hoặc dữ liệu nội bộ để assistant trả lời có căn cứ và nhớ ngữ cảnh quan trọng.

03

Kết nối Tool/MCP

Cho assistant gọi API, workflow, dữ liệu nghiệp vụ hoặc capability trên thiết bị.

04

Triển khai web, voice và device

Mở assistant trên web, nhúng widget, dùng Voice WebSocket hoặc ghép thiết bị qua MQTT gateway.

Runtime khác gì một chatbot UI?

Chatbot UI thường chỉ xử lý giao diện hội thoại. Runtime của Assistant Core quản lý cả prompt, model, voice pipeline, memory, knowledge base, Tool/MCP, device connection, role và quan sát vận hành.

Thiết bị thông minh có cần chạy model local không?

Không bắt buộc. Thiết bị có thể giữ microphone, speaker, sensor hoặc actuator, còn cloud runtime xử lý ASR, LLM, memory, tool và TTS.

Một assistant có dùng chung cho web và device được không?

Có. Đây là mục tiêu chính: cùng một assistant dùng chung prompt, knowledge, memory, tool và policy trên web assistant, voice browser, widget và thiết bị thông minh.