Tháng trước một khách hàng tiềm năng hỏi chúng tôi: "Các anh đã làm chatbot RAG đọc tài liệu rồi. AI Mentor chẳng phải cùng một thứ với một trang giới thiệu khác sao?"
Câu hỏi hợp lý, và câu trả lời trung thực là không - nhưng lý do không nằm ở danh sách tính năng, mà ở chỗ mỗi cái giải bài toán nào.
Việc của chatbot kết thúc ở câu trả lời
Một chatbot truy xuất được đo bằng đúng một thứ: người hỏi có nhận được câu trả lời đúng, có căn cứ, và nhanh hay không. Khi nó chạy tốt thì giá trị là thật. Nhân viên hỗ trợ thôi cắt ngang người có kinh nghiệm, khách nhận câu trả lời nhất quán, và câu trả lời trích dẫn đúng đoạn nguồn nên không ai phải tin vào trí nhớ của mô hình.
Rồi cuộc hội thoại đóng lại và hệ thống quên sạch người đó. Câu hỏi tiếp theo bắt đầu từ con số không. Hỏi đúng nhân viên ấy đúng câu hỏi chính sách đó vào tháng Ba, họ sẽ lại tra lần nữa, vì tra cứu là toàn bộ những gì hệ thống từng dạy họ làm.
Với một trợ lý phục vụ khách hàng, đó là thiết kế đúng. Chẳng ai muốn một chatbot bán hàng đem tuần trước ra kiểm tra mình.
Việc của hệ thống đào tạo bắt đầu từ câu trả lời
Với quy trình nội bộ, đúng hành vi đó lại là thất bại. Một nhân viên phải tra luật chuyển cấp mỗi lần là một nhân viên không xử lý được khi khách còn đang trên máy. Mục tiêu không phải trả lời câu hỏi, mà là làm cho câu hỏi đó không còn cần thiết.
Điều đó đòi hỏi thứ mà chatbot cố ý không có: một mô hình theo từng người về cái gì đã học được và cái gì đang tuột đi. AI Mentor giữ mô hình đó.
- Mỗi tài liệu quy trình trở thành các mục kiểm tra, sinh từ chính tài liệu ấy.
- Mỗi câu trả lời của một người được ghi lại theo người đó và mục đó.
- Lượt ôn kế tiếp do FSRS lập lịch - theo từng người, từng thẻ - vào đúng ngày mô hình dự đoán khả năng nhớ rơi xuống dưới ngưỡng.
Chúng tôi dựng demo AI Mentor quanh bộ lập lịch chứ không quanh một khung chat, chính vì một khung chat sẽ trông y hệt demo Gen AI ở cách đó hai trang. Chấm một thẻ là "Quên" và xem độ bền của nó sập xuống, lịch ôn nhảy về ngày mai. Chính phép tính lại đó mới là sản phẩm.
Sao không thêm trí nhớ vào chatbot cho xong?
Chúng tôi đã thử đúng lối tắt hiển nhiên đó: lưu lịch sử từng người đã hỏi gì rồi dùng nó để cá nhân hóa câu trả lời. Nó không hiệu quả, vì một lý do rất dễ bỏ sót.
Việc một người đặt câu hỏi cho biết họ đã không biết câu trả lời. Nó không cho biết bây giờ họ có biết hay không, và tháng sau có còn biết hay không. Nhật ký tra cứu là hồ sơ về sự thiếu hiểu biết tại một thời điểm; nhật ký ôn tập là hồ sơ về khả năng nhớ theo thời gian. Cái thứ hai mới là thứ cần để lập lịch, và bạn không suy ra được nó từ cái thứ nhất.
Bạn còn cần người học được kiểm tra, chứ không chỉ được thông báo. Người đọc một câu trả lời được sinh ra sẽ thấy mình đã hiểu - sự trôi chảy của một lời giải thích tốt thường xuyên bị nhầm với năng lực. Chỉ một lần cố nhớ lại về sau, không có trợ giúp, mới phân biệt được hai thứ đó.
Chọn cái nào
Ranh giới trung thực chúng tôi đưa cho khách:
- Bạn cần câu trả lời đúng, nhanh, ở quy mô lớn - trợ lý cho khách hàng, helpdesk nội bộ, hỏi đáp tài liệu. Đó là Gen AI & Agent. Dùng một hệ đào tạo ở đây là thừa và gây khó chịu.
- Bạn cần người ta thạo việc mà không cần công cụ - quy trình có quy định, đào tạo người mới, bất cứ chỗ nào mà ngập ngừng trước mặt khách là mất tiền - đó là AI Mentor. Một chatbot đặt ở đây là cái nạng âm thầm ngăn đúng việc học mà nó trông như đang mang lại.
- Thường là cần cả hai. Chatbot lo cái đuôi dài mà không ai nên học thuộc. Người kèm lo hai mươi quy trình mà ai cũng phải thuộc nằm lòng.
Cách đo cũng đổi
Đây là phần quyết định bạn thật sự đã mua cái nào. Chatbot báo cáo tỉ lệ giảm tải và chất lượng câu trả lời. Một hệ thống đào tạo phải báo cáo mức ghi nhớ: bao nhiêu phần trăm đội ngũ nói được chính sách này mà không cần tra, và con số đó có đang đi lên hay không.
Nếu một nhà cung cấp bán cho bạn hệ thống đào tạo rồi báo cáo số phút sử dụng, thứ họ bán là một chatbot kèm danh mục khóa học.