Công ty nào chúng tôi làm việc cùng cũng có một thư mục tài liệu quy trình. Gần như không công ty nào trả lời được câu hỏi đội ngũ có nắm được những gì trong đó hay không. Tài liệu tồn tại, ai đó đã ký xác nhận đã đọc, và sáu tuần sau khách hàng vẫn nhận một câu trả lời sai.
AI Mentor là thứ chúng tôi xây sau khi chấp nhận rằng tài liệu không phải là vấn đề. Vấn đề là đọc một thứ đúng một lần thì nó không nằm lại trong đầu ai cả.
Truy xuất, kèm hóa đơn chứng từ
Việc đầu tiên là trả lời câu hỏi từ chính tài liệu quy trình chứ không phải từ kiến thức chung của mô hình. Tài liệu được tách thành đơn vị kiến thức, nhúng bằng pgvector, và truy xuất làm ngữ cảnh lúc trả lời.
Chi tiết quan trọng là phần trích dẫn. Một câu trả lời nói "chuyển cấp hai sau 30 phút" tự nó vô dụng, vì người đọc không phân biệt được con số đó lấy từ tài liệu quy trình hay từ cảm nhận của mô hình về một chính sách hỗ trợ thông thường. Mọi câu trả lời đều mang theo đoạn văn nó lấy ra. Khi mô hình không có gì để trích dẫn, hành vi đúng là nói rằng quy trình chưa đề cập - và chính điều đó là một phát hiện hữu ích, vì nó nghĩa là ai đó cần viết thêm đoạn ấy.
Đề kiểm tra sinh ra từ cùng nguồn
Một quy trình vừa viết xong chưa phải là tài liệu đào tạo. Phải có người biến nó thành câu hỏi, và người đó thì không bao giờ có thời gian.
Nên câu hỏi được sinh từ chính tài liệu: câu hỏi kiểm tra và thẻ ghi nhớ, buộc ngược về đơn vị kiến thức đã sinh ra chúng. Một quy trình mới trở thành đào tạo được ngay trong ngày ban hành. Việc sinh câu hỏi không phải phép màu và không phải lúc nào cũng đúng - nó xem lại được, và một câu hỏi tồi thì sửa chứ không chấp nhận.
Phần thật sự khiến kiến thức ở lại
Đây là chỗ phần lớn công cụ đào tạo nội bộ dừng lại, và cũng là lý do phần lớn chúng không hiệu quả. Một bài kiểm tra đo được hôm nay người ta có biết hay không. Nó không làm gì với sự thật rằng ba tuần nữa người ta sẽ không còn biết.
Việc lập lịch do FSRS đảm nhận. Mỗi thẻ có độ khó và độ bền riêng, và ngày ôn tiếp theo được tính cho từng người trên từng thẻ dựa vào lịch sử trả lời của họ. Người thấy chính sách hoàn tiền là hiển nhiên sẽ ít gặp lại nó. Người liên tục trả lời sai sẽ gặp thường xuyên, và gặp đúng lúc sắp quên chứ không theo một nhịp hằng tuần cố định làm mất thời gian vào thứ họ đã thuộc.
Lịch cố định tối ưu cho người quản trị khóa đào tạo, không phải cho người học. Nó đưa cùng một thẻ cho mọi người vào cùng một ngày bất kể họ đã thuộc nó cả năm nay hay chưa. FSRS mô hình hóa sự quên theo từng người trên từng mục, nên thời gian ôn tập đổ vào đúng chỗ đang bị quên.
Luyện tập không phải là làm trắc nghiệm
Thuộc quy trình và áp dụng được nó dưới áp lực là hai kỹ năng khác nhau, và trắc nghiệm chỉ đo được cái thứ nhất. Chế độ luyện tập đặt nhân viên vào một cuộc hội thoại với khách hàng khó tính và chấm cách xử lý theo đúng quy trình - họ có xác minh danh tính trước khi bàn về tài khoản không, họ có đưa ra phương án mà chính sách cho phép thay vì phương án khách hàng đòi hỏi không.
Bản báo cáo làm thay đổi chính tài liệu
Phần phân tích có theo từng người và từng chủ đề - đường cong quên, thống kê mức ghi nhớ, thẻ nào liên tục sai. Kết quả hữu ích nhất không phải là bảng xếp hạng nhân viên. Đó là danh sách những quy trình mà cả đội cùng trả lời sai.
Khi tám trên mười người sai cùng một mục, nhân viên không phải là vấn đề. Đoạn văn đó mơ hồ, hoặc mâu thuẫn với một đoạn khác, hoặc mô tả một quy trình không còn khớp với việc đội đang thực sự làm. Đó là lỗi của tài liệu, và nó vô hình cho tới khi bạn đo mức hiểu thay vì đo số buổi tham dự.
Mô hình chạy ở đâu
Nhà cung cấp LLM là một tham số cấu hình: OpenAI, Gemini, hoặc một endpoint Ollama hay vLLM tự vận hành. Với công ty mà quy trình chính là việc kinh doanh - quy tắc thẩm định, logic định giá, quy trình xử lý sự cố - khả năng giữ toàn bộ vòng lặp bên trong mạng của họ không phải là sở thích, mà là điều kiện để dùng hệ thống.