Vectiq MLOps - Huấn Luyện, Triển Khai, Giám Sát
Nền tảng MLOps do chúng tôi tự xây: dataset có phiên bản, huấn luyện theo dõi bằng MLflow, model registry có quality gate, endpoint dùng API key kèm canary và shadow, giám sát drift và độ chính xác, cùng feature store
Tổng quan
Vectiq MLOps là nền tảng chúng tôi dùng để đưa một model từ dataset tới endpoint production và giữ nó đúng sau đó. Sáu service FastAPI đứng sau một gateway duy nhất: collaboration (tài khoản, project, nhật ký, thông báo), training, model registry, inference, monitoring và feature store, kèm worker Celery cho huấn luyện, chấm điểm theo lô và các việc định kỳ.
Một job huấn luyện lưu bước tiền xử lý và estimator thành một pipeline, đóng gói bằng skops thay vì pickle, nên lúc serving không thể lệch với lúc train. Muốn lên production, version phải qua quality gate và, nếu project yêu cầu, thêm một người duyệt thứ hai.
Endpoint xác thực bằng API key, chia traffic cho canary, sao chép request sang version shadow và ghi log mọi lời gọi; service monitoring so dữ liệu thật với baseline lấy từ dữ liệu train và tổng hợp nhãn thực tế thành độ chính xác. Khi drift hoặc độ chính xác vượt ngưỡng của policy, một lần train lại tạo model thách đấu và so với model đang chạy trên cùng tập holdout trước khi thay đổi bất cứ thứ gì.
Nền tảng chạy bằng Docker Compose trên một máy chủ hoặc trên Kubernetes với mỗi endpoint một deployment riêng, có unit test, test end-to-end và Playwright. Các sản phẩm geo của chúng tôi dùng nó làm tầng model.