VectiQ Data Lake - Lakehouse, BI & Hỏi Dữ Liệu Tiếng Việt
Lakehouse đang phát triển: model dbt, lịch Dagster, hỏi dữ liệu bằng tiếng Việt và lập hồ sơ dữ liệu, đang được ghép thành ba tầng Bronze, Silver và Gold
Tổng quan
Phần lớn doanh nghiệp chúng tôi làm việc cùng không thiếu dữ liệu; họ để nó ở nhiều nơi không bao giờ gặp nhau - hệ thống nghiệp vụ trên PostgreSQL và MySQL, ngân sách dự án trong Excel, kết quả AI ở một bucket khác - và báo cáo tháng được ghép bằng tay.
VectiQ Data Lake là lakehouse chúng tôi đang xây để gom các nguồn đó lại: bản ghi thô về object storage chuẩn S3 dưới dạng Parquet (Bronze), được làm sạch và ép kiểu (Silver), rồi thành mart nghiệp vụ cho tài chính, vận hành, kinh doanh và KPI điều hành (Gold). Các thành phần đã có và đang được ghép nối; chuỗi Bronze đến Gold chưa chạy trọn luồng.
Các model dbt làm sạch, ép kiểu, khử trùng lặp, băm trường thông tin cá nhân và lưu snapshot lịch sử khách hàng. Dagster lên lịch nạp dữ liệu hằng giờ và dựng tầng Gold hằng đêm. Dịch vụ NL2SQL nhận câu hỏi bằng tiếng Việt, để LLM viết câu SQL, và chỉ cho qua đúng một câu SELECT trên bảng tầng Gold có giới hạn số dòng trước khi DuckDB thực thi.
Một module lập hồ sơ tóm tắt bằng tiếng Việt cho bất kỳ bộ dữ liệu nào được tải lên và gắn cờ giá trị ngoại lai bằng 3-sigma và IQR. Dashboard BI, danh mục dữ liệu có lineage và feature store cho các sản phẩm AI là các bước sau.