Data Warehouse là gì? Kiến thức cơ bản về kho dữ liệu cho người mới

Những điểm chính

 

• Hiểu rõ Data Warehouse là hệ thống lưu trữ dữ liệu phục vụ phân tích

 

• Nắm các đặc tính quan trọng như tích hợp, bất biến, theo thời gian

 

• Hiểu cấu trúc gồm nguồn dữ liệu, ETL/ELT, lưu trữ, BI

 

• Phân biệt kiến trúc 1 tầng, 2 tầng, 3 tầng

 

• Biết các loại kho dữ liệu như EDW, ODS, Data Mart

 

• Hiểu vì sao doanh nghiệp cần Data Warehouse riêng

 

• Xem các ứng dụng thực tế trong nhiều ngành

 

Data Warehouse là gì?

 

Data Warehouse là hệ thống tập trung dữ liệu từ nhiều nguồn như CRM, ERP, website, marketing, kế toán… Sau đó dữ liệu được làm sạch, chuẩn hóa và lưu trữ để phục vụ phân tích dài hạn.

 

Khác với database thông thường:

 

• OLTP → xử lý giao dịch (thêm, sửa, xóa liên tục)

 

• Data Warehouse → tối ưu đọc và phân tích

 

Nói đơn giản:

 

• OLTP trả lời câu hỏi “đơn hàng này là gì?”

 

• Data Warehouse trả lời “doanh thu tháng này tăng hay giảm và vì sao?”

 

 

Đặc tính kỹ thuật của Data Warehouse

 

1. Hướng chủ đề (Subject-Oriented)

 

Dữ liệu được tổ chức theo business domain như:

 

• Khách hàng

 

• Sản phẩm

 

• Doanh thu

 

Không còn phụ thuộc vào cấu trúc hệ thống nguồn.

 

2. Tính tích hợp (Integrated)

 

Dữ liệu từ nhiều hệ thống được:

 

• Chuẩn hóa format

 

• Đồng bộ đơn vị đo

 

• Loại bỏ trùng lặp

 

Kết quả: một “single source of truth”.

 

3. Biến thiên theo thời gian (Time-Variant)

 

Dữ liệu luôn có yếu tố thời gian:

 

• Theo ngày / tháng / năm

 

• Lưu lịch sử

 

Phục vụ phân tích xu hướng, dự báo

 

4. Tính bất biến (Non-Volatile)

 

• Không update/xóa thường xuyên

 

• Chủ yếu append dữ liệu mới

 

Giữ nguyên lịch sử để audit và phân tích.

 

 

Các thành phần chính của Data Warehouse

 

1. Nguồn dữ liệu (Data Sources)

 

• Database (CRM, ERP, POS…)

 

• File (Excel, CSV)

 

• API

 

• Dữ liệu bên ngoài

 

2. ETL / ELT Pipeline

 

• Extract: lấy dữ liệu

 

• Transform: làm sạch, chuẩn hóa

 

• Load: đưa vào kho

 

Đây là phần quan trọng nhất của hệ thống.

 

3. Lớp lưu trữ (Storage)

 

• Database quan hệ

 

• Cloud Data Warehouse

 

• Object Storage

 

Dữ liệu thường tổ chức theo:

 

• Fact table (số liệu)

 

• Dimension table (ngữ cảnh)

 

4. Lớp truy vấn & BI

 

• Dashboard

 

• Báo cáo

 

• SQL query

 

Đây là nơi người dùng “xài” dữ liệu.

 

5. Metadata

 

• Định nghĩa dữ liệu

 

• Nguồn gốc dữ liệu

 

• Logic tính toán

 

6. Quản lý & điều phối

 

• Scheduler

 

• Monitoring

 

• Alert

 

 

Kiến trúc Data Warehouse

 

1. Kiến trúc 1 tầng

 

• Đơn giản

 

• Ít dùng hiện nay

 

2. Kiến trúc 2 tầng

 

• Source → ETL → Warehouse

 

• Phổ biến cho hệ thống vừa

 

3. Kiến trúc 3 tầng

 

• Source → Staging → Warehouse → BI

 

• Chuẩn enterprise

 

 Đây là kiến trúc nên dùng khi dữ liệu phức tạp.

 

Các loại Data Warehouse phổ biến

 

1. EDW (Enterprise Data Warehouse)

 

• Toàn bộ dữ liệu doanh nghiệp

 

• Dùng cho chiến lược

 

2. ODS (Operational Data Store)

 

• Gần realtime

 

• Dùng cho báo cáo vận hành

 

3. Data Mart

 

• Dữ liệu theo phòng ban

 

• Nhẹ, truy vấn nhanh

 

Vì sao doanh nghiệp cần Data Warehouse?

 

1. Không ảnh hưởng hệ thống vận hành

 

Truy vấn nặng không làm chậm website/app.

 

2. Dữ liệu dễ hiểu hơn

 

Từ:

→ thành:

3. Ra quyết định chính xác

 

• Dữ liệu đã chuẩn hóa

 

• Không bị lệch giữa các phòng ban

 

4. Lưu lịch sử dài hạn

 

• Phân tích trend

 

• Forecast

 

5. Hợp nhất dữ liệu

 

• Website

 

• CRM

 

• Marketing → về 1 chỗ duy nhất

 

Ứng dụng thực tế

 

Bán lẻ / E-commerce

 

• Phân tích hành vi mua

 

• Tối ưu tồn kho

 

• Đánh giá campaign

 

Tài chính / bảo hiểm

 

• Phân tích rủi ro

 

• Dự báo lợi nhuận

 

Y tế

 

• Theo dõi bệnh án

 

• Phân tích điều trị