Kho dữ liệu và nền tảng tổng hợp phân tích dữ liệu là những công cụ quan trọng trong việc quản lý và khai thác thông tin trong thời đại số.

Kho dữ liệu cho phép cơ quan nhà nước lưu trữ, quản lý và tổ chức dữ liệu từ nhiều nguồn khác nhau một cách tập trung và có hệ thống. Điều này giúp đảm bảo tính nhất quán, độ tin cậy và dễ dàng truy xuất thông tin khi cần thiết.

Nền tảng tổng hợp, phân tích dữ liệu cung cấp khả năng tổng hợp dữ liệu từ nhiều nguồn, chuẩn hóa dữ liệu, lưu trữ vào kho dữ liệu; phân tích, xử lý dữ liệu theo nhu cầu; trình diễn dữ liệu theo nhiều chiều từ đó làm công cụ giúp các cơ quan nhà nước sử dụng, khai thác dữ liệu một cách có hiệu quả phục vụ công tác chỉ đạo điều hành

Kiến trúc hệ thống

Chức năng của phần mềm

Phân hệ thu thập – xử lý dữ liệu

  • Quản lý cấu hình nguồn trích xuất dữ liệu
  • Quản lý phân loại luồng công việc trích xuất dữ liệu
  • Quản lý tập dữ liệu của luồng công việc trích xuất dữ liệu
  • Quản lý trạng thái của luồng công việc trích xuất dữ liệu
  • Quản lý biến cấu hình của hệ thống
  • Quản lý log của các luồng công việc thu thập dữ liệu

Phân hệ khai thác dữ liệu

  • Quản lý dashboard
  • Quản lý biểu đồ trình diễn dữ liệu
  • Quản lý nguồn kết nối dữ liệu
  • Quản lý cảnh báo cho người dùng qua email
  • Quản lý tùy chỉnh truy vấn dữ liệu

Phân hệ quản trị dữ liệu

  • Quản lý dòng chảy dữ liệu (Data lineage)
  • Quản lý tra cứu metadata, bảng dữ liệu
  • Quản lý phân loại metadata (Classification)
  • Quản lý từ điển thuật ngữ (Glossary)
  • Cung cấp API metadata, bảng dữ liệu phục vụ tích hợp hệ thống
  • Cung cấp API kiểu dữ liệu phục vụ tích hợp hệ thống
  • Cung cấp API phân loại phục vụ tích hợp hệ thống
  • Cung cấp API từ điển thuật ngữ phục vụ tích hợp hệ thống
  • Cung cấp API dòng chảy dữ liệu (Data lineage) phục vụ tích hợp hệ thống
  • Cung cấp API tìm kiếm metadata, bảng dữ liệu phục vụ tích hợp hệ thống

Tính năng kỹ thuật

  • Tuân thủ danh mục tiêu chuẩn kỹ thuật về ứng dụng CNTT trong cơ quan nhà nước (Ban hành kèm theo Thông tư số 39/2017/TT-BTTTT ngày 15/12/2017 của Bộ trưởng Bộ Thông tin và Truyền thông)
  • Tuân thủ các yêu cầu về tính năng kỹ thuật theo Quyết định số 2463/QĐ-BTTTT ngày 15 tháng 12 năm 2023 của Bộ Thông tin và Truyền thông.

Công nghệ sử dụng

  • Tầng thu nhận dữ liệu: Apache Airflow, Apache Kafka, WSO2 Streaming Integrator
  • Tầng lưu trữ dữ liệu: PostgreSQL, MongoDB, Apache Hadoop
  • Tầng xử lý dữ liệu : Apache Spark, Apache Presto
  • Tầng khai thác dữ liệu: Grafana, Apache Atlas, Apache Griffin