ICE – Giải pháp Data Warehouse

Đơn vị: AdtechThành viên: Trần Văn Giang, Nguyễn Trọng Thành

Đặt vấn đề về bài toán. Các giải pháp truyền thống. Các giải pháp về Data Warehouse (DW). Giải pháp ICE. Kết quả đạt được. Đánh giá.

Nội dung trình bày

Yêu cầu:◦ Dữ liệu cập nhật/tính toán nhanh.◦ Có khả năng lưu trữ/tính toán dữ liệu lớn (hàng 100 tỷ

rows).◦ Tối ưu chi phí tài nguyên hệ thống, maintains.◦ Tính tương thích & ổn định.

Đặt vấn đề về bài toán

Các giải pháp truyền thống

Trên thế giới có rất nhiều giải pháp DW, với nhiều công nghệ đặc thù cho từng giải pháp.

Các giải pháp DW

Giải pháp ICE

Giải pháp ICE(ICE Optimizer)

◦ Tốc độ load data vào table rất nhanh. 1 server thông thường cho tốc độ khoảng 60->80GB/h.

◦ Data up to 50TB.◦ Open source: cho phép install trên cả windows ,Linux,…

(32 & 64 bit).◦ Chỉ cần setup lên 1 server là chạy tốt.

Giải pháp ICE

Ứng dụng cho bài toán của Admicro: ◦ Máy chủ 2U 2CPU Quad Cores, 32Gb RAM, HDD 6TB

RAID10.

◦Dữ liệu log hàng ngày khoảng 500M rows ~ 100GB raw data (Peak 1.6B rows ~400Gb/day).

◦Dữ liệu hiện đang lưu trữ: 90 tỷ bản ghi, dữ liệu >1TB (đã nén).

◦Thời gian xử lý 2->5 phút.

Kết quả

Sử dụng ICE giúp giảm số servers… chi phí tối thiểu. Thời điểm hiện tại ICE là phù hợp với Admicro.

Nhưng ICE chưa phải là giải pháp lâu dài. (chưa hỗ trợ distributed, HA, giới hạn data size,… ).

Trong tương lai với data hàng PB thì sẽ chuyển sang các nền tảng phân tán như Hbase, HyperTable, Cassandra…

Đánh giá

http://www.infobright.org/ http://blog.nahurst.com/visual-guide-to-nosql-systems?c=1http://www.slideshare.net/jrosoff/scalable-event-analytics-with-mongodb-ruby-on-railshttp://nosql-database.org/

Tham khảo

Cảm ơn!Câu hỏi liên quan?