Starten met Infobright (open source versie 3.2)

Daan Blinde, 7 november 2009

OPEN SOURCE DOWNLOADS :

http://www.infobright.org/Download/ICE/

Mijn installatie InfobrightMIJN DOWNLOADS :

Link naar MySQL tools

Configuratie / InstellingenLaptop Acer Aspire 77203 GB internCore 2 Duo processor T5550 1,83 GHz

BRIGHTHOUSE.INIServerMainHeapSize= 900# ServerMainHeapSize - Size of the main memory heap in the server process, in MB

ServerCompressedHeapSize= 300# ServerCompressedHeapSize - Size of the compressed memory heap in the server process, in MB.

LoaderMainHeapSize= 340# LoaderMainHeapSize - Size of the memory heap in the loader process, in MB.

1. Maak extract uit Datawarehouse

Met Header werkte het laadscript niet bij mij.

5 jaren :

- 12,3 GB- 30 miljoen rijen- 40 kolommen

Maak met Pentaho Data Integration een nieuwe Transformatie

2a. Laad tekst files in Infobright

Infobright is een storage engine op MySQL

load data infile 'c:/data/dwh/f_verrichtingen_2009.txt' into table if_verrichtingen fields terminated by ';' enclosed by '"';

2b. Laad tekst files in Infobright

Ik heb hier gebruik gemaakt van SQL scripts en niet van de bulk loader in Pentaho

LET OP: belangrijk om de engine INFOBRIGHT te kiezen !

Laadtijd : 2 uur 15 min.

3. Laadtijd

Laden in de open source versie blijkt veel meer tijd te vergen dan de commerciele versie. Zie ook: http://www.infobright.org/Forums/viewthread/566/

Ter vergelijking heb ik alleen het jaar 2009 geladen in een ‘normale’ mysql tabel (engine=myisam). Dit kostte 1 uur en 15 min. Dus voor de 5 jaren zou ik totaal op ongeveer 8 uur uitkomen !

Laadtijd tekstbestanden naar mysql : 8 uur !

4. Compressie

Compressie : De bestandscompressie die wordt toegepast is enorm.Van 12,3 GB naar 777 MB (nog maar 6% van oorspronkelijke omvang !)

Grootte = 777 MB

Compressie standaard mysql opslagVoor alleen 2009= 9 MBTotaal zou dit neerkomen op 6 GB(dit is 50% van oorspronkelijke omvang)

5. Query performance

• Wordt vervolgd !