Nippur houdt ‘HDA op Hadoop’-hackathon

Bij Nippur stimuleren we graag de creativiteit en het kennisniveau van onze mensen. Hackathons zijn een leuke en interactieve manier om als team een middag lekker out-of-the-box te denken. Door met zijn allen of in kleinere teams met een vraagstuk aan de slag te gaan, krijg je de leukste en meest verrassende inzichten. Op 18 juli 2017 gingen we daarom in 3 teams aan de slag met een hackathon over de toepasbaarheid van Hadoop in ons werk. De vraag was hoe we een HDA (historisch data archief) in Hadoop konden bouwen en laden.

Hadoop en Big Data

Bij Nippur vinden we dat onze klanten zoveel mogelijk waarde moeten kunnen halen uit de beschikbare data. Twee zeer interessante ontwikkelingen die wij volgen, zijn Big Data in Hadoop en datavirtualisatie. En dan met name de impact van deze ontwikkelingen op de BI-architectuur. Dit levert interessante architectuurkeuzes op. Hoe sla je bijvoorbeeld je historische data op in Hadoop, zodat je hem kan bevragen zoals we gewend zijn van een traditioneel datawarehouse? Maar ook, hoe creëer en laad je deze historische data in een omgeving als Hadoop? Met deze laatste vraag gingen we aan de slag.

Resultaten ‘HDA op Hadoop’-hackathon

De uitdaging was om de voor- en nadelen van verschillende datamodellen boven tafel te krijgen. We stelden onszelf verschillende deelvragen zoals:

  • Hoe ga je met ‘end dates’ om als updates niet mogelijk zijn?
  • Heb je ze überhaupt nodig?
  • Hoe performen ‘full-load snapshot’- of ‘incremental load’-tabellen zonder ‘end date’ bij het bevragen?

In minder dan 3 uur tijd kregen alle drie de teams hun scenario werkend. Dat leverde ons interessante, leuke en soms verrassende inzichten op. Zo weten we nu bijvoorbeeld dat Quipu met niet al te veel moeite een HDA op Hadoop moet kunnen genereren. We kijken met veel plezier terug op een nuttige en creatieve hackathon.