Ψαροκόκαλο...

Η χρονιά έχει ξεκινήσει με πολύ άγχος και πολύ στενοχώρια... Πολλά μέτωπα ανοιχτά, αποφάσεις σημαντικές που πρέπει να παρθούν, συναισθήματα που καταπνίγονται... Μέσα σε όλα αυτά όμως την Τετάρτη που μας πέρασε είχα μια σημαντική ευκαιρία να πάρω τα πάνω μου...  Προσεκλήθην από μια εταιρεία με την οποία διατηρώ συνεργασία και προσωπικές σχέσεις εδώ και χρόνια να μιλήσω για τη δουλειά μου σε ένα σεμινάριο που διοργανώθηκε στο ACEin σχετικά με τα Data Analytics και τις τεχνολογίες της Qlik... Το ακροατήριο ήταν στελέχη επιχειρήσεων που συμμετέχουν σε σχετικό μεταπτυχιακό πρόγραμμα που προφέρεται από το Οικονομικό Πανεπιστήμιο Αθηνών... Παρά το αρχικό άγχος, αν και δεν είναι η πρώτη φορά που κάνω κάτι παρόμοιο , ένιωσα καλά που μίλησα για τη δουλειά μου, για αυτά που κάνω τόσα χρόνια, σε ένα κοινό που έδειχνε να συμμερίζεται τις απόψεις μου και να κατανοεί τις εμπειρίες μου και ένιωσα ακόμα καλύτερα όταν στο τέλος της διάλεξης μου έγιναν ερωτήσεις και κανά δυο ήρθαν να πιάσουμε ...

Αν υπάρχει μια function την λειτουργία της οποίας οφείλει να γνωρίζει κάθε QlikView developer αυτή είναι η ApplyMap()... Είναι το αντίστοιχο της VLOOKUP() που χρησιμοποιούμε στο Excel, έχει πολύ καλό performance και λειτουργεί καλύτερα από ένα Left Join όταν προσπαθείς να εμπλουτίσεις το data model σου καθώς σου εξασφαλίζει ότι το mapping που επιχειρείς δεν θα έχει διπλοεγγραφές... Η σύνταξή της είναι εύκολη και τα οφέλη της πολλά, το documentation της Qlik είναι απόλυτα ικανοποιητικό ενώ υπάρχουν πάρα πολλές πηγές στο internet, από blog posts μέχρι videos, που εξηγούν και αναλύουν την χρήση της, κάποια ενδεικτικά links είναι και αυτά: link1 link2   link3   link4

Συνεχίζοντας από αυτό το post , θα προκύψει μια μεταβλητή ( vSelectedFile )  η οποία θα περιέχει το file name του αρχείου με το οποίο θέλουμε να δουλέψουμε... Το περιεχόμενο της μεταβλητής όμως θα είναι το full path name το οποίο ενδεχομένως δεν μας είναι χρήσιμο και χρειαζόμαστε απλά το όνομα του αρχείου και μόνο... Ας υποθέσουμε ότι το full path name είναι της μορφής: \\serverName\Folder1\Folder2\Folder3\FileName Το παρακάτω statement θα έχει σαν αποτέλεσμα το κομμάτι τoυ full path name που αντιστοιχεί στο FileName: Right(vSelectedFile,Len(vSelectedFile)-Index(vSelectedFile,'\',SubStringCount(vSelectedFile,'\')))

Το παρακάτω script γράφτηκε για να εξυπηρετήσει μια ανάγκη που προέκυψε στη δουλειά... Όταν το ολοκλήρωσα μου άρεσε πολύ και σκέφτηκα ότι θα ήταν καλό να το μοιραστώ... Το script φτιάχτηκε για την δική μου ανάγκη αλλά οι τεχνικές που περιέχονται μπορούν άνετα να χρησιμοποιηθούν και για άλλους λόγους, όποιος θέλει μπορεί να ρωτήσει... :)

(*) Το snapshot προέρχεται από αγγελία για θέση Business Intelligence Engineer σε πολύ γνωστή, πολυεθνική εταιρία πώλησης ηλεκτρικών ειδών... 

Εκεί στα τέλη του 2014, επηρεασμένος από το hype που κυριαρχούσε (και κυριαρχεί ακόμα) και από τη θέληση μου για εξέλιξη, προσωπική κι επαγγελματική, αποφάσισα να ανέβω στο τρένο που λέγεται Data Sciense ... Μέχρι τότε είχα μια δεκαετή καριέρα ως DWH / ETL Developer, είχα μόλις εισέλθει στον κόσμο των Analytics (βλέπε Qlikview ) και είχα διάθεση για κάτι νέο και μεγάλο, κατάλληλο για την νέα επαγγελματική αρχή που είχα κάνει από την αρχή εκείνης της χρονιάς στην Τράπεζα Πειραιώς...Είχαν προηγηθεί άρθρα που ανακήρυτταν την δουλειά του Data Scientist ως την πιο sexy του 21ου αιώνα , καινούργια buzzwords που συναντούσες όλο και συχνότερα όπως Big Data , Hadoop , MapReduce και η υπόσχεση ότι το Data Sciense θα διαμορφώσει το μέλλον τόσο σε προσωπικό όσο και παγκόσμιο επίπεδο...  Ασχολήθηκα πολύ με αυτό, επένδυσα και χρήμα και χρόνο ... Ξόδεψα τουλάχιστον 2 χρόνια από τη ζωή μου σε αυτή την υπόθεση προσπαθώντας να γίνω όσο καλύτερος γινόταν... Ήξερα από την αρχή ότι η Στατιστική...

Το Qlik community είναι μια εξαιρετική πηγή γνώσης για όλους τους Qlik Developers, είναι δύσκολο να έχεις μια απορία και να μην έχει ήδη απαντηθεί στα forum του... Λογικά δεν θα χρειαστεί κάποιος να ψάξει κάπου αλλού στο internet για να πάρει απαντήσεις στις Qlik αναζητήσεις του, υπάρχουν όμως κάποια blogs με Qlik θεματολογία τα οποία έχουν τιμητική θέση στο feedly μου... Είναι blogs που συντηρούν επιφανή μέλη της Qlik κοινότητας, consultants και developers που η γνώμη τους "μετράει" και με έχουν "ξελασπώσει" με κάποιο post τους ουκ ολίγες φορές... Τα Qlik blogs του timeline μου είναι τα: QlikView Cookbook : Το blog του θρύλου Rob Wunderlich είναι μια εξαιρετική πηγή για tips, utilities και νέα της Qlik κοινότητας... The Qlik Fix : Είναι το blog του Barry Harmsen, ενός εκ των συγγραφέων του πολύ καλού βιβλίου "QlikView 11 for Developers" ... Ενημερώνεται συχνά και στα σχόλια των posts του συχνά ξεκινάνε πολύ ενδιαφέρουσες συζητήσεις... Qlik ...

Το QlikView προσφέρει μια πληθώρα επιλογών όσων αφορά τη διαχείριση των χρηστών οι οποίοι θα έχουν πρόσβαση στο Access Point... Κάποιες από αυτές τις επιλογές χρησιμοποιούν NTFS Authorization (το οποίο χειρίζονται τα Windows) και κάποιες DMS Authorization  ( το οποίο χειρίζεται το QlikView)... Κάποιες από αυτές τις επιλογές δεν μπορούν να λειτουργήσουν παράλληλα ακριβώς λόγω αυτή της διαφοροποίησης στο Authorization, όπως ας πούμε ο Active Directory service provider (NTFS) με αυτόν του Custom Directory (DMS)... Αυτές τις ημέρες εμφανίστηκε μια ενδιαφέρουσα περίπτωση στην δουλειά όταν κλήθηκα να δώσω πρόσβαση στο QlikView  σε χρήστες οι οποίοι δεν ανήκαν στο εταιρικό Active Directory... Όπως προείπα η λύση του Custom Directory απορρίφθηκε αφού δεν ήταν συμβατά τα Authorization types των δύο service connectors (AD και Custom) οπότε η λύση που επιλέχθηκε ήταν αυτή του Local directory provider...  Όπως θα δούμε και στο σχετικό help page της QlikView  , o conne...

Μικρά tips που φάνηκαν χρήσιμα από τη δουλειά της εβδομάδας που πέρασε: Αν προσπαθούμε να φιλτράρουμε τα data που διαβάζουμε στο load script και να κρατήσουμε μόνο τις τιμές εκείνες που περιέχουν αριθμούς μπορούμε να χρησιμοποιήσουμε την function IsNum  ... Υπάρχουν όμως και περιπτώσεις που η  IsNum  θα επιστρέψει TRUE, πχ '3E4', διότι θα το θεωρήσει scientific numeric format, ενώ εμείς δεν θα θέλαμε κάτι τέτοιο... Μια καλή λύση για να αντιμετωπίσεις τέτοιου είδους προβλήματα είναι η παρακάτω γραμμή κώδικα την οποία απλώς προσθέτεις στο where statement: Len(Purgechar(Field, '0123456789'))=0 Links : Len , PurgeChar Θέλουμε να "καθαρίσουμε" το πεδίο που διαβάζουμε το οποίο είναι αριθμητικό αλλά έρχεται από το data source με προπορευόμενα μηδενικά (leading zeros) στα αριστερά της τιμής; Χρησιμοποιούμε το παρακάτω transformation και η δουλειά μας έχει γίνει: Replace(Ltrim(Replace(Field, '0', ' ')), ' ', '0') Links : Rep...

Το σημερινό post αφορά τρία links που περιέχουν πληροφορία εξαιρετικά χρήσιμη για εμένα, όπως αποδείχτηκε, τις προηγούμενες μέρες όταν και δούλευα πάνω σε μια εφαρμογή με ένα αρκετά sophisticated dashboard πωλήσεων... Το πρώτο, από το Analytics Vidhya , περιέχει ένα πολύ καλό οδηγό για τη δημιουργία Box Plot σε QlikView...  Το Box Plot δεν είναι ευρέως χρησιμοποιούμενο chart και απαιτεί αυτός που το διαβάζει να έχει κάποιες γνώσεις στατιστικής και να αντιλαμβάνεται κάποια βασικά μεγέθη αλλά είναι ένα chart που σε εκπαιδευμένα μάτια μπορεί να απεικονίσει γρήγορα και παραστατικά πολύ πληροφορία... Το δεύτερο link είναι και πάλι από το Analytics Vidhya  και είναι ένας εξαιρετικό οδηγός για το πως να ενσωματώσεις Google Maps στην  QlikView εφαρμογή σου χωρίς την χρήση  add ons ή την αναγκαστική χρήση του web view... Είναι μια αρκετά πολύπλοκη υλοποίηση η οποία περιγράφεται όμως βήμα βήμα και η οποία αν γίνει όπως πρέπει ανταμείβει με εξαιρετικά αποτελέσματα... ...

Έχασα 3 μέρες από τη ζωή μου δουλεύοντας ατελείωτες ώρες, δούλεψα Σαββάτο και Κυριακή (από το σπίτι) για να ανακαλύψω μόλις πριν μια ώρα ότι ο λόγος που δεν συμφωνούσαν τα νούμερα στο application που φτιάχνω ήταν μια γαμημένη στρογγυλοποίηση στον υπολογισμό του price, κάποια επιπλέον δεκαδικά ψηφία... Δεν ήταν κάποιο λάθος στον κώδικα της εφαρμογής, στα data της βάσης, κάποιο bug του QlikView αλλά μια γαμημένη στρογγυλοποίηση που δεν είχε γίνει...

Ας υποθέσουμε ότι έχουμε ένα dimension που περιέχει τα Materials που εμπορεύεται η εταιρεία μας και ένα measure που απεικονίζει το Revenue... Έστω ότι θέλουμε να κατασκευάσουμε ένα νέο calculated dimension το οποίο θα περιέχει μόνο τα πρώτα 20 Materials σε άθροισμα Revenue είτε για να το χρησιμοποιήσουμε σε ένα chart είτε για να το χρησιμοποιήσουμε σαν φίλτρο σε ένα drop down box... Η λύση είναι εξαιρετικά απλή και χρειάζεται μόνο η παρακάτω γραμμή κώδικα για να δημιουργήσει το  calculated dimension: Η μόνη διαφοροποίηση που υπάρχει ανάλογα με το που θα χρησιμοποιηθεί αυτό το calculated dimension είναι ότι όταν το χρησιμοποιήσουμε μέσα σε ένα chart πρέπει οπωσδήποτε να θυμηθούμε να επιλέξουμε την επιλογή "Suppress Null Values" στα dimension settings έτσι ώστε να μην επιστρέψει τιμές για τα nulls...

Συνήθως, όταν φτιάχνουμε ένα QlikView app, τα measures που χρησιμοποιούμε είναι συγκεκριμένα, αυτό που αλλάζει είναι η απεικόνισή τους είτε σε table like objects είτε σε γραφήματα διαφόρων ειδών, συνδυάζοντάς τα με όσα και όποια dimensions επιθυμούμε... Το best practice υπαγορεύει ότι τα measures πρέπει να φορτώνονται από το script στην τελική τους μορφή και να χρησιμοποιούνται χωρίς να γράφουμε πολύ κώδικα στα expressions των objects στο layout της εφαρμογής όμως δυστυχώς (ή ευτυχώς, δεν έχω αποφασίσει ακόμα) αυτό δεν συμβαίνει πάντα... Όταν το app είναι μικρό και τα objects λίγα, μια πιθανή αλλαγή στο calculation ενός ή περισσότερων από αυτά δεν είναι κάτι σπουδαίο, όταν όμως έχεις να κάνεις με apps τα οποία κουβαλάνε δεκάδες measures σε δεκάδες διαφορετικά objects τότε μια πιθανή αλλαγή του business logic δημιουργεί τεράστιο πονοκέφαλο στον developer... Το πρόβλημα αυτό αποφεύγεται με τον εξής απλό αλλά έξυπνο τρόπο... Κάθε ένα από τα measures που χρησιμοποιούμε γίνεται ένα va...

Έχουν υπάρξει πολλές φορές που χρειάζεται να ανοίξω ένα Qlik View application χωρίς να θέλω να δω το content του ή το layout, απλά να θέλω να ρίξω μια ματιά στον κώδικα του, για να θυμηθώ ενδεχομένως κάτι που έφτιαξα παλιότερα ή να πάρω κάποια ιδέα για κάτι που αναπτύσσω εκείνη την στιγμή... Κάποια applications μπορεί να είναι τεράστια και να "ζυγίζουν" πολλά Giga Bytes και να μην θέλω ή να μην έχω τον χρόνο να περιμένω το μηχάνημά μου να σηκώσει όλα αυτά τα Giga Bytes στην μνήμη για να τα ανοίξει... Ένας εύκολος τρόπος για να μπορέσεις να ανοίξεις το application χωρίς να περιμένεις όλα τα data να σηκωθούν στην μνήμη και να έχεις πρόσβαση στον κώδικα της εφαρμογής προσφέρεται από το default functionality του Qlik View desktop client... Από την λίστα των recent files, με  δεξί κλικ πάνω στο application που θέλουμε να ανοίξουμε επιλέγουμε την επιλογή "Open <ApplicationName> Without Data" ... Τι γίνεται όμως στην περίπτωση που δεν υπάρχει στην ...

Το "QV Document Analyzer" είναι ένα απαραίτητο εργαλείο για όποιον κάνει QlikView development, ιδανικό για fine tuning των εφαρμογών... Έχει δημιουργηθεί από τον Rob Wunderlich , έναν από τους πιο καταξιωμένους QlikView developers/consultants παγκοσμίως, και βρίσκεται στην τρίτη του έκδοση...  Πρόκειται για ένα application το οποίο έχει φτιαχτεί με την τεχνολογία του QlikView και αυτό που κάνει είναι να αναλύει την δομή και να ποσοτικοποιεί το footprint κάθε QlikView application ( *.qvw files ) σε memory, storage και calculation time ανά πεδίο και object και επίσης διακρίνει ποια πεδία/objects χρησιμοποιούνται και ποια όχι και υποδεικνύει συγκεκριμένες ενέργειες για την βελτιστοποίηση των εφαρμογών...  Έχει ένα καλαίσθητο και κατανοητό γραφικό περιβάλλον πλοήγησης στα στοιχεία κάθε application και πραγματικά κάνει τη ζωή πιο έυκολη σε κάθε έναν από εμάς που δουλεύουμε με το QlikView και προσπαθούμε να φτιάξουμε όσο γίνεται καλύτερες εφαρμογές...  Η εφαρμογή...

Κάθε εργαλείο φτιάχνεται με ένα συγκεκριμένο σκοπό άσχετο με το αν εμείς μπορεί να το χρησιμοποιούμε και κάπως αλλιώς για να καλύψουμε τις ανάγκες μας... Κατά την άποψή μου το QlikView δεν είναι ένα εργαλείο κατάλληλο για να φτιάξεις ETL processes, έλα όμως που πολλές φορές αναγκάζομαι για λόγους που δεν είναι της παρούσης, να το κάνω... Έχω σιχτιρίσει κάθε μια από αυτές, όντας SQL και Data Warehouse oriented, το να κάνω ETL μέσα από το script του QlikView δεν είναι το καλύτερό μου διότι πιστεύω ότι σε πολλές περιπτώσεις αναγκάζεσαι να ανακαλύψεις ξανά τον τροχό για θέματα που είναι από καιρό λυμένα για τα ETL tools και την SQL... Το συγκεκριμένο case αφορά μια περίπτωση όπου έπρεπε να εντοπίσω ανά πελάτη ποια είναι τα καταστήματα με το μεγαλύτερο μέσο υπόλοιπο και αν είναι περισσότερο από ένα να διαλέξω αυτό στο οποίο έχει ανοιχθεί πιο πρόσφατα λογαριασμός... Με παίδεψε αρκετά καθώς το πρώτο πράγμα που θα έρθει στο μυαλό μου σε αυτές τις περιπτώσεις είναι μια SQL προσέγγιση με τ...

Μπορεί αύριο το πρωί να ξεκινάνε οι διακοπές αλλά κάποια πράγματα δεν πρέπει να μένουν πίσω, ειδικά όταν κάποιοι άνθρωποι μπαίνουν στη διαδικασία να ασχοληθούν με τη δουλειά σου και να σου κάνουν καλοπροαίρετη κριτική, να σου δώσουν τις συμβουλές τους ή να σου κάνουν χρήσιμες προτάσεις... Έτσι λοιπόν το QvdDependancies, ένα QlikView app στο οποίο αναφέρθηκα σε προηγούμενο post , πέρασε σε νέα version (1.2) και απέκτησε επιπλέον functionality...  Υποστηρίζεται πλέον η δυνατότητα ο χρήστης να μην κάνει πλήρες scan του server/pc για να βρει τα dependencies μεταξύ qvds και qvws αλλά να σκανάρει μόνο συγκεκριμένα directories εφόσον αυτό επιθυμεί... Ο κώδικας και το app βρίσκονται τόσο στο GitHub  (Link)    όσο και στο Qlik Community  (Download Link)  και κάθε feedback θα χαίρει μεγάλης εκτίμησης και θα ληφθεί υπόψην από τον δημιουργό του app ...  :P Qlik Community Download Link GitHub Link   Υ.Γ. Καλές διακοπές!!!

Το QlikView είναι ένα πολύ καλό εργαλείο για την ανάπτυξη εφαρμογών BI... Έχει μια δική του λογική ως προς τη διαχείριση των δεδομένων η οποία βασίζεται σε αρχεία τύπου .qvd τα οποία αποθηκεύονται στο file system του server ή του υπολογιστή που γίνεται το development... Αν οι εφαρμογές είναι λίγες, οι όγκοι των δεδομένων μικροί και υπάρχει μια στοιχειώδης οργάνωση του file system δεν είναι δύσκολο να εντοπιστούν τα dependencies που έχει ένα .qvd αρχείο, ποιο document το δημιούργησε και από ποια άλλα documents χρησιμοποιείται... Τι γίνεται όμως όταν το περιβάλλον ανάπτυξης είναι μεγάλο, τα .qvds αμέτρητα, οι εφαρμογές το ίδιο και είναι απαραίτητο να γίνουν τροποποιήσεις; Το να θυμάται απλά ο developer τα dependencies κάθε .qvd αρχείου είναι αδύνατον αλλά είναι απαραίτητο να υπάρχει μια καταγραφή κι έλεγχος των dependencies έτσι ώστε να μην γίνουν μετατροπές στις εφαρμογές που θα προκαλέσουν την κατάρρευσή τους... Το πρόβλημα αυτό προσπαθούν να το λύσουν διάφορες εφαρμογές, freebie...

Ένα κοινό "πρόβλημα" στο QlikView development είναι όταν θέλεις να δοκιμάσεις την εφαρμογή σου σε κάποιο άλλο περιβάλλον, test ή live... Λόγω της φύσης του QlikView το να αλλάξεις απλά το connection string στη βάση που διαβάζεις δεν είναι αρκετό διότι θα πρέπει να ορίσεις ξανά το path για όλα τα qvds που φορτώνονται στην εφαρμογή, ένα ένα... Κάτι τέτοιο είναι χρονοβόρο και μη αποδοτικό και αυξάνει τις πιθανότητες λάθους... Η χρήση της επιλογής των Relative Paths δεν λύνει το πρόβλημα διότι προϋποθέτει ότι η εφαρμογή και τα qvds βρίσκονται στο ίδιο folder ή έστω διαφέρουν κατά ένα level κάτι το οποίο προσωπικά θεωρώ αρχιτεκτονικό λάθος...  Μια πολύ καλή λύση για να αντιμετωπιστεί μια τέτοια κατάσταση είναι η χρήση local variables για την αποθήκευση των path names των διαφόρων qvds... Αυτό γίνεται δηλώνοντας μια μεταβλητή  vPathName αμέσως μετά τα αρχικά set statements στο Main tab του script editor η οποία περιέχει το full path προς το qvd repository το οποίο θέλουμε να...

Το σημερινό tip είναι κάτι που έφτιαξα πριν περίπου 2 χρόνια, στην αρχή της ενασχόλησής μου με το QlikView, και προέκυψε από την ανάγκη να διαβάσω μια λίστα πελατών από ένα data source και μετά να περάσω αυτή την λίστα σαν παράμετρο σε ένα άλλο data source, μια βάση δεδομένων, για να συλλέξω όλη την πληροφορία που αφορούσε τους πελάτες αυτούς... Μετά από 2 χρόνια εντατικής δουλειάς και εμπειρίας ξέρω ότι υπάρχουν κι άλλοι τρόποι, να κάνεις την ίδια δουλειά, η συγκεκριμένη υλοποίηση όμως είναι ενδιαφέρουσα ως προς την χρήση των variables μέσα στο QlikView script σε συνδυασμό με SQL queries... Έστω λοιπόν ότι το πρώτο data source είναι ένα Excel αρχείο στο οποίο περιέχονται κωδικοί πελατών τους οποίους θέλουμε να διαβάσουμε και να αναζητήσουμε σε ένα άλλο data source, μια βάση δεδομένων... Για να το καταφέρουμε αυτό θα δημιουργήσουμε μια μεταβλητή η οποία θα περιέχει σαν ένα μεγάλο string, όλους τους κωδικούς πελατών (χωρισμένους με κόμματα και κλεισμένους μέσα σε "αυτάκια...