Ψαροκόκαλο...

Με αφορμή το γεγονός ότι ασχολούμαι ξανά μετά από χρόνια με την R, η παρακάτω λίστα θα φανεί πολύ χρήσιμη σε όποιον θέλει να μάθει και να κατανοήσει τις δυνατότητες αυτής της πολύ συμπαθούς γλώσσα προγραμματισμού... Είναι βιβλία πάνω σε διάφορα θέματα γύρω από και μέσα στο οικοσύστημα της R και διατίθενται δωρεάν από τους ίδιους τους συγγραφείς τους...  "R for Data Sciense" - Hadley Wickam & Garrett Grolemund "Hands-On Programming with R" - Garrett Grolemund "Advanced R" - Hadley Wickam "R packages" - Hadley Wickam & Jenny Bryan "Fundamentals of Data Visualization" - Claus Wilke  "Forecasting: Principles and Practice" - Rob J. Hyndman & George Athanasopoulos "Mastering Shiny" - Hadley Wickam "Geocomputation with R" - Robin Lovelace & Jacub Novosad & Jannes Muenchow

Αν υπάρχει μια function την λειτουργία της οποίας οφείλει να γνωρίζει κάθε QlikView developer αυτή είναι η ApplyMap()... Είναι το αντίστοιχο της VLOOKUP() που χρησιμοποιούμε στο Excel, έχει πολύ καλό performance και λειτουργεί καλύτερα από ένα Left Join όταν προσπαθείς να εμπλουτίσεις το data model σου καθώς σου εξασφαλίζει ότι το mapping που επιχειρείς δεν θα έχει διπλοεγγραφές... Η σύνταξή της είναι εύκολη και τα οφέλη της πολλά, το documentation της Qlik είναι απόλυτα ικανοποιητικό ενώ υπάρχουν πάρα πολλές πηγές στο internet, από blog posts μέχρι videos, που εξηγούν και αναλύουν την χρήση της, κάποια ενδεικτικά links είναι και αυτά: link1 link2   link3   link4

Το παρακάτω script γράφτηκε για να εξυπηρετήσει μια ανάγκη που προέκυψε στη δουλειά... Όταν το ολοκλήρωσα μου άρεσε πολύ και σκέφτηκα ότι θα ήταν καλό να το μοιραστώ... Το script φτιάχτηκε για την δική μου ανάγκη αλλά οι τεχνικές που περιέχονται μπορούν άνετα να χρησιμοποιηθούν και για άλλους λόγους, όποιος θέλει μπορεί να ρωτήσει... :)

Διάβασα στο Facebook την ερώτηση που τέθηκε σε ένα community για προγραμματιστές το οποίο παρακολουθώ, τι είναι αυτό που σε τράβηξε στην πληροφορική και τον προγραμματισμό;  Για μένα η απάντηση είναι η τύχη...  Μέχρι τα 18 δεν ήξερα να κάνω τίποτε άλλο να κάνω στον υπολογιστή από το να παίζω παιχνίδια και αυτά εξαιρετικά σπάνια καθώς δεν είχα δικό μου υπολογιστή... Η επιλογή μου έγινε σε μια εποχή που η Πληροφορική σαν κλάδος φαινόταν να ανεβαίνει πολύ κι εγώ ήμουν παντελώς αναποφάσιστος για το μέλλον μου, οπότε ήταν μια λογική/συμφεροντολογική επιλογή... Η προσαρμογή μου στον χώρο και ο εγκλιματισμός μου ήταν μακρύς και δύσκολος, ειδικά τα πρώτα μου φοιτητικά χρόνια αλλά τελικά έγινε με αρκετά μεγάλη επιτυχία θα τολμήσω να πω...  Μετά από τόσο χρόνια στον χώρο της Πληροφορικής, όντας όχι μόνος επαγγελματίας της Πληροφορικής αλλά και χομπίστας πιστεύω ότι αυτό που μου έδωσε πέρα από τα όποια skills και τα λεφτά που έχω κερδίσει είναι η μεθοδικότητα στην αντι...

Μικρά tips που φάνηκαν χρήσιμα από τη δουλειά της εβδομάδας που πέρασε: Αν προσπαθούμε να φιλτράρουμε τα data που διαβάζουμε στο load script και να κρατήσουμε μόνο τις τιμές εκείνες που περιέχουν αριθμούς μπορούμε να χρησιμοποιήσουμε την function IsNum  ... Υπάρχουν όμως και περιπτώσεις που η  IsNum  θα επιστρέψει TRUE, πχ '3E4', διότι θα το θεωρήσει scientific numeric format, ενώ εμείς δεν θα θέλαμε κάτι τέτοιο... Μια καλή λύση για να αντιμετωπίσεις τέτοιου είδους προβλήματα είναι η παρακάτω γραμμή κώδικα την οποία απλώς προσθέτεις στο where statement: Len(Purgechar(Field, '0123456789'))=0 Links : Len , PurgeChar Θέλουμε να "καθαρίσουμε" το πεδίο που διαβάζουμε το οποίο είναι αριθμητικό αλλά έρχεται από το data source με προπορευόμενα μηδενικά (leading zeros) στα αριστερά της τιμής; Χρησιμοποιούμε το παρακάτω transformation και η δουλειά μας έχει γίνει: Replace(Ltrim(Replace(Field, '0', ' ')), ' ', '0') Links : Rep...

Έχασα 3 μέρες από τη ζωή μου δουλεύοντας ατελείωτες ώρες, δούλεψα Σαββάτο και Κυριακή (από το σπίτι) για να ανακαλύψω μόλις πριν μια ώρα ότι ο λόγος που δεν συμφωνούσαν τα νούμερα στο application που φτιάχνω ήταν μια γαμημένη στρογγυλοποίηση στον υπολογισμό του price, κάποια επιπλέον δεκαδικά ψηφία... Δεν ήταν κάποιο λάθος στον κώδικα της εφαρμογής, στα data της βάσης, κάποιο bug του QlikView αλλά μια γαμημένη στρογγυλοποίηση που δεν είχε γίνει...

Ας υποθέσουμε ότι έχουμε ένα dimension που περιέχει τα Materials που εμπορεύεται η εταιρεία μας και ένα measure που απεικονίζει το Revenue... Έστω ότι θέλουμε να κατασκευάσουμε ένα νέο calculated dimension το οποίο θα περιέχει μόνο τα πρώτα 20 Materials σε άθροισμα Revenue είτε για να το χρησιμοποιήσουμε σε ένα chart είτε για να το χρησιμοποιήσουμε σαν φίλτρο σε ένα drop down box... Η λύση είναι εξαιρετικά απλή και χρειάζεται μόνο η παρακάτω γραμμή κώδικα για να δημιουργήσει το  calculated dimension: Η μόνη διαφοροποίηση που υπάρχει ανάλογα με το που θα χρησιμοποιηθεί αυτό το calculated dimension είναι ότι όταν το χρησιμοποιήσουμε μέσα σε ένα chart πρέπει οπωσδήποτε να θυμηθούμε να επιλέξουμε την επιλογή "Suppress Null Values" στα dimension settings έτσι ώστε να μην επιστρέψει τιμές για τα nulls...

Συνήθως, όταν φτιάχνουμε ένα QlikView app, τα measures που χρησιμοποιούμε είναι συγκεκριμένα, αυτό που αλλάζει είναι η απεικόνισή τους είτε σε table like objects είτε σε γραφήματα διαφόρων ειδών, συνδυάζοντάς τα με όσα και όποια dimensions επιθυμούμε... Το best practice υπαγορεύει ότι τα measures πρέπει να φορτώνονται από το script στην τελική τους μορφή και να χρησιμοποιούνται χωρίς να γράφουμε πολύ κώδικα στα expressions των objects στο layout της εφαρμογής όμως δυστυχώς (ή ευτυχώς, δεν έχω αποφασίσει ακόμα) αυτό δεν συμβαίνει πάντα... Όταν το app είναι μικρό και τα objects λίγα, μια πιθανή αλλαγή στο calculation ενός ή περισσότερων από αυτά δεν είναι κάτι σπουδαίο, όταν όμως έχεις να κάνεις με apps τα οποία κουβαλάνε δεκάδες measures σε δεκάδες διαφορετικά objects τότε μια πιθανή αλλαγή του business logic δημιουργεί τεράστιο πονοκέφαλο στον developer... Το πρόβλημα αυτό αποφεύγεται με τον εξής απλό αλλά έξυπνο τρόπο... Κάθε ένα από τα measures που χρησιμοποιούμε γίνεται ένα va...

Έχουν υπάρξει πολλές φορές που χρειάζεται να ανοίξω ένα Qlik View application χωρίς να θέλω να δω το content του ή το layout, απλά να θέλω να ρίξω μια ματιά στον κώδικα του, για να θυμηθώ ενδεχομένως κάτι που έφτιαξα παλιότερα ή να πάρω κάποια ιδέα για κάτι που αναπτύσσω εκείνη την στιγμή... Κάποια applications μπορεί να είναι τεράστια και να "ζυγίζουν" πολλά Giga Bytes και να μην θέλω ή να μην έχω τον χρόνο να περιμένω το μηχάνημά μου να σηκώσει όλα αυτά τα Giga Bytes στην μνήμη για να τα ανοίξει... Ένας εύκολος τρόπος για να μπορέσεις να ανοίξεις το application χωρίς να περιμένεις όλα τα data να σηκωθούν στην μνήμη και να έχεις πρόσβαση στον κώδικα της εφαρμογής προσφέρεται από το default functionality του Qlik View desktop client... Από την λίστα των recent files, με  δεξί κλικ πάνω στο application που θέλουμε να ανοίξουμε επιλέγουμε την επιλογή "Open <ApplicationName> Without Data" ... Τι γίνεται όμως στην περίπτωση που δεν υπάρχει στην ...

Το "QV Document Analyzer" είναι ένα απαραίτητο εργαλείο για όποιον κάνει QlikView development, ιδανικό για fine tuning των εφαρμογών... Έχει δημιουργηθεί από τον Rob Wunderlich , έναν από τους πιο καταξιωμένους QlikView developers/consultants παγκοσμίως, και βρίσκεται στην τρίτη του έκδοση...  Πρόκειται για ένα application το οποίο έχει φτιαχτεί με την τεχνολογία του QlikView και αυτό που κάνει είναι να αναλύει την δομή και να ποσοτικοποιεί το footprint κάθε QlikView application ( *.qvw files ) σε memory, storage και calculation time ανά πεδίο και object και επίσης διακρίνει ποια πεδία/objects χρησιμοποιούνται και ποια όχι και υποδεικνύει συγκεκριμένες ενέργειες για την βελτιστοποίηση των εφαρμογών...  Έχει ένα καλαίσθητο και κατανοητό γραφικό περιβάλλον πλοήγησης στα στοιχεία κάθε application και πραγματικά κάνει τη ζωή πιο έυκολη σε κάθε έναν από εμάς που δουλεύουμε με το QlikView και προσπαθούμε να φτιάξουμε όσο γίνεται καλύτερες εφαρμογές...  Η εφαρμογή...

Το μεγαλύτερο όφελος που αποκόμισε η ανθρωπότητα από την ανακάλυψη του internet είναι η απεριόριστη πρόσβαση στη γνώση... Η γνώση δεν είναι προνόμιο λίγων κι εκλεκτών, κάθε άνθρωπος με μια σύνδεση στον internet μπορεί να έχει πρόσβαση σε εκατομμύρια πηγές γνώσης που καλύπτουν κάθε γνωστικό αντικείμενο... Αν το αντικείμενο της έρευνας για γνώση είναι ο τομέας της Πληροφορικής τότε υπάρχει ένα site που αξίζει να το επισκεφτεί κανείς... Το   IT eBooks είναι ένα site το οποίο διαθέτει μια τεράστια συλλογή από βιβλία Πληροφορικής, κάθε τομέα και ειδικότητας, τα οποία είναι διαθέσιμα για download, σε όλους, δωρεάν!!! Δεν χρειάζεται εγγραφή, δεν σου ζητάει να δώσεις προσωπικά στοιχεία, δεν σου ζητάει να πληρώσεις... Απλά μπαίνεις στο site, κάνεις την αναζήτηση που σε ενδιαφέρει, παίρνεις την σχετική λίστα αποτελεσμάτων με το κάθε ένα να συνοδεύεται από ένα download link και... αυτό είναι, κατέβασες το βιβλίο!!! Στο  IT eBooks  θα βρείτε βιβλία πασίγνωστων εκδοτικών οί...

Κάθε εργαλείο φτιάχνεται με ένα συγκεκριμένο σκοπό άσχετο με το αν εμείς μπορεί να το χρησιμοποιούμε και κάπως αλλιώς για να καλύψουμε τις ανάγκες μας... Κατά την άποψή μου το QlikView δεν είναι ένα εργαλείο κατάλληλο για να φτιάξεις ETL processes, έλα όμως που πολλές φορές αναγκάζομαι για λόγους που δεν είναι της παρούσης, να το κάνω... Έχω σιχτιρίσει κάθε μια από αυτές, όντας SQL και Data Warehouse oriented, το να κάνω ETL μέσα από το script του QlikView δεν είναι το καλύτερό μου διότι πιστεύω ότι σε πολλές περιπτώσεις αναγκάζεσαι να ανακαλύψεις ξανά τον τροχό για θέματα που είναι από καιρό λυμένα για τα ETL tools και την SQL... Το συγκεκριμένο case αφορά μια περίπτωση όπου έπρεπε να εντοπίσω ανά πελάτη ποια είναι τα καταστήματα με το μεγαλύτερο μέσο υπόλοιπο και αν είναι περισσότερο από ένα να διαλέξω αυτό στο οποίο έχει ανοιχθεί πιο πρόσφατα λογαριασμός... Με παίδεψε αρκετά καθώς το πρώτο πράγμα που θα έρθει στο μυαλό μου σε αυτές τις περιπτώσεις είναι μια SQL προσέγγιση με τ...

Μπορεί δουλεύοντας με την R να χρησιμοποιούμε σε πολύ μεγάλο βαθμό ως data sources διάφορα flat files και γενικότερα αδόμητη πληροφορία αλλά θα έρθει η στιγμή εκείνη που θα χρειαστεί να κάνουμε την R να "μιλήσει" με μια ή περισσότερες βάσεις δεδομένων... Υπάρχουν διάφορα packages που παρέχουν τη διεπαφή μεταξύ της R και μιας συγκεκριμένης βάσης δεδομένων όπως το RMySQL  ή το ROracle , υπάρχει όμως ένα package το οποίο δεν database specific αλλά υποστηρίζει τη διεπαφή με όλες τις βάσεις δεδομένων, συμπεριλαμβανομένων του SQL Server και της DB2, αρκεί να υπάρχει ένα σχετικό ODBC connection... Το package αυτό ονομάζεται RODBC και μπορείτε να το βρείτε και να το εγκαταστήσετε από το CRAN ... Είναι πολύ απλό και straightforward στην χρήση του, τα βασικά functions του μπορείτε να τα δείτε κι εδώ ... Όπως θα δείτε, δίνει δυνατότητες πλήρους manipulation της βάσης (insert, update, delete) κι όχι μόνο ανάγνωση των δεδομένων... Το χρησιμοποίησα στα πλαίσια ενός project που απαιτ...

Έστω ότι για κάποιο λόγο, προγραμματίζοντας σε R, σε κάποια στιγμή υπάρχει η ανάγκη να δημιουργήσετε ένα κενό plot, κάτι σαν place holder ή για να αποτρέψετε την εφαρμογή σας να δείχνει ασυναρτησίες ή errors στο "κανονικό" σας plot... Σε εμένα η ανάγκη προέκυψε όταν φτιάχνοντας ένα Shiny application, ήθελα ένα συγκεκριμένο plot να μην δείχνει τιμές όταν το input περιλαμβάνει συγκεκριμένες τιμές που δεν θα είχαν έτσι κι αλλιώς νόημα....  Μια καλή λύση είναι όταν έρχονται αυτές οι συγκεκριμένες τιμές να μην γίνεται render το "κανονικό" plot αλλά ένα άλλο, κενό που απλά θα καταλαμβάνει τον σχετικό χώρο πάνω στο application... Η λύση αυτή μπορεί να επιτευχθεί είτε δημιουργώντας ένα κενό plot το οποίο λειτουργεί σαν ένα place holder: ...είτε δημιουργώντας ένα plot χωρίς observations το οποίο όμως γίνεται κανονικά visualized όπως για παράδειγμα υλοποιεί ο παρακάτω κώδικας: Ενημερωτικά, εγώ χρησιμοποίησα το πρώτο code snippet διότι θεωρώ ότι τα...

Πρόσφατα κατά τη διάρκεια μιας ανάλυσης έπρεπε να συγκρίνω δύο data frames για να εξακριβώσω αν υπήρχαν variables που δεν ήταν κοινά και στα δύο... Γνώριζα ότι υπάρχει η intersect() η οποία βρίσκει τα κοινά στοιχεία μεταξύ δυο vectors και η setdiff() η οποία βρίσκει τα μη κοινά στοιχεία ενός vector ως προς ένα άλλο, εγώ όμως ήθελα μια function που να εντοπίζει τα μη κοινά στοιχεία και των δύο vectors...  "Google is your friend" , λένε και η λύση βρέθηκε σε ένα άρθρο που διάβασα στο R - bloggers ... Σε αυτό το άρθρο λοιπόν παρουσιάζεται μια custom function η outersect() η οποία χρησιμοποιώντας την sort() και την setdiff() κάνει αυτό ακριβώς που χρειαζόμουν, εντοπίζει τα μη κοινά στοιχεία δυο vectors... Η σύνταξη της είναι πολύ απλή και κατανοητή και η χρήση της πανεύκολη, τρεις γραμμούλες κώδικα που λύνουν τα χέρια...

Τις τελευταίες μέρες, όπως φάνηκε και από το προηγούμενο post, η δουλειά τα έφερε έτσι ώστε να ξοδέψω τον περισσότερο μου χρόνο στο γραφείο δουλεύοντας με τον SQL Server... Ανέκαθεν τον θεωρούσα το καλύτερο από τα σχετικά προϊόντα διότι κατά τη γνώμη μου έχει το υψηλότερο μέσο όρο όσον αφορά τις επιδόσεις των χαρακτηριστικών του, μπορεί να μην είναι ο καλύτερος συγκριτικά με άλλες databases σε επί μέρους χαρακτηριστικά αλλά συνολικά είναι (για μένα) η καλύτερη database ... Δουλεύοντας λοιπόν, χρειάστηκε σε κάποιο σημείο να διαγράψω κάποια tables από μια development database τα οποία όμως είχαν διάφορα foreign keys που με την σειρά τους εμπόδιζαν τη διαγραφή των tables, οπότε έπρεπε να διαγραφούν πρώτα τα foreign keys και σίγουρα δεν ήθελα να το κάνω manually από το gui του Management Studio, ψάχνοντας και σβήνοντας τα ένα ένα ... Το παρακάτω script ήταν μια ευκαιρία να πετύχω αυτό που ήθελα και να ξεσκονίσω λίγο την T-SQL μου και πολύ το χάρηκα......

Την Πέμπτη και την Παρασκευή που μας πέρασε είχα την τύχη να παρακολουθήσω το πολύ ενδιαφέρον σεμινάριο  Agile Scrum Master: A Practical Approach  στο εκπαιδευτικό κέντρο της HP Enterprise στο Χαλάνδρι... Εισηγητής ήταν ο Δημήτρης Δημητρέλος , ένα από τα πλέον δραστήρια και καταρτισμένα μέλη της εν Ελλάδι Agile κοινότητας, τον οποίο τυγχάνει να γνωρίζω και από τον χώρο εργασίας μου... Θέμα του σεμιναρίου ήταν αυτό που λέει το όνομά του, μια πρακτική προσέγγιση της μεθοδολογίας του Agile, με έμφαση στο Scrum, μέσα από ένα διαδραστικό πρόγραμμα, με συζητήσεις, ομαδικές και ατομικές εργασίες προβολές βίντεο και πολύ πολύ συμμετοχή... Το Agile όπως διαβάζουμε στη wikipedia είναι: Agile Software Development is a set of software development methods in which requirements and solutions evolve through collaboration between self-organizing, cross-functional teams. It promotes adaptive planning, evolutionary development, early delivery, continuous improvement, and encour...

Ένα κοινό "πρόβλημα" στο QlikView development είναι όταν θέλεις να δοκιμάσεις την εφαρμογή σου σε κάποιο άλλο περιβάλλον, test ή live... Λόγω της φύσης του QlikView το να αλλάξεις απλά το connection string στη βάση που διαβάζεις δεν είναι αρκετό διότι θα πρέπει να ορίσεις ξανά το path για όλα τα qvds που φορτώνονται στην εφαρμογή, ένα ένα... Κάτι τέτοιο είναι χρονοβόρο και μη αποδοτικό και αυξάνει τις πιθανότητες λάθους... Η χρήση της επιλογής των Relative Paths δεν λύνει το πρόβλημα διότι προϋποθέτει ότι η εφαρμογή και τα qvds βρίσκονται στο ίδιο folder ή έστω διαφέρουν κατά ένα level κάτι το οποίο προσωπικά θεωρώ αρχιτεκτονικό λάθος...  Μια πολύ καλή λύση για να αντιμετωπιστεί μια τέτοια κατάσταση είναι η χρήση local variables για την αποθήκευση των path names των διαφόρων qvds... Αυτό γίνεται δηλώνοντας μια μεταβλητή  vPathName αμέσως μετά τα αρχικά set statements στο Main tab του script editor η οποία περιέχει το full path προς το qvd repository το οποίο θέλουμε να...

Το σημερινό tip είναι κάτι που έφτιαξα πριν περίπου 2 χρόνια, στην αρχή της ενασχόλησής μου με το QlikView, και προέκυψε από την ανάγκη να διαβάσω μια λίστα πελατών από ένα data source και μετά να περάσω αυτή την λίστα σαν παράμετρο σε ένα άλλο data source, μια βάση δεδομένων, για να συλλέξω όλη την πληροφορία που αφορούσε τους πελάτες αυτούς... Μετά από 2 χρόνια εντατικής δουλειάς και εμπειρίας ξέρω ότι υπάρχουν κι άλλοι τρόποι, να κάνεις την ίδια δουλειά, η συγκεκριμένη υλοποίηση όμως είναι ενδιαφέρουσα ως προς την χρήση των variables μέσα στο QlikView script σε συνδυασμό με SQL queries... Έστω λοιπόν ότι το πρώτο data source είναι ένα Excel αρχείο στο οποίο περιέχονται κωδικοί πελατών τους οποίους θέλουμε να διαβάσουμε και να αναζητήσουμε σε ένα άλλο data source, μια βάση δεδομένων... Για να το καταφέρουμε αυτό θα δημιουργήσουμε μια μεταβλητή η οποία θα περιέχει σαν ένα μεγάλο string, όλους τους κωδικούς πελατών (χωρισμένους με κόμματα και κλεισμένους μέσα σε "αυτάκια...