Big data: πότε χρειάζονται μεγάλα δεδομένα και πώς αποκτούν αξία

Ο όρος big data περιγράφει σύνολα πληροφοριών των οποίων ο όγκος, η ποικιλία, η ταχύτητα παραγωγής ή η μεταβλητότητα δημιουργούν απαιτήσεις που χρειάζονται κλιμακούμενη υποδομή. Δεν σημαίνει απλώς ότι μια επιχείρηση διαθέτει πολλά αρχεία. Ένα έργο μεγάλων δεδομένων έχει νόημα όταν ένα πραγματικό ερώτημα δεν μπορεί να εξυπηρετηθεί επαρκώς από απλούστερα μέσα, είτε λόγω χρόνου επεξεργασίας είτε λόγω σύνθετων πηγών και διαρκούς ροής. Πριν αγοραστεί εξειδικευμένο σύστημα, πρέπει να οριστούν το ζητούμενο αποτέλεσμα, η ποιότητα πληροφορίας και το κόστος συντήρησης.

Τα χαρακτηριστικά που καθορίζουν το πρόβλημα

Το αμερικανικό Εθνικό Ινστιτούτο Προτύπων και Τεχνολογίας, γνωστό ως NIST (National Institute of Standards and Technology), συνδέει τον όρο με εκτεταμένα σύνολα δεδομένων και ιδιότητες όπως όγκος, ποικιλία, ταχύτητα και μεταβλητότητα, τα οποία απαιτούν κλιμακούμενη αρχιτεκτονική. Ο όγκος αφορά το πόση πληροφορία υπάρχει· η ταχύτητα πόσο γρήγορα παράγεται ή πρέπει να αναλυθεί· η ποικιλία τις διαφορετικές μορφές· και η μεταβλητότητα το πώς αλλάζουν οι ροές ή τα χαρακτηριστικά τους.

Δεν απαιτείται κάθε έργο να βρίσκεται στο άκρο όλων αυτών των διαστάσεων. Μια σχετικά περιορισμένη αλλά πολύ γρήγορη ροή μπορεί να δημιουργεί πραγματική τεχνική δυσκολία. Μια τεράστια στατική βάση, αντιθέτως, μπορεί να εξυπηρετείται ικανοποιητικά από καλά σχεδιασμένη σχεσιακή αποθήκη και προγραμματισμένες αναλύσεις. Ο κατάλληλος χαρακτηρισμός είναι αποτέλεσμα μελέτης απαιτήσεων, όχι διαφημιστικής ετικέτας.

Από τις πηγές στις αποφάσεις

Πηγές μπορεί να είναι συναλλαγές, αισθητήρες, αιτήματα εφαρμογών, αρχεία καταγραφής και λειτουργικά συστήματα. Για να παραχθεί χρήσιμη ανάλυση, τα δεδομένα πρέπει πρώτα να αποκτήσουν κοινές σημασίες: ίδιοι ορισμοί πελάτη, ίδιες μονάδες μέτρησης, αναγνωρίσιμες χρονικές ζώνες και σταθερά κλειδιά συσχέτισης. Χωρίς αυτό το επίπεδο, η αύξηση όγκου προσθέτει περισσότερες αντιφάσεις παρά περισσότερη γνώση.

Ένα παράδειγμα είναι η ανάλυση εξυπηρέτησης παραγγελιών. Οι χρόνοι καταχώρισης, συλλογής, αποστολής και παράδοσης συχνά βρίσκονται σε διαφορετικά συστήματα. Αν η μία πηγή μετρά την «ολοκλήρωση» όταν τυπώνεται ετικέτα και η άλλη όταν παραλαμβάνει ο μεταφορέας, οι συγκεντρωτικές αναφορές είναι ασυνεπείς. Η διόρθωση ορισμών προηγείται οποιασδήποτε προηγμένης τεχνικής πρόβλεψης.

Αρχιτεκτονική: τι αποθηκεύεται και τι υπολογίζεται

Μια παραδοσιακή αποθήκη δεδομένων οργανώνει πληροφορίες για επαναλαμβανόμενες αναλύσεις και κοινά επιχειρηματικά μεγέθη. Μια λίμνη δεδομένων μπορεί να διατηρεί περισσότερες αρχικές μορφές για μελλοντική επεξεργασία. Η επιλογή δεν είναι ταυτοτική: εξαρτάται από τις διαθέσιμες ομάδες, το είδος ερωτημάτων, την ανάγκη αναπαραγωγής αποτελεσμάτων και το ποιος αναλαμβάνει τη διαχείριση. Η αποθήκευση ακατέργαστων δεδομένων χωρίς κατάλογο και ελέγχους πρόσβασης δημιουργεί υποχρεώσεις χωρίς αυτόματη αξία.

Για συνεχή ροή απαιτείται επίσης στρατηγική διαχείρισης καθυστερημένων εγγραφών και αποτυχημένων μηνυμάτων. Αν ένα γεγονός καταφτάσει δύο φορές, ο υπολογισμός δεν πρέπει να το μετρήσει ως δύο ξεχωριστές πωλήσεις. Αν καταφτάσει με καθυστέρηση, πρέπει να είναι σαφές πότε διορθώνονται οι αναφορές. Αυτές οι λεπτομέρειες χαρακτηρίζουν ένα αξιόπιστο σύστημα περισσότερο από την ονομασία της τεχνολογίας που χρησιμοποιεί.

Πότε αρκεί μια απλούστερη λύση

Αν χρειάζεστε εβδομαδιαίες αναφορές από ένα ή δύο καλοορισμένα συστήματα, μια σχεσιακή βάση, σωστοί δείκτες και σαφείς διαδικασίες εισαγωγής μπορεί να καλύπτουν επαρκώς το πρόβλημα. Η υιοθέτηση κατανεμημένης πλατφόρμας χωρίς ανάλογη ανάγκη προσθέτει πολυπλοκότητα σε ανάπτυξη, λειτουργία και ασφάλεια. Το σωστό κριτήριο είναι αν οι σημερινοί χρόνοι, τα όρια χωρητικότητας ή η πολυπλοκότητα μορφών εμποδίζουν συγκεκριμένη επιχειρηματική χρήση.

Όταν πολλαπλές ομάδες ζητούν διαφορετικές αναλύσεις σε ίδιες μεγάλες πηγές, η κοινή υποδομή μπορεί να περιορίσει διπλές μεταφορές και ασύμβατους υπολογισμούς. Απαραίτητες προϋποθέσεις είναι ο κατάλογος δεδομένων, οι υπεύθυνοι κάθε πηγής και συμφωνημένοι ποιοτικοί έλεγχοι. Διαφορετικά η κλιμάκωση αναπαράγει και πολλαπλασιάζει τις αρχικές ασυνέπειες.

Αναλυτικά μοντέλα και ανθρώπινος έλεγχος

Τα δεδομένα μπορούν να στηρίξουν περιγραφικές αναλύσεις, αναζήτηση μοτίβων και προβλέψεις. Όμως η πρόβλεψη δεν ισοδυναμεί με αιτιότητα. Μια συσχέτιση ανάμεσα στις καθυστερήσεις αποστολών και στον αριθμό αιτημάτων υποστήριξης δεν αποδεικνύει μόνη της γιατί παρουσιάζεται το πρόβλημα. Χρειάζεται εξέταση διαδικασιών, πιθανών εξωτερικών παραγόντων και του τρόπου με τον οποίο συλλέχθηκαν οι παρατηρήσεις.

Ορίστε εκ των προτέρων ποιο αποτέλεσμα θα αξιολογήσετε και με ποια δεδομένα. Απομονώστε περιόδους ελέγχου, εξετάστε μεταβολές στον τρόπο παραγωγής δεδομένων και αναζητήστε περιπτώσεις που το μοντέλο αποτυγχάνει. Η εξήγηση των περιορισμών είναι μέρος της αξίας για τον υπεύθυνο απόφασης, όχι αδυναμία της ανάλυσης. Καμία εντυπωσιακή απεικόνιση δεν διορθώνει ελλιπές ή μεροληπτικό δείγμα.

Προστασία, θέση και κύκλος ζωής πληροφοριών

Τα έργα μεγάλων δεδομένων συχνά συνδυάζουν πηγές που αρχικά είχαν συλλεχθεί για διαφορετικούς σκοπούς. Πριν από την ένωση πρέπει να εξετάζεται η κατάλληλη νομική βάση, η ελαχιστοποίηση προσωπικών δεδομένων και ο διαχωρισμός ρόλων πρόσβασης. Η καταγραφή όλης της διαθέσιμης πληροφορίας «για μελλοντική χρήση» μπορεί να δημιουργήσει κινδύνους ιδιωτικότητας και υψηλό λειτουργικό κόστος χωρίς σαφή αντίκρισμα.

Εξίσου σημαντική είναι η διαμονή των δεδομένων, δηλαδή ο έλεγχος της περιοχής αποθήκευσης και επεξεργασίας. Η ειδική ανάλυση για τη γεωγραφική διαμονή δεδομένων βοηθά να χαρτογραφηθούν οι πρωτεύουσες βάσεις, τα αντίγραφα και τα προσωρινά αποτελέσματα. Μια πολιτική διατήρησης πρέπει να προβλέπει πότε διαγράφονται οι πηγές, πώς διατηρούνται αναγκαία αθροίσματα και ποιος εγκρίνει νέες χρήσεις.

Πώς ξεκινά μια αξιόπιστη πιλοτική εφαρμογή

Επιλέξτε ένα ερώτημα που έχει συγκεκριμένο υπεύθυνο και πρακτική συνέπεια. Για παράδειγμα, ζητήστε να εντοπιστούν οι λόγοι ασυνέπειας αποθεμάτων ανά εγκατάσταση ή να προσδιοριστούν τα σημεία που καθυστερούν την εκπλήρωση μιας παραγγελίας. Περιγράψτε ποιες πηγές χρησιμοποιούνται, ποιοι ορισμοί ισχύουν και ποια τιμή θα θεωρηθεί αξιόπιστη. Υλοποιήστε πρώτα περιορισμένο δείγμα πριν προχωρήσετε σε πλήρη μεταφορά πληροφοριών.

Κατά τον έλεγχο, μετρήστε όχι μόνο τον χρόνο υπολογισμού αλλά και τα λάθη αντιστοίχισης, τα ελλείποντα δεδομένα, τη δυνατότητα εξήγησης και τον χρόνο διόρθωσης μιας πηγής. Κρατήστε τις αλλαγές επαναλήψιμες, ώστε το ίδιο ερώτημα να παράγει συνεπές αποτέλεσμα όταν επανεκτελείται. Η κατανόηση των δομημένων δεδομένων βοηθά στην επιλογή κοινών πεδίων και σαφών σημασιών.

Συντήρηση και τέλος ζωής ενός αναλυτικού έργου

Μια πιλοτική ανάλυση μπορεί να λειτουργεί σωστά με μικρό δείγμα και να αποτυγχάνει όταν αλλάζουν οι πηγές ή οι απαιτήσεις. Προβλέψτε έλεγχο ποιότητας εισόδου, ειδοποίηση όταν διακόπτεται η τροφοδότηση και σαφή διαδικασία επανυπολογισμού αναφορών. Η μακροχρόνια επιτυχία απαιτεί υπεύθυνο που καταλαβαίνει πότε μια παλιά παραδοχή δεν ισχύει πια.

Συχνές ερωτήσεις

Χρειάζονται πάντα κατανεμημένοι εξυπηρετητές;

Όχι. Η ανάγκη καθορίζεται από πραγματικές απαιτήσεις όγκου, χρόνου και επεξεργασίας. Μια καλά βελτιστοποιημένη σχεσιακή λύση μπορεί να είναι αποτελεσματικότερη και ασφαλέστερη όταν το πρόβλημα παραμένει διαχειρίσιμο.

Αρκούν πολλά δεδομένα για καλύτερες προβλέψεις;

Όχι αν οι εγγραφές είναι ανακριβείς, αντιπροσωπεύουν λανθασμένα το πρόβλημα ή περιλαμβάνουν ασυμβίβαστους ορισμούς. Η ποιότητα, η καταλληλότητα και η δυνατότητα ελέγχου του αποτελέσματος είναι καθοριστικές.

Ποιος πρέπει να αναλάβει την ευθύνη της υλοποίησης;

Χρειάζεται κοινή ευθύνη: επιχειρησιακός υπεύθυνος ορίζει το ερώτημα, διαχειριστές πηγών διασφαλίζουν σημασίες και ποιότητα, τεχνική ομάδα υλοποιεί επεξεργασία και αρμόδιοι προστασίας ελέγχουν χρήση και πρόσβαση. Η ανάθεση μόνο σε ένα τεχνικό εργαλείο δεν αρκεί.

Το κριτήριο επιτυχίας

Ένα έργο big data είναι επιτυχημένο όταν οδηγεί σε απόφαση που παλαιότερα ήταν αδύνατη, αργή ή αναξιόπιστη, με αποδεκτό κόστος και ελεγχόμενο κίνδυνο. Η επιλογή κατάλληλης υποδομής αποτελεί μέρος της λύσης, αλλά η επιχειρηματική ερώτηση, οι ορισμοί και η ευθύνη για την πληροφορία καθορίζουν αν η επένδυση θα έχει νόημα.