Στη μηχανική μάθηση, συχνά εστιάζουμε σε μοντέλα, αλγόριθμους, βαθμολογίες ακρίβειας, πίνακες ελέγχου και εντυπωσιακές προβλέψεις. Αυτά είναι τα μέρη που συνήθως τραβούν την προσοχή. Είναι ορατά, μετρήσιμα και εύκολα στην παρουσίαση.

Αλλά μερικές φορές, το μεγαλύτερο πρόβλημα δεν είναι το ίδιο το μοντέλο.

Μερικές φορές, το πρόβλημα είναι ότι το μοντέλο έχει δει κατά λάθος κάτι που δεν έπρεπε ποτέ να δει.

Αυτό είναι που ονομάζουμε διαρροή δεδομένων.

Αρχικά, ο όρος μπορεί να ακούγεται τεχνικός, αλλά η ιδέα είναι στην πραγματικότητα αρκετά απλή. Η διαρροή δεδομένων συμβαίνει όταν πληροφορίες από το μέλλον ή πληροφορίες που δεν θα ήταν ρεαλιστικά διαθέσιμες κατά τη στιγμή της πρόβλεψης, εισχωρούν στα δεδομένα που χρησιμοποιούνται για την εκπαίδευση ενός μοντέλου μηχανικής μάθησης.

Με άλλα λόγια, το μοντέλο δεν μαθαίνει πραγματικά. Είναι απάτη.

Φανταστείτε έναν μαθητή που προετοιμάζεται για μια εξέταση. Αν ο μαθητής μελετήσει σωστά και κατανοήσει την ύλη, τότε ένας καλός βαθμός σημαίνει κάτι. Αλλά αν ο μαθητής δει με κάποιο τρόπο το φύλλο απαντήσεων πριν από την εξέταση, ο βαθμός δεν μας λέει πλέον τίποτα για την πραγματική του ικανότητα.

Η διαρροή δεδομένων είναι η εκδοχή μηχανικής μάθησης της προβολής του φύλλου απαντήσεων.

Ο κίνδυνος είναι ότι το μοντέλο μπορεί να φαίνεται εξαιρετικό κατά τη διάρκεια των δοκιμών. Μπορεί να δείξει πολύ υψηλή ακρίβεια. Μπορεί να φαίνεται αξιόπιστο, ισχυρό και έτοιμο για χρήση. Αλλά μόλις τοποθετηθεί στον πραγματικό κόσμο, όπου το κρυφό φύλλο απαντήσεων δεν είναι πλέον διαθέσιμο, η απόδοσή του μπορεί να καταρρεύσει.

Αυτός είναι ο λόγος για τον οποίο η διαρροή δεδομένων είναι μια από τις πιο σημαντικές έννοιες στη μηχανική μάθηση.

Ας πάρουμε ένα απλό παράδειγμα.

Ας υποθέσουμε ότι θέλουμε να δημιουργήσουμε ένα μοντέλο που προβλέπει εάν ένας πελάτης θα ακυρώσει μια συνδρομή τον επόμενο μήνα. Συλλέγουμε δεδομένα πελατών όπως ηλικία, τοποθεσία, τύπο συνδρομής, αριθμό αιτημάτων υποστήριξης, δραστηριότητα χρήσης και ιστορικό πληρωμών.

Μέχρι στιγμής, αυτό ακούγεται λογικό.

Αλλά τώρα φανταστείτε ότι μία από τις στήλες στο σύνολο δεδομένων ονομάζεται «ημερομηνία ακύρωσης». Εάν αυτό το πεδίο συμπεριληφθεί κατά την εκπαίδευση του μοντέλου, το μοντέλο μπορεί εύκολα να μάθει ότι οι πελάτες με ημερομηνία ακύρωσης είναι αυτοί που ακύρωσαν.

Τεχνικά, το μοντέλο θα έχει εξαιρετικά καλή απόδοση.

Πρακτικά, είναι άχρηστο.

Γιατί; Επειδή τη στιγμή που θέλουμε να κάνουμε την πρόβλεψη, δεν γνωρίζουμε ακόμη την ημερομηνία ακύρωσης. Αυτές οι πληροφορίες ανήκουν στο μέλλον. Δεν θα πρέπει να είναι διαθέσιμες στο μοντέλο.

Αυτή είναι διαρροή δεδομένων.

Μπορεί επίσης να συμβεί με πιο ανεπαίσθητους τρόπους. Ίσως το σύνολο δεδομένων να περιλαμβάνει ένα πεδίο κατάστασης που αλλάζει μόνο αφού γίνει γνωστό το τελικό αποτέλεσμα. Ίσως ένα ιατρικό μοντέλο να χρησιμοποιεί πληροφορίες από ένα αποτέλεσμα εξέτασης που παραγγέλθηκε μόνο μετά τη διάγνωση. Ίσως ένα μοντέλο πιστωτικού κινδύνου να περιλαμβάνει δεδομένα που έγιναν διαθέσιμα μόνο μετά την έγκριση ή την απόρριψη ενός δανείου.

Σε όλες αυτές τις περιπτώσεις, το μοντέλο μαθαίνει από πληροφορίες που δεν θα υπήρχαν στο πραγματικό σημείο λήψης απόφασης.

Αυτό ακριβώς καθιστά τη διαρροή δεδομένων τόσο επικίνδυνη. Δεν είναι πάντα προφανής. Μπορεί να κρυφτεί μέσα σε στήλες που φαίνονται κανονικές. Μπορεί να εμφανιστεί σε επιχειρηματικούς κανόνες, χρονικές σημάνσεις, αναφορές, ετικέτες ή ακόμα και στον τρόπο με τον οποίο προετοιμάστηκαν τα δεδομένα πριν από την εκπαίδευση.

Αυτός είναι επίσης ο λόγος για τον οποίο η τεχνητή νοημοσύνη δεν μπορεί πάντα να εγγυηθεί ότι είμαστε ασφαλείς από αυτήν.

Η Τεχνητή Νοημοσύνη μπορεί να μας βοηθήσει να ελέγξουμε δεδομένα. Μπορεί να προτείνει ύποπτες στήλες. Μπορεί να ελέγξει τον κώδικα και να εντοπίσει πιθανούς κινδύνους. Ωστόσο, η Τεχνητή Νοημοσύνη δεν κατανοεί αυτόματα την πλήρη επιχειρηματική διαδικασία πίσω από τα δεδομένα. Ενδέχεται να μην γνωρίζει πότε ένα πεδίο γίνεται διαθέσιμο, ποιος το δημιουργεί, πώς ενημερώνεται ή αν υπάρχει πριν ή μετά το συμβάν που προσπαθούμε να προβλέψουμε.

Αυτού του είδους η κατανόηση απαιτεί πλαίσιο.

Και το πλαίσιο συχνά προέρχεται από τους ανθρώπους.

Εδώ είναι που ο ρόλος του επιστήμονα δεδομένων καθίσταται κρίσιμος. Ένας καλός επιστήμονας δεδομένων δεν ρωτάει απλώς: «Μπορεί αυτή η μεταβλητή να βελτιώσει το μοντέλο;» Ένας καλός επιστήμονας δεδομένων ρωτάει: «Θα ήταν πραγματικά διαθέσιμες αυτές οι πληροφορίες τη στιγμή της πρόβλεψης;»

Αυτή η ερώτηση μπορεί να αλλάξει εντελώς την ποιότητα ενός έργου μηχανικής μάθησης.

Η διαρροή δεδομένων μας υπενθυμίζει ότι η μηχανική μάθηση δεν είναι απλώς μια τεχνική άσκηση. Είναι επίσης μια άσκηση σκέψης. Απαιτεί την κατανόηση του επιχειρηματικού προβλήματος, του χρονοδιαγράμματος των γεγονότων, της σημασίας κάθε πεδίου και της πραγματικότητας στην οποία θα λειτουργεί το μοντέλο.

Ένα μοντέλο μπορεί να είναι μαθηματικά σωστό και ταυτόχρονα πρακτικά λανθασμένο.

Αυτό είναι ένα μάθημα που κάθε επίδοξος επιστήμονας δεδομένων θα πρέπει να μάθει νωρίς. Η ακρίβεια δεν αρκεί. Μια όμορφη μέτρηση δεν σημαίνει πάντα ένα χρήσιμο μοντέλο. Πριν εμπιστευτούμε ένα αποτέλεσμα, πρέπει να κατανοήσουμε πώς παρήχθη αυτό το αποτέλεσμα.

Τα καλύτερα μοντέλα μηχανικής μάθησης δεν είναι μόνο ισχυρά. Είναι και ειλικρινή.

Εκπαιδεύονται στις σωστές πληροφορίες, τη σωστή στιγμή, για το σωστό πρόβλημα.

Η διαρροή δεδομένων παραβιάζει αυτή την ειλικρίνεια. Δίνει στο μοντέλο ένα αθέμιτο πλεονέκτημα κατά την εκπαίδευση και δημιουργεί ψευδή εμπιστοσύνη κατά την αξιολόγηση. Σε πραγματικά επιχειρηματικά περιβάλλοντα, αυτή η ψευδής εμπιστοσύνη μπορεί να οδηγήσει σε κακές αποφάσεις, σπατάλη πόρων και σοβαρό κίνδυνο.

Έτσι, την επόμενη φορά που θα δείτε ένα μοντέλο μηχανικής μάθησης με εντυπωσιακά αποτελέσματα, μην ρωτάτε μόνο πόσο ακριβές είναι.

Ρωτήστε τι γνώριζε.

Ρωτήστε πότε το έμαθε.

Και ρωτήστε αν θα γνώριζε το ίδιο πράγμα στον πραγματικό κόσμο.

Εκεί ξεκινά η πραγματική πειθαρχία της μηχανικής μάθησης.