Τι είναι ένα Imbalanced Dataset;

Ένα imbalanced dataset είναι ένα σύνολο δεδομένων που χρησιμοποιείται για εργασίες ταξινόμησης, όπου η κατανομή των κλάσεων-στόχων είναι εξαιρετικά δυσανάλογη. Σε αυτό το σενάριο, μια κλάση, γνωστή ως πλειοψηφική κλάση, περιέχει έναν σημαντικά μεγαλύτερο αριθμό στιγμιοτύπων σε σύγκριση με μία ή περισσότερες άλλες κλάσεις, γνωστές ως μειοψηφικές κλάσεις. Αυτή η στατιστική ασυμμετρία σημαίνει ότι το σύνολο δεδομένων δεν αντιπροσωπεύει ομοιόμορφα όλα τα πιθανά αποτελέσματα.

Γιατί ένα imbalanced dataset επηρεάζει αρνητικά τα μοντέλα μηχανικής μάθησης;

Οι αλγόριθμοι μηχανικής μάθησης είναι θεμελιωδώς σχεδιασμένοι να ελαχιστοποιούν το συνολικό σφάλμα και να μεγιστοποιούν την προγνωστική ακρίβεια σε ολόκληρο το σύνολο δεδομένων. Όταν τους παρουσιάζεται ένα μη ισορροπημένο σύνολο δεδομένων, ο αλγόριθμος ευνοεί σε μεγάλο βαθμό την πλειοψηφική κλάση, επειδή η συνεχής πρόβλεψη της πλειοψηφικής κλάσης αποδίδει υψηλό στατιστικό ποσοστό ακρίβειας. Κατά συνέπεια, το μοντέλο αποτυγχάνει να μάθει τα υποκείμενα μοτίβα της μειοψηφικής κλάσης, οδηγώντας σε κακή προγνωστική απόδοση για τη συγκεκριμένη κλάση, η οποία είναι συχνά και το κύριο αντικείμενο της ανάλυσης.

Πώς ένα imbalanced dataset παραμορφώνει τις τυπικές μετρικές αξιολόγησης;

Οι τυπικές μετρικές αξιολόγησης, και συγκεκριμένα η συνολική ακρίβεια (accuracy), γίνονται θεμελιωδώς παραπλανητικές όταν εφαρμόζονται σε ένα μη ισορροπημένο σύνολο δεδομένων. Εάν ένα σύνολο δεδομένων περιέχει ενενήντα εννέα τοις εκατό στιγμιότυπα της πλειοψηφικής κλάσης και ένα τοις εκατό στιγμιότυπα της μειοψηφικής κλάσης, ένα μοντέλο που προβλέπει κατηγορηματικά μόνο την πλειοψηφική κλάση θα επιτύχει ακρίβεια ενενήντα εννέα τοις εκατό, παρά το γεγονός ότι αποτυγχάνει πλήρως να εντοπίσει τη μειοψηφική κλάση. Επομένως, οι επιστήμονες δεδομένων πρέπει να βασίζονται σε εναλλακτικές μετρικές αξιολόγησης, όπως η Ακρίβεια (Precision), η Ανάκληση (Recall) και το F1-Score, οι οποίες συνυπολογίζουν μαθηματικά τα ποσοστά των αληθώς θετικών και ψευδώς αρνητικών αποτελεσμάτων, ειδικά εντός της μειοψηφικής κλάσης.

Ποιες τεχνικές σε επίπεδο δεδομένων χρησιμοποιούνται για την επίλυση της ανισορροπίας ενός συνόλου δεδομένων;

Οι επιστήμονες δεδομένων χρησιμοποιούν τεχνικές επαναδειγματοληψίας (resampling) για να προσαρμόσουν μηχανικά την κατανομή των κλάσεων εντός του συνόλου δεδομένων πριν από την εκπαίδευση του μοντέλου. Η υπερδειγματοληψία (oversampling) περιλαμβάνει την αντιγραφή υπαρχόντων στιγμιοτύπων ή τη σύνθεση νέων στιγμιοτύπων για τη μειοψηφική κλάση, προκειμένου να εξισωθεί η κατανομή. Η υποδειγματοληψία (undersampling) περιλαμβάνει την τυχαία αφαίρεση στιγμιοτύπων από την πλειοψηφική κλάση μέχρι να ταιριάζει με τον όγκο της μειοψηφικής κλάσης. Στη γλώσσα προγραμματισμού Python, αυτές οι τεχνικές εκτελούνται κυρίως χρησιμοποιώντας τη βιβλιοθήκη imbalanced-learn, η οποία ενσωματώνεται απευθείας στο πλαίσιο scikit-learn.

Πώς μπορούν οι αλγοριθμικές τροποποιήσεις να αντιμετωπίσουν ένα imbalanced dataset;

Αντί να αλλάξουν το ίδιο το σύνολο δεδομένων, οι προγραμματιστές μπορούν να εφαρμόσουν αλγοριθμικές προσαρμογές, και συγκεκριμένα τη μάθηση με ευαισθησία στο κόστος (cost-sensitive learning). Αυτή η θεωρητική προσέγγιση εκχωρεί μεγαλύτερη μαθηματική ποινή, ή βάρος, στην εσφαλμένη ταξινόμηση της μειοψηφικής κλάσης κατά τη φάση εκπαίδευσης του μοντέλου. Αυξάνοντας το κόστος σφάλματος για τη μειοψηφική κλάση, ο αλγόριθμος αναγκάζεται να βελτιστοποιήσει τις παραμέτρους του για να αναγνωρίζει αυτά τα στιγμιότυπα, αντισταθμίζοντας άμεσα τη στατιστική κυριαρχία της πλειοψηφικής κλάσης.

Παράδειγμα Χρήσης: Πώς εκδηλώνεται ένα imbalanced dataset σε μια συγκεκριμένη εργασία της Επιστήμης Δεδομένων;

Ένας επιστήμονας δεδομένων αναπτύσσει ένα μοντέλο μηχανικής μάθησης για την πρόβλεψη δόλιων συναλλαγών με πιστωτικές κάρτες. Στο ιστορικό σύνολο δεδομένων, οι νόμιμες συναλλαγές αποτελούν το 99,8% των δεδομένων, ενώ οι δόλιες συναλλαγές αποτελούν μόνο το 0,2%. Εάν το μοντέλο εκπαιδευτεί απευθείας σε αυτό το μη ισορροπημένο σύνολο δεδομένων χωρίς καμία επαναδειγματοληψία ή αλγοριθμική στάθμιση, θα μάθει να ταξινομεί κάθε μεμονωμένη συναλλαγή ως νόμιμη. Ενώ το μοντέλο θα αναφέρει ποσοστό ακρίβειας 99,8%, θα αποτύχει εντελώς στη συγκεκριμένη εργασία του εντοπισμού της απάτης, αποδεικνύοντας άμεσα τη δομική αστοχία που προκαλείται από την ανισορροπία των κλάσεων.