Τι είναι το Overfitting;

Το overfitting αναφέρεται σε ένα μοντέλο που μαθαίνει πάρα πολλές πληροφορίες από το σύνολο εκπαίδευσης, συμπεριλαμβανομένου του πιθανού θορύβου και των ακραίων τιμών. Ως αποτέλεσμα, γίνεται πολύ περίπλοκο, υπερβολικά εξαρτημένο από το συγκεκριμένο σύνολο εκπαίδευσης και δεν αποδίδει επαρκώς σε μη ορατά δεδομένα. Το overfitting οδηγεί σε υψηλή διακύμανση στην ανταλλαγή μεροληψίας-διακύμανσης. Αυτό σημαίνει ότι το μοντέλο καταγράφει τις ακριβείς διακυμάνσεις των δεδομένων εκπαίδευσης και όχι το υποκείμενο, γενικό μοτίβο.

 

Τι προκαλεί Overfitting στη μηχανική μάθηση;

Η υπερπροσαρμογή προκαλείται κυρίως από μια αναντιστοιχία μεταξύ της πολυπλοκότητας του μοντέλου μηχανικής μάθησης και της ποσότητας ή της ποιότητας των δεδομένων εκπαίδευσης. Εμφανίζεται όταν ένα μοντέλο είναι υπερβολικά περίπλοκο, διαθέτει πάρα πολλές παραμέτρους ή χαρακτηριστικά σε σχέση με το μέγεθος του συνόλου δεδομένων.

Μπορεί επίσης να συμβεί εάν το μοντέλο εκπαιδευτεί για πάρα πολλές επαναλήψεις, επιτρέποντάς του να απομνημονεύσει τον τυχαίο θόρυβο και τα ακραία σημεία δεδομένων (ακραίες τιμές) αντί μόνο τις σχετικές τάσεις δεδομένων.

 

Πώς μπορείτε να εντοπίσετε το Overfitting;

Οι data scientists εντοπίζουν το overfitting διαιρώντας το διαθέσιμο σύνολο δεδομένων τους σε ένα "σύνολο εκπαίδευσης" και ένα ξεχωριστό "σύνολο δοκιμών" (test set). Αξιολογούν την απόδοση του μοντέλου και στα δύο σύνολα. Εάν το μοντέλο επιτύχει εξαιρετικά υψηλή ακρίβεια και χαμηλά ποσοστά σφάλματος στα δεδομένα εκπαίδευσης, αλλά παρουσιάζει σημαντικά χαμηλότερη ακρίβεια και υψηλά ποσοστά σφάλματος στα δεδομένα δοκιμών, αυτό αποτελεί σαφή ένδειξη ότι το μοντέλο είναι overfitted.

 

Ποιες είναι οι συνέπειες του Overfitting;

Η κύρια συνέπεια του Overfitting είναι η πλήρης έλλειψη γενίκευσης. Επειδή το μοντέλο είναι σε μεγάλο βαθμό βελτιστοποιημένο για τα συγκεκριμένα δεδομένα στα οποία εκπαιδεύτηκε, καθίσταται πρακτικά άχρηστο για την πραγματοποίηση προβλέψεων σε νέα, πραγματικά δεδομένα. Όταν αναπτύσσεται σε περιβάλλον παραγωγής, ένα overfitted μοντέλο θα δημιουργήσει λανθασμένες εξόδους και αναξιόπιστες προβλέψεις, οι οποίες μπορούν να οδηγήσουν σε λανθασμένη λήψη αποφάσεων.

 

Πώς αποτρέπεται το overfitting;

Οι επαγγελματίες χρησιμοποιούν διάφορες τεχνικές για να αποτρέψουν το overfitting. Αυξάνουν το μέγεθος του συνόλου δεδομένων εκπαίδευσης ή εφαρμόζουν επιλογή χαρακτηριστικών για να μειώσουν τον αριθμό των μεταβλητών.

Από θεωρητική άποψη, εφαρμόζουν "regularization" (όπως regularizationL1 ή L2), η οποία προσθέτει μια ποινή στο μοντέλο επειδή είναι πολύπλοκο. Μια άλλη μέθοδος είναι η «διασταυρούμενη επικύρωση», όπου τα δεδομένα χωρίζονται σε πολλαπλά υποσύνολα για να ελέγχονται επανειλημμένα οι δυνατότητες γενίκευσης του μοντέλου κατά τη φάση εκπαίδευσης.

 

Ποιες γλώσσες προγραμματισμού και βιβλιοθήκες χρησιμοποιούνται για τον χειρισμό του overfitting;

Η Python και η R είναι οι τυπικές γλώσσες προγραμματισμού που χρησιμοποιούνται για την αντιμετώπιση του overfitting. Στην Python, η βιβλιοθήκη scikit-learn παρέχει ενσωματωμένες συναρτήσεις για την εύκολη εφαρμογή τεχνικών διασταυρούμενης επικύρωσης και κανονικοποίησης. Για μοντέλα deep learning, πλαίσια όπως το TensorFlow και το PyTorch περιλαμβάνουν συγκεκριμένες ενότητες που έχουν σχεδιαστεί ειδικά για να αποτρέπουν την υπερπροσαρμογή νευρωνικών δικτύων, όπως επίπεδα «Dropout» (τα οποία απενεργοποιούν τυχαία τμήματα του δικτύου κατά τη διάρκεια της εκπαίδευσης) και επανακλήσεις «Early Stopping» (οι οποίες σταματούν αυτόματα τη διαδικασία εκπαίδευσης πριν το μοντέλο αρχίσει να απομνημονεύει θόρυβο).