Τι είναι ένα Outlier;

Ένα Outlier, δηλαδή μια ακραία τιμή, είναι ένα συγκεκριμένο σημείο δεδομένων ή παρατήρηση εντός ενός συνόλου δεδομένων που αποκλίνει σημαντικά από την υπόλοιπη υποκείμενη κατανομή δεδομένων. Σε στατιστικούς όρους, είναι μια αριθμητική τιμή που βρίσκεται σε μη φυσιολογική απόσταση από άλλες τιμές σε ένα τυχαίο δείγμα. Όταν ένας Data Scientist εξετάζει μια συνεχή μεταβλητή, η συντριπτική πλειοψηφία των σημείων δεδομένων συγκεντρώνεται γύρω από ένα κεντρικό, αναμενόμενο εύρος. Ένα Outlier υπάρχει πολύ έξω από αυτό το κεντρικό σύμπλεγμα, επιδεικνύοντας είτε εξαιρετικά υψηλές είτε εξαιρετικά χαμηλές αριθμητικές τιμές σε σύγκριση με τις γύρω παρατηρήσεις. Είναι μια ακραία απόκλιση από τον καθιερωμένο βασικό κανόνα των συλλεχθέντων δεδομένων.

Γιατί εμφανίζονται τα Outliers σε ένα σύνολο δεδομένων;

Τα Outliers εμφανίζονται στα σύνολα δεδομένων λόγω δύο κύριων δομικών λόγων: σφάλματα συλλογής δεδομένων ή γνήσιες συστημικές ανωμαλίες. Τα σφάλματα συλλογής δεδομένων περιλαμβάνουν ελαττωματικά όργανα μέτρησης, ανθρώπινα λάθη εισαγωγής δεδομένων ή συστημικά σφάλματα λογισμικού κατά την εξαγωγή δεδομένων. Σε αυτές τις περιπτώσεις, η ακραία τιμή είναι τεχνικά λανθασμένα δεδομένα που δεν αντικατοπτρίζουν την πραγματικότητα. Αντιθέτως, ένα Outlier μπορεί να αντιπροσωπεύει ένα γνήσιο, εξαιρετικά απίθανο γεγονός που συνέβη φυσικά εντός του περιβάλλοντος που μετράται. Ο καθορισμός της ακριβούς προέλευσης της ακραίας τιμής είναι ένα υποχρεωτικό αναλυτικό βήμα πριν αποφασιστεί πώς θα γίνει η επεξεργασία της παρατήρησης, καθώς η αφαίρεση μιας γνήσιας ανωμαλίας μπορεί να καταστρέψει πολύτιμη πληροφοριακή διακύμανση.

Πώς επηρεάζουν μαθηματικά τα Outliers τα στατιστικά μοντέλα;

Τα Outliers παραμορφώνουν δυσανάλογα τους παραμετρικούς στατιστικούς υπολογισμούς, συγκεκριμένα τη μέση τιμή και τη διακύμανση. Επειδή η μέση τιμή υπολογίζει τον αυστηρό μαθηματικό μέσο όρο όλων των τιμών, μια μεμονωμένη τεράστια ακραία τιμή τραβάει τον μέσο όρο σε μεγάλο βαθμό προς το μέρος της, παραποιώντας το πραγματικό κέντρο των δεδομένων. Στη μηχανική μάθηση, αλγόριθμοι που βελτιστοποιούν χωρικές αποστάσεις ή υπολογίζουν τετραγωνικά σφάλματα, όπως η Γραμμική Παλινδρόμηση, οι K-Nearest Neighbors και οι Μηχανές Διανυσμάτων Υποστήριξης, είναι ιδιαίτερα ευαίσθητοι σε αυτές τις ακραίες τιμές. Ο αλγόριθμος θα προσπαθήσει μαθηματικά να ελαχιστοποιήσει το τεράστιο σφάλμα που προκαλείται από το Outlier, παραμορφώνοντας στη συνέχεια το τυπικό όριο απόφασης και μειώνοντας δραστικά την προγνωστική ακρίβεια του μοντέλου σε κανονικά δεδομένα.

Πώς εντοπίζονται μαθηματικά τα Outliers κατά την ανάλυση δεδομένων;

Οι Data Scientists χρησιμοποιούν άκαμπτα στατιστικά όρια για να εντοπίσουν συστηματικά τις ακραίες τιμές. Μια κοινή θεωρητική προσέγγιση είναι η μέθοδος του Ενδοτεταρτημοριακού Εύρους, η οποία χωρίζει μια συνεχή κατανομή δεδομένων σε τεταρτημόρια και μετρά την εξάπλωση του μεσαίου πενήντα τοις εκατό των δεδομένων. Οποιαδήποτε τιμή πέφτει σημαντικά κάτω από το πρώτο τεταρτημόριο ή πάνω από το τρίτο τεταρτημόριο με έναν προκαθορισμένο βαθμωτό πολλαπλασιαστή, επισημαίνεται επίσημα. Μια άλλη τυπική μέθοδος περιλαμβάνει τον υπολογισμό του Z-score, το οποίο μετρά ακριβώς πόσες τυπικές αποκλίσεις απέχει ένα συγκεκριμένο σημείο δεδομένων από τη συνολική μέση τιμή του συνόλου δεδομένων. Τα σημεία δεδομένων που υπερβαίνουν τις τρεις τυπικές αποκλίσεις είτε προς τη θετική είτε προς την αρνητική κατεύθυνση ταξινομούνται συμβατικά ως Outliers.