Τι είναι η Τυποποίηση;

Η Τυποποίηση είναι μια θεμελιώδης τεχνική προεπεξεργασίας δεδομένων που χρησιμοποιείται στη στατιστική και τη μηχανική μάθηση για τον μετασχηματισμό αριθμητικών χαρακτηριστικών, ώστε να διαθέτουν μια μαθηματικά καθορισμένη, κεντρικοποιημένη κλίμακα. Συγκεκριμένα, αναπροσαρμόζει την κατανομή δεδομένων μιας δεδομένης μεταβλητής ώστε να έχει μέση τιμή ακριβώς ίση με το μηδέν και τυπική απόκλιση ακριβώς ίση με το ένα.

Το θεωρητικό υπόβαθρο προέρχεται άμεσα από την έννοια του υπολογισμού των τυπικών βαθμολογιών στην επαγωγική στατιστική. Κατά τη διάρκεια αυτού του μετασχηματισμού, η συνολική μέση τιμή του αρχικού συνόλου δεδομένων αφαιρείται από κάθε μεμονωμένο σημείο δεδομένων, κεντράροντας ουσιαστικά την κατανομή γύρω από το μηδέν. Στη συνέχεια, η τιμή που προκύπτει διαιρείται με την τυπική απόκλιση του αρχικού συνόλου δεδομένων. Αυτή η λειτουργία διατηρεί το υποκείμενο δομικό σχήμα των δεδομένων ενώ επιβάλλει μια τυποποιημένη, ομοιόμορφη κλίμακα σε όλες τις μετρούμενες μεταβλητές.

Γιατί η Τυποποίηση είναι αυστηρά απαραίτητη στην προετοιμασία δεδομένων;

Πολλοί προγνωστικοί αλγόριθμοι μηχανικής μάθησης υπολογίζουν τη χωρική απόσταση μεταξύ μεμονωμένων σημείων δεδομένων για να καθορίσουν ταξινομήσεις ή υπολογίζουν μαθηματικές κλίσεις για τη βελτιστοποίηση των εσωτερικών βαρών. Αλγόριθμοι όπως οι K-Nearest Neighbors, Support Vector Machine και PCA είναι ιδιαίτερα ευαίσθητοι στην ακατέργαστη κλίμακα των χαρακτηριστικών εισόδου. Εάν ένα σύνολο δεδομένων περιέχει ένα χαρακτηριστικό που μετριέται σε χιλιάδες και ένα άλλο χαρακτηριστικό που μετριέται σε δεκαδικά ψηφία, το μεγαλύτερο αριθμητικό χαρακτηριστικό θα κυριαρχήσει μαθηματικά στους υπολογισμούς απόστασης. Ο αλγόριθμος θα αποδώσει εσφαλμένα μεγαλύτερη σημασία στο χαρακτηριστικό με τους μεγαλύτερους απόλυτους αριθμούς. Η Τυποποίηση το επιλύει αυτό άμεσα, αναγκάζοντας όλες τις συνεχείς μεταβλητές να βρίσκονται σε μια ίση μαθηματική κλίμακα, διασφαλίζοντας ότι κάθε χαρακτηριστικό συμβάλλει αναλογικά στο τελικό προγνωστικό αποτέλεσμα, ανεξάρτητα από την αρχική του μονάδα μέτρησης.

Ποια είναι η διαφορά μεταξύ Τυποποίησης και Κανονικοποίησης;

Αν και και οι δύο διαδικασίες είναι τεχνικές κλιμάκωσης, διαθέτουν διαφορετικούς μαθηματικούς περιορισμούς. Η Κανονικοποίηση συμπιέζει μαθηματικά όλες τις τιμές δεδομένων σε ένα αυστηρό, προκαθορισμένο οριοθετημένο διάστημα, συνήθως μεταξύ ακριβώς του μηδενός και του ενός. Η Τυποποίηση δεν περιορίζει τα μετασχηματισμένα δεδομένα σε ένα συγκεκριμένο οριοθετημένο διάστημα. Επειδή η τυποποίηση μετασχηματίζει τα δεδομένα με βάση τη μέση τιμή και την τυπική απόκλιση, οι τιμές που προκύπτουν μπορούν θεωρητικά να επεκταθούν επ' άπειρον είτε προς τη θετική είτε προς την αρνητική κατεύθυνση. Κατά συνέπεια, η τυποποίηση είναι στατιστικά προτιμότερη όταν η αρχική κατανομή δεδομένων προσεγγίζει στενά μια κανονική κατανομή ή όταν το σύνολο δεδομένων περιέχει σημαντικές ακραίες τιμές που θα συμπίεζαν σοβαρά τα υπόλοιπα σημεία δεδομένων υπό τους τυπικούς περιορισμούς της κανονικοποίησης.

Τι συμβαίνει με τις στατιστικές ακραίες τιμές όταν τα δεδομένα τυποποιούνται;

Όταν τα δεδομένα τυποποιούνται, οι στατιστικές ακραίες τιμές δεν αφαιρούνται από το σύνολο δεδομένων· απλώς αναπροσαρμόζονται αναλογικά μαζί με τα υπόλοιπα δεδομένα. Επειδή η τυποποίηση βασίζεται στον υπολογισμό της μαθηματικής μέσης τιμής και της τυπικής απόκλισης ολόκληρης της στήλης χαρακτηριστικών, η παρουσία ακραίων τιμών θα επηρεάσει τις παραμέτρους του βασικού υπολογισμού. Μετά την τυποποίηση, μια ακραία τιμή απλώς θα αναπαριστάται ως ένα σημείο δεδομένων με εξαιρετικά υψηλή ή χαμηλή τιμή, συνήθως ξεπερνώντας τις τρεις τυπικές αποκλίσεις από τη μηδενική μέση τιμή. Αν και το αρχικό δομικό σχήμα και η ασυμμετρία της κατανομής διατηρούνται τέλεια, οι Data Scientists πρέπει να χειριστούν ρητά αυτές τις ακραίες τιμές μέσω αφαίρεσης ή περιορισμού, εάν ο επιλεγμένος αλγόριθμος μηχανικής μάθησης παραμένει ευαίσθητος σε ακραίες αποκλίσεις.