Τί είναι ένα Ποσοστημόριο;

Ένα ποσοστημόριο είναι μια στατιστική τιμή που διαιρεί ένα ταξινομημένο σύνολο δεδομένων σε ίσα, συνεχόμενα διαστήματα, όπου κάθε διάστημα περιέχει ακριβώς το ίδιο πλήθος παρατηρήσεων. Πρακτικά, τα quantiles αντιπροσωπεύουν σημεία τομής (cut-off points) κατά μήκος της κατανομής των δεδομένων. Όταν υπολογίζετε ένα quantile, καθορίζετε το ποσοστό των δεδομένων που βρίσκονται κάτω από αυτήν τη συγκεκριμένη τιμή. Για παράδειγμα, το 0.5 quantile (ή 50ο εκατοστημόριο) είναι η διάμεσος (median), που σημαίνει ότι ακριβώς το 50% των δεδομένων έχει τιμή μικρότερη ή ίση με αυτό το σημείο και το υπόλοιπο 50% έχει μεγαλύτερη τιμή. Τα quantiles είναι απαραίτητα για την περιγραφή της θέσης, της διασποράς και της μορφής μιας στατιστικής κατανομής, ανεξάρτητα από το εάν αυτή είναι κανονική ή έντονα ασύμμετρη.

Ποια είναι τα πιο συχνά χρησιμοποιούμενα είδη Quantiles στην ανάλυση δεδομένων;

Στην πρακτική ανάλυση δεδομένων, τα quantiles κατηγοριοποιούνται με βάση τον αριθμό των τμημάτων στα οποία χωρίζουν το dataset. Τα πιο διαδεδομένα είναι τα Quartiles (Τεταρτημόρια), τα οποία διαιρούν τα δεδομένα σε τέσσερα ίσα μέρη. Το πρώτο quartile (Q1) αντιπροσωπεύει το 25% των δεδομένων, το Q2 το 50% (τη διάμεσο) και το Q3 το 75%. Ακολουθούν τα Deciles (Δεκατημόρια), τα οποία χωρίζουν το δείγμα σε δέκα ίσα τμήματα, επιτρέποντας την αξιολόγηση ανά 10%. Τέλος, υπάρχουν τα Percentiles (Εκατοστημόρια), τα οποία διαιρούν το σύνολο σε εκατό ίσα μέρη, προσφέροντας την υψηλότερη δυνατή ανάλυση (granularity) για τον ακριβή εντοπισμό της θέσης μιας μεμονωμένης τιμής μέσα στον συνολικό πληθυσμό.

Γιατί τα Quantiles θεωρούνται συχνά πιο αξιόπιστα από τον Μέσο Όρο (Mean) στην περιγραφή των δεδομένων;

Ο μέσος όρος (mean) είναι εξαιρετικά ευαίσθητος στις ακραίες τιμές (outliers). Εάν ένα dataset περιέχει μερικές υπερβολικά υψηλές ή χαμηλές παρατηρήσεις, ο μέσος όρος μετατοπίζεται δραστικά, δίνοντας μια παραπλανητική εικόνα για το πού συγκεντρώνεται ο κύριος όγκος των δεδομένων. Αντιθέτως, τα quantiles είναι ανθεκτικά (robust) στα outliers. Επειδή βασίζονται αποκλειστικά στη θέση (rank) των ταξινομημένων παρατηρήσεων και όχι στην απόλυτη αριθμητική τους αξία, μια ακραία τιμή στο τέλος της κατανομής δεν αλλοιώνει τις τιμές των κεντρικών quantiles (όπως η διάμεσος). Έτσι, τα quantiles παρέχουν μια πιο αντικειμενική και ακριβή περιγραφή της κεντρικής τάσης και της διασποράς σε ασύμμετρα (skewed) datasets.

Ποιο είναι το θεωρητικό υπόβαθρο πίσω από τον υπολογισμό των Quantiles;

Ο υπολογισμός των quantiles βασίζεται στη Θεωρία Πιθανοτήτων και την Περιγραφική Στατιστική. Στο πλαίσιο των συνεχών τυχαίων μεταβλητών, ένα quantile ορίζεται μέσω της αθροιστικής συνάρτησης κατανομής (Cumulative Distribution Function - CDF). Θεωρητικά, η τιμή του quantile προκύπτει μέσω του αντίστροφου υπολογισμού (inverse computation) της CDF, όπου δίνεται μια συγκεκριμένη πιθανότητα και αναζητείται η αντίστοιχη τιμή της μεταβλητής στην οποία η αθροιστική πιθανότητα φτάνει ακριβώς αυτό το επίπεδο. Στην περίπτωση διακριτών (discrete) δεδομένων δειγματοληψίας, χρησιμοποιούνται αλγόριθμοι ταξινόμησης και γραμμικής παρεμβολής (linear interpolation) για τον ακριβή προσδιορισμό του σημείου τομής, ειδικά όταν το ζητούμενο quantile πέφτει ενδιάμεσα σε δύο πραγματικές παρατηρήσεις του δείγματος.

Σε ποιες γλώσσες προγραμματισμού και libraries υλοποιείται ο υπολογισμός των Quantiles;

Ο υπολογισμός των quantiles αποτελεί βασική λειτουργία σε όλες τις πλατφόρμες ανάλυσης δεδομένων. Στην SQL, η λειτουργία αυτή υλοποιείται μέσω εξειδικευμένων Window Functions όπως η NTILE(), η οποία κατανέμει τις γραμμές σε καθορισμένο αριθμό ομάδων, ή η PERCENTILE_CONT(), η οποία υπολογίζει ακριβή συνεχή ποσοστημόρια. Στη γλώσσα Python, οι Data Scientists χρησιμοποιούν κατά κύριο λόγο το library pandas, εφαρμόζοντας τη μέθοδο .quantile() απευθείας σε DataFrames, καθώς και το library NumPy μέσω της συνάρτησης np.percentile(). Στη γλώσσα R, η ενσωματωμένη συνάρτηση quantile() παρέχει εξαιρετική ευελιξία, επιτρέποντας την επιλογή μεταξύ διαφορετικών μαθηματικών αλγορίθμων παρεμβολής για τον υπολογισμό της ακριβούς τιμής σε πολύ μικρά δείγματα.