Confusion Matrix
Τι είναι το Confusion Matrix;
Το “confusion matrix” είναι ένας πίνακας που απεικονίζει την προγνωστική απόδοση ενός μοντέλου classification, δείχνοντας τα πραγματικά θετικά (True Positives) , τα πραγματικά αρνητικά (True Negatives), τα ψευδώς θετικά (False Positives) και τα ψευδώς αρνητικά (False Negatives).
Με άλλα λόγια, είναι μια συνοπτική παρουσίαση που χρησιμοποιείται στη μηχανική μάθηση για την αξιολόγηση της απόδοσης ενός αλγορίθμου classification.
Ποια είναι τα βασικά στοιχεία ενός δυαδικού Πίνακα Σύγχυσης;
Σε ένα πρόβλημα binary classification (όπου υπάρχουν μόνο δύο πιθανά αποτελέσματα, συνήθως θετικά και αρνητικά), το confusion matrix αποτελείται από τέσσερα συγκεκριμένα τεταρτημόρια:
- True Positives (TP): Το μοντέλο προέβλεψε σωστά τη θετική κλάση.
- True Negatives (TN): Το μοντέλο προέβλεψε σωστά την αρνητική κλάση.
- False Positives (FP): Το μοντέλο προέβλεψε λανθασμένα τη θετική κλάση όταν η πραγματική κλάση ήταν αρνητική (στατιστικά γνωστό ως σφάλμα Τύπου Ι).
- False Negatives (FN): Το μοντέλο προέβλεψε λανθασμένα την αρνητική κλάση ενώ η πραγματική κλάση ήταν θετική (στατιστικά γνωστό ως σφάλμα Τύπου II).
Γιατί χρησιμοποιείται ένα Confusion Matrix αντί του Accuracy Score ;
Το accuracy score (συνολικές σωστές προβλέψεις διαιρούμενες με τις συνολικές προβλέψεις) είναι μαθηματικά ανεπαρκής κατά την αξιολόγηση μη ισορροπημένων συνόλων δεδομένων όπου η μία κλάση υπερτερεί σημαντικά σε αριθμό από την άλλη. Ένα confusion matrix χρησιμοποιείται επειδή ποσοτικοποιεί ρητά τον τρόπο με τον οποίο το μοντέλο ταξινόμησης είναι συγκεχυμένο. Διαχωρίζει τους τύπους σφαλμάτων (False Positives έναντι False Negatives), επιτρέποντας στους data scientists να κατανοήσουν ακριβώς ποιες κλάσεις κατηγοριοποιούνται λανθασμένα αντί να βασίζονται σε ένα μόνο, ενδεχομένως ασύμμετρο ποσοστό.
Ποιες συγκεκριμένες μετρήσεις αξιολόγησης (evaluation metrics) προέρχονται απευθείας από το Confusion Matrix;
Αρκετές θεμελιώδεις μαθηματικές μετρήσεις για την αξιολόγηση του μοντέλου υπολογίζονται χρησιμοποιώντας τις τιμές (TP, TN, FP, FN) εντός του πίνακα:
- Precision: Υπολογίζει το ποσοστό των θετικών προβλέψεων που ήταν πραγματικά σωστές (TP / (TP + FP)).
- Recall (ή Ευαισθησία): Υπολογίζει το ποσοστό των πραγματικών θετικών περιπτώσεων που το μοντέλο αναγνώρισε με επιτυχία (TP / (TP + FN)).
- Βαθμολογία F1 (F1 score): Ο αρμονικός μέσος όρος της Ακρίβειας και της Ανάκλησης, που χρησιμοποιείται για την εύρεση ισορροπίας μεταξύ των δύο μετρήσεων.
- Specificity: Υπολογίζει το ποσοστό των πραγματικών αρνητικών περιπτώσεων που αναγνωρίστηκαν σωστά (TN / (TN + FP)).
Ποιες γλώσσες προγραμματισμού και βιβλιοθήκες χρησιμοποιούνται για τη δημιουργία ενός Confusion Matrix;
Ο υπολογισμός και η οπτικοποίηση ενός confusion matrix είναι τυπικά χαρακτηριστικά στις μαθηματικές γλώσσες και στις γλώσσες προγραμματισμού επιστήμης δεδομένων.
- Στην Python, ο υπολογισμός εκτελείται σχεδόν αποκλειστικά χρησιμοποιώντας τη βιβλιοθήκη scikit-learn μέσω της συνάρτησης sklearn.metrics.confusion_matrix. Ο προκύπτων πίνακας πινάκων συχνά απεικονίζεται χρησιμοποιώντας βιβλιοθήκες σχεδίασης δεδομένων όπως το matplotlib ή το seaborn.
- Στην R, η τυπική μέθοδος για τον υπολογισμό του πίνακα είναι η συνάρτηση confusionMatrix() που βρίσκεται στο πακέτο caret.
Παράδειγμα: Πώς εφαρμόζεται το Confusion Matrix σε ένα μοντέλο μηχανικής μάθησης ιατρικής διάγνωσης;
Σε ένα εποπτευόμενο μοντέλο μηχανικής μάθησης που έχει σχεδιαστεί για την ανίχνευση μιας συγκεκριμένης ασθένειας από εξετάσεις αίματος ασθενών, το Confusion Matrix ποσοτικοποιεί την κλινική επίδραση των προβλέψεων του μοντέλου. Η μεταβλητή-στόχος είναι δυαδική (binary) : "Υπάρχουσα Νόσος" (Θετική) ή "Απουσία Νόσου" (Αρνητική).
- Ένα True Positive είναι ένας άρρωστος ασθενής που έχει διαγνωστεί σωστά από το μοντέλο.
- Ένα True Negative είναι ένας υγιής ασθενής που έχει αναγνωριστεί σωστά ως υγιής.
- Ένα False Positive σημαίνει ότι το μοντέλο προέβλεψε ότι ένας υγιής ασθενής είναι άρρωστος. Αυτό έχει ως αποτέλεσμα ο ασθενής να υποβληθεί σε περιττές, αγχωτικές και δαπανηρές δευτερογενείς εξετάσεις.
- Ένα False Negative σημαίνει ότι το μοντέλο προέβλεψε ότι ένας άρρωστος ασθενής είναι υγιής. Αυτό έχει ως αποτέλεσμα μια χαμένη διάγνωση, ενδεχομένως καθυστερώντας την κρίσιμη ιατρική θεραπεία.
Αναλύοντας αυτόν τον πίνακα, οι data scientists μπορούν να προσαρμόσουν το μαθηματικό όριο απόφασης του μοντέλου. Σε αυτό το ιατρικό πλαίσιο, θα βελτιστοποιήσουν το μοντέλο για να ελαχιστοποιήσουν τα False Negatives (μεγιστοποιώντας τo Recall), επειδή το κόστος της παράλειψης μιας ασθένειας είναι σημαντικά υψηλότερο από το κόστος εκτέλεσης μιας δευτερογενούς εξέτασης σε έναν υγιή ασθενή.
