Τι είναι το Κέρδος Πληροφορίας;

Το Κέρδος Πληροφορίας είναι μια βασική μετρική που χρησιμοποιείται στον τομέα της μηχανικής μάθησης για να μετρήσει τη μείωση της αβεβαιότητας ή της τυχαιότητας σε ένα σύνολο δεδομένων, όταν αυτό διαχωρίζεται με βάση ένα συγκεκριμένο χαρακτηριστικό. Ουσιαστικά, ποσοτικοποιεί ακριβώς πόση νέα και χρήσιμη πληροφορία παρέχει μια συγκεκριμένη μεταβλητή σχετικά με το τελικό αποτέλεσμα-στόχο. Αξιολογώντας αυτή τη μετρική, οι αλγόριθμοι μπορούν να καθορίσουν συστηματικά ποια χαρακτηριστικά είναι τα πιο σημαντικά και τα πιο χρήσιμα για την ακριβή ταξινόμηση των δεδομένων. Ένα υψηλό Κέρδος Πληροφορίας υποδηλώνει ότι ένα χαρακτηριστικό διαχωρίζει εξαιρετικά αποτελεσματικά τα δεδομένα σε διακριτές και ομοιογενείς κατηγορίες, καθιστώντας το μια άκρως πολύτιμη μεταβλητή για την προγνωστική μοντελοποίηση.

Ποιοι αλγόριθμοι μηχανικής μάθησης χρησιμοποιούν κυρίως το Κέρδος Πληροφορίας;

Το Κέρδος Πληροφορίας αποτελεί το θεμελιώδες κριτήριο που αξιοποιείται κατά κύριο λόγο για την κατασκευή Δέντρων Απόφασης και, κατ' επέκταση, περίπλοκων μεθόδων συνόλου όπως τα Τυχαία Δάση (Random Forests) και τα Gradient Boosting Machines. Όταν ένας αλγόριθμος Δέντρου Απόφασης χτίζει την εσωτερική του δομή, αξιολογεί κάθε διαθέσιμο χαρακτηριστικό στο σύνολο δεδομένων υπολογίζοντας το αντίστοιχο Κέρδος Πληροφορίας, προκειμένου να επιλέξει τη μεταβλητή που διαχωρίζει καλύτερα τα δεδομένα. Το χαρακτηριστικό που αποδίδει το υψηλότερο Κέρδος Πληροφορίας επιλέγεται πάντα ως ο ριζικός κόμβος (root node) στην κορυφή του δέντρου ή ως ο επόμενος καθοριστικός κόμβος διακλάδωσης στα χαμηλότερα επίπεδα.

Ποιο είναι το θεωρητικό υπόβαθρο πίσω από το Κέρδος Πληροφορίας;

Το Κέρδος Πληροφορίας προέρχεται από το αυστηρό μαθηματικό πεδίο της Θεωρίας Πληροφοριών (Information Theory), βασιζόμενο συγκεκριμένα στην έννοια της εντροπίας (entropy). Σε αυτό το ακαδημαϊκό πλαίσιο, η εντροπία μετρά το επίπεδο ακαθαρσίας (impurity), την αταξία ή την απρόβλεπτη συμπεριφορά μέσα σε ένα καθορισμένο σύνολο δεδομένων. Η διαδικασία ξεκινά υπολογίζοντας την αρχική εντροπία ολόκληρου του συνόλου δεδομένων. Στη συνέχεια, ο αλγόριθμος αφαιρεί τον σταθμισμένο μέσο όρο της εντροπίας που απομένει στα υποσύνολα, αφού τα δεδομένα διαχωριστούν βάσει ενός συγκεκριμένου χαρακτηριστικού. Μια μεγαλύτερη μείωση της εντροπίας μεταφράζεται άμεσα σε υψηλότερο Κέρδος Πληροφορίας, αποδεικνύοντας ότι ο συγκεκριμένος διαχωρισμός οργάνωσε τα δεδομένα με μεγαλύτερη καθαρότητα και τάξη.

Πώς υλοποιούν οι επιστήμονες δεδομένων το Κέρδος Πληροφορίας στον προγραμματισμό;

Στην πράξη, οι επιστήμονες δεδομένων υλοποιούν το Κέρδος Πληροφορίας χρησιμοποιώντας κατά κόρον τη γλώσσα προγραμματισμού Python. Αντί να γράφουν τις περίπλοκες συναρτήσεις πιθανοτήτων από το μηδέν, βασίζονται σε καταξιωμένες βιβλιοθήκες μηχανικής μάθησης. Στη βιβλιοθήκη Scikit-learn, η οποία αποτελεί το βιομηχανικό πρότυπο, αλγόριθμοι όπως ο DecisionTreeClassifier και ο RandomForestClassifier περιλαμβάνουν μια συγκεκριμένη ενσωματωμένη παράμετρο που ονομάζεται criterion. Ορίζοντας την τιμή αυτής της παραμέτρου σε "entropy", ο αλγόριθμος αναλαμβάνει να υπολογίσει αυτόματα στο παρασκήνιο το Κέρδος Πληροφορίας για κάθε μεταβλητή, αξιολογώντας έτσι τα δεδομένα για να κατασκευάσει τους βέλτιστους υπολογιστικούς διαχωρισμούς.

Ποιοι είναι οι περιορισμοί ή τα πιθανά προβλήματα κατά τη χρήση του Κέρδους Πληροφορίας;

Ένας από τους κύριους περιορισμούς του Κέρδους Πληροφορίας είναι η έντονη μεροληψία (bias) που παρουσιάζει προς χαρακτηριστικά τα οποία περιέχουν μεγάλο αριθμό διακριτών, μοναδικών τιμών. Για παράδειγμα, εάν ένα σύνολο δεδομένων περιλαμβάνει μια στήλη με "Αναγνωριστικό Πελάτη" (Customer ID), το Κέρδος Πληροφορίας θα βαθμολογήσει αυτή τη μεταβλητή εξαιρετικά υψηλά, επειδή ο διαχωρισμός των δεδομένων βάσει ενός μοναδικού ID δημιουργεί απόλυτα καθαρές ομάδες, με έναν μόνο πελάτη ανά ομάδα. Ωστόσο, αυτό είναι εντελώς άχρηστο για την προγνωστική μοντελοποίηση, καθώς το μοντέλο απλώς θα απομνημονεύσει τα δεδομένα εκπαίδευσης (overfitting) και θα αποτύχει παταγωδώς να βγάλει συμπεράσματα σε νέα δεδομένα. Για να αντισταθμιστεί αυτό, χρησιμοποιείται συχνά μια παραλλαγή που ονομάζεται Λόγος Κέρδους (Gain Ratio), η οποία τιμωρεί μαθηματικά τα χαρακτηριστικά που δημιουργούν υπερβολικά πολλούς κλάδους.