Τι είναι η Συνάρτηση Ενεργοποίησης (Activation Function);

Η Συνάρτηση Ενεργοποίησης είναι ένας μαθηματικός κανόνας που προσδιορίζει την έξοδο ενός νευρώνα, λαμβάνοντας ως είσοδο την σταθμισμένη συνάρτηση του αθροίσματος των εισόδων του νευρώνα. Αποφασίζει αν και πώς ο νευρώνας πρέπει να επηρεάσει την έξοδο του δικτύου.

Ποιος είναι ο κύριος σκοπός μιας Συνάρτησης Ενεργοποίησης;

Ο κύριος σκοπός είναι η εισαγωγή μη γραμμικών ιδιοτήτων στο Τεχνητό Νευρωνικό Δίκτυο (ΑΝΝ). Αυτό επιτρέπει στο δίκτυο να μαθαίνει και να μοντελοποιεί οποιαδήποτε αυθαίρετη, πολύπλοκη σχέση μεταξύ των εισόδων και των εξόδων.

Γιατί χρειάζεται η μη γραμμικότητα (non-linearity) στα Νευρωνικά Δίκτυα;

Χωρίς μη γραμμικές συναρτήσεις ενεργοποίησης, κάθε επίπεδο του δικτύου θα εκτελούσε απλώς έναν γραμμικό μετασχηματισμό. Η σύνθεση πολλαπλών γραμμικών μετασχηματισμών είναι ισοδύναμη με έναν μόνο γραμμικό μετασχηματισμό, περιορίζοντας τη μαθησιακή ικανότητα του δικτύου.

Ποιοι είναι οι τρεις πιο κοινοί τύποι Συνάρτησης Ενεργοποίησης;

Οι τρεις πιο κοινοί τύποι είναι:

• ReLU (Rectified Linear Unit): Η πιο διαδεδομένη στους κρυμμένους νευρώνες.
• Sigmoid (Logistic): Συμπιέζει την έξοδο μεταξύ 0 και 1.
• Tanh (Hyperbolic Tangent): Συμπιέζει την έξοδο μεταξύ -1 και 1.

Σε ποιο σημείο του νευρώνα εφαρμόζεται η Συνάρτηση Ενεργοποίησης;

Εφαρμόζεται αμέσως μετά τον υπολογισμό του σταθμισμένου αθροίσματος (weighted sum) των εισόδων και πριν η έξοδος προωθηθεί στο επόμενο επίπεδο.

Τι είναι το πρόβλημα της εξαφανιζόμενης κλίσης (Vanishing Gradient) και ποιες συναρτήσεις επηρεάζει;

Το πρόβλημα της εξαφανιζόμενης κλίσης συμβαίνει όταν η παράγωγος (κλίση) της συνάρτησης ενεργοποίησης γίνεται πολύ μικρή. Αυτό έχει ως αποτέλεσμα οι ενημερώσεις των βαρών στα πρώτα επίπεδα να είναι αμελητέες, σταματώντας τη μάθηση. Επηρεάζει κυρίως τις συναρτήσεις Sigmoid και Tanh.