Τι είναι το Kafka;

Το Apache Kafka είναι μια πλατφόρμα κατανεμημένης ροής συμβάντων ανοιχτού κώδικα. Είναι ένα σύστημα λογισμικού που έχει σχεδιαστεί για να χειρίζεται τη συνεχή δημιουργία, αποθήκευση, μετάδοση και επεξεργασία ψηφιακών αρχείων (γεγονότων δεδομένων ή μηνυμάτων) σε πραγματικό χρόνο σε πολλαπλούς δικτυωμένους υπολογιστές.

 

Ποια είναι τα βασικά στοιχεία της αρχιτεκτονικής Kafka;

Το σύστημα λειτουργεί χρησιμοποιώντας τέσσερα κύρια στοιχεία. Οι "Παραγωγοί" είναι εξωτερικές εφαρμογές που δημιουργούν και στέλνουν δεδομένα στο σύστημα. Τα "Θέματα" είναι κατηγοριοποιημένοι κατάλογοι αποθήκευσης όπου τα εισερχόμενα δεδομένα γράφονται και οργανώνονται συστηματικά. Οι "Μεσίτες" είναι οι μεμονωμένοι φυσικοί ή εικονικοί διακομιστές που αποθηκεύουν αυτά τα δεδομένα. Τέλος, οι "Καταναλωτές" είναι εφαρμογές που διαβάζουν και εξάγουν συνεχώς τα δεδομένα από τα θέματα για περαιτέρω επεξεργασία.

 

Πώς αποθηκεύει το Kafka δεδομένα και για πόσο καιρό;

Το Kafka καταγράφει δεδομένα χρησιμοποιώντας μια δομή δεδομένων γνωστή ως κατανεμημένο αρχείο καταγραφής. Κάθε νέα εγγραφή προστίθεται αυστηρά στο τέλος αυτού του αρχείου καταγραφής και δεν μπορεί να τροποποιηθεί ή να διαγραφεί μόλις γραφτεί (αμετάβλητο). Τα δεδομένα διατηρούνται απευθείας στον σκληρό δίσκο του διακομιστή για μια συγκεκριμένη χρονική περίοδο που έχει διαμορφωθεί από τον χρήστη — όπως ακριβώς επτά ημέρες ή μέχρι να επιτευχθεί ένα συγκεκριμένο όριο αποθήκευσης — μετά την οποία το σύστημα απορρίπτει αυτόματα τις παλαιότερες εγγραφές για να ελευθερώσει χώρο.

 

Γιατί το Kafka έχει σχεδιαστεί ουσιαστικά ως ένα «κατανεμημένο» σύστημα και ποιο είναι το τεχνικό όφελος;

Το Kafka είναι κατανεμημένο επειδή εκτελείται ταυτόχρονα σε πολλαπλούς ανεξάρτητους διακομιστές (ένα σύμπλεγμα) αντί για ένα μόνο μηχάνημα. Αυτός ο θεωρητικός σχεδιασμός παρέχει αυστηρή ανοχή σφαλμάτων μέσω της αναπαραγωγής δεδομένων. Όταν ένας παραγωγός στέλνει δεδομένα σε έναν μεσίτη, το σύστημα δημιουργεί αυτόματα ακριβή αντίγραφα αυτών των δεδομένων σε άλλους μεσίτες. Εάν ο κύριος διακομιστής παρουσιάσει μια καταστροφική βλάβη υλικού, τα δεδομένα παραμένουν άμεσα προσβάσιμα από τους εφεδρικούς διακομιστές, εξασφαλίζοντας μηδενική απώλεια δεδομένων και αδιάλειπτη λειτουργία του συστήματος.

 

Πώς χρησιμοποιείται πρακτικά το Kafka στον τομέα της Μηχανικής Δεδομένων;

Ένας μηχανικός δεδομένων χρησιμοποιεί το Kafka για να κατασκευάσει ένα σύστημα εισαγωγής δεδομένων σε πραγματικό χρόνο για μια πλατφόρμα ηλεκτρονικού εμπορίου. Όταν οι χρήστες αλληλεπιδρούν με τον ιστότοπο, ο διακομιστής ιστού λειτουργεί ως παραγωγός, στέλνοντας διακριτά αρχεία κειμένου για κάθε ενέργεια του χρήστη (όπως κλικ σε κουμπιά ή προβολές σελίδας) σε ένα συγκεκριμένο θέμα Kafka. Το Kafka αποθηκεύει προσωρινά εκατομμύρια από αυτά τα μεμονωμένα αρχεία. Ταυτόχρονα, μια εφαρμογή καταναλωτή γραμμένη σε Python διαβάζει συνεχώς τα νέα αρχεία από το θέμα, μορφοποιεί τα δεδομένα μαθηματικά και τα εγγράφει απευθείας σε μια μόνιμη βάση δεδομένων. Αυτό επιτρέπει στην επιχείρηση να αναλύει τη συμπεριφορά των χρηστών εντός χιλιοστών του δευτερολέπτου από την εμφάνιση του πραγματικού συμβάντος.