Τι είναι το Hadoop;

Το Hadoop είναι ένα πλαίσιο για κατανεμημένη αποθήκευση και επεξεργασία μεγάλων συνόλων δεδομένων. Λειτουργεί διασπώντας τεράστια αρχεία σε μικρότερα μπλοκ δεδομένων και κατανέμοντάς τα φυσικά σε ένα σύμπλεγμα τυπικών διακομιστών υπολογιστών. Αυτή η αρχιτεκτονική επιτρέπει στα προγράμματα λογισμικού να επεξεργάζονται τεράστιες ποσότητες δεδομένων παράλληλα, μειώνοντας δραστικά τον συνολικό χρόνο υπολογισμού σε σύγκριση με την επεξεργασία των ίδιων δεδομένων διαδοχικά σε ένα μόνο, κεντρικό μηχάνημα.

 

Ποια είναι τα βασικά αρχιτεκτονικά στοιχεία του Hadoop;

Το πλαίσιο Hadoop αποτελείται από τρία κύρια στοιχεία. Το πρώτο είναι το Hadoop Distributed File System (HDFS), το οποίο χειρίζεται τη φυσική αποθήκευση και διανομή δεδομένων σε όλους τους διακομιστές. Το δεύτερο είναι το MapReduce, η εγγενής μηχανή επεξεργασίας που εκτελεί τους αλγόριθμους δεδομένων. Το τρίτο είναι το YARN (Yet Another Resource Negotiator), η τεχνολογία διαχείρισης συμπλεγμάτων που είναι υπεύθυνη για την κατανομή πόρων υλικού, όπως η μνήμη RAM και οι πυρήνες CPU, στις εφαρμογές που εκτελούνται.

 

Πώς αποτρέπει το Hadoop την απώλεια δεδομένων κατά τη διάρκεια βλαβών υλικού;

Το Hadoop διασφαλίζει την αξιοπιστία των δεδομένων μέσω μιας συστημικής διαδικασίας που ονομάζεται αναπαραγωγή δεδομένων. Όταν ένα αρχείο μεταφορτώνεται στο σύστημα, το HDFS δημιουργεί αυτόματα πολλά ακριβή αντίγραφα κάθε μπλοκ δεδομένων και τα αποθηκεύει σε εντελώς διαφορετικούς φυσικούς διακομιστές εντός του συμπλέγματος. Εάν ένας διακομιστής παρουσιάσει σφάλμα υλικού, το σύστημα το ανιχνεύει αυτόματα και ανακτά τα αντιγραμμένα δεδομένα από έναν λειτουργικό διακομιστή, αποτρέποντας τυχόν απώλεια δεδομένων και διασφαλίζοντας τη συνεχή λειτουργία.

 

Ποιες γλώσσες προγραμματισμού χρησιμοποιούνται για την αλληλεπίδραση με το Hadoop;

Το βασικό πλαίσιο Hadoop είναι γραμμένο εξ ολοκλήρου στη γλώσσα προγραμματισμού Java και οι εγγενείς εφαρμογές επεξεργασίας δεδομένων MapReduce είναι συνήθως γραμμένες σε Java. Ωστόσο, οι προγραμματιστές μπορούν να γράψουν εργασίες εκτέλεσης σε Python, C++ ή R χρησιμοποιώντας ένα βοηθητικό πρόγραμμα που ονομάζεται Hadoop Streaming. Επιπλέον, οι αναλυτές χρησιμοποιούν συχνά γλώσσες ερωτημάτων τύπου SQL μέσω εργαλείων οικοσυστήματος όπως το Apache Hive για να εξαγάγουν και να δομήσουν τα αποθηκευμένα δεδομένα χωρίς να χρειάζεται να γράψουν πολύπλοκο κώδικα Java.

 

Πώς διαφέρει το Hadoop από τις παραδοσιακές σχεσιακές βάσεις δεδομένων;

Οι παραδοσιακές σχεσιακές βάσεις δεδομένων έχουν σχεδιαστεί αυστηρά για να αποθηκεύουν δομημένες πληροφορίες δεδομένων οργανωμένες σε καθορισμένους πίνακες, στήλες και γραμμές και γενικά εκτελούνται σε έναν μόνο, εξαιρετικά ισχυρό διακομιστή. Αντίθετα, το Hadoop έχει σχεδιαστεί ειδικά για την αποθήκευση δομημένων, ημιδομημένων και εντελώς αδόμητων δεδομένων, όπως απλό κείμενο, ακατέργαστα αρχεία καταγραφής αισθητήρων και αρχεία εικόνας. Επιπλέον, το Hadoop κλιμακώνεται οριζόντια προσθέτοντας απλώς περισσότερους τυπικούς διακομιστές στο δίκτυο συμπλέγματος, ενώ οι παραδοσιακές βάσεις δεδομένων συνήθως απαιτούν κάθετη κλιμάκωση αναβαθμίζοντας φυσικά το υλικό του μεμονωμένου μηχανήματος.

 

Πώς χρησιμοποιείται το Hadoop στον τομέα της Επιστήμης Δεδομένων;

Στην επιστήμη δεδομένων, το Hadoop λειτουργεί ως κεντρική λίμνη δεδομένων για την αποθήκευση τεράστιου όγκου ιστορικών, αδόμητων δεδομένων πριν χρησιμοποιηθούν για μηχανική μάθηση.

Για παράδειγμα, μια ομάδα επιστήμης δεδομένων που δημιουργεί ένα προγνωστικό μοντέλο για τη συμπεριφορά των καταναλωτών στο διαδίκτυο πρέπει να επεξεργαστεί terabytes ακατέργαστων αρχείων καταγραφής διακομιστή ιστού και κριτικές πελατών με βάση κείμενο. Η ομάδα αποθηκεύει όλα αυτά τα ακατέργαστα δεδομένα στο HDFS. Ένας επιστήμονας δεδομένων χρησιμοποιεί στη συνέχεια μια βιβλιοθήκη όπως το PySpark, που εκτελείται πάνω από τον διαχειριστή πόρων YARN του Hadoop, για να επεξεργαστεί τα αρχεία καταγραφής, να εξαγάγει σχετικά αριθμητικά χαρακτηριστικά και να μετατρέψει το ακατέργαστο κείμενο σε ένα καθαρό, πινακοποιημένο σύνολο δεδομένων που είναι μαθηματικά έτοιμο να εκπαιδεύσει έναν αλγόριθμο μηχανικής μάθησης.