Τι είναι το ELT;

Το ELT (extract, load, transform) είναι ένα σύστημα αγωγών δεδομένων σχεδιασμένο από μηχανικούς δεδομένων, μια εναλλακτική λύση στην παραδοσιακή προσέγγιση ETL (extract, load, transform). Πριν από την εφαρμογή οποιουδήποτε μετασχηματισμού, τα ακατέργαστα δεδομένα εξάγονται από τα συστήματα προέλευσης και φορτώνονται απευθείας σε ένα data lake ή data warehouse. Τα δεδομένα στη συνέχεια μετασχηματίζονται επιτόπου. Το πλεονέκτημα του ELT έναντι του ETL είναι ότι απαιτεί λιγότερο χρόνο για την αρχική φόρτωση, είναι κατάλληλο για την επεξεργασία μεγάλων συνόλων δεδομένων και είναι πιο οικονομικό.

 

Ποια είναι η θεμελιώδης διαφορά μεταξύ ELT και ETL;

Η κύρια διαφορά είναι η τοποθεσία και ο χρόνος του μετασχηματισμού δεδομένων. Στο ETL, τα δεδομένα μετασχηματίζονται σε ξεχωριστό διακομιστή επεξεργασίας πριν εισαχθούν στην τελική βάση δεδομένων. Στο ELT, τα ακατέργαστα δεδομένα φορτώνονται αμέσως στο σύστημα αποθήκευσης-στόχο και ο μετασχηματισμός πραγματοποιείται μέσα σε αυτό το σύστημα χρησιμοποιώντας τη δική του υπολογιστική ισχύ.

 

Γιατί το ELT γίνεται το πρότυπο έναντι του ETL;

Η μετάβαση στο ELT οφείλεται στην ανάπτυξη σύγχρονων data warehouse cloud και data lakes. Αυτά τα συστήματα διαθέτουν τεράστια χωρητικότητα αποθήκευσης και ισχύ επεξεργασίας. Επειδή η αποθήκευση είναι πλέον φθηνή και οι βάσεις δεδομένων είναι ιδιαίτερα ικανές να εκτελούν πολύπλοκους υπολογισμούς, είναι ταχύτερο και πιο αποτελεσματικό να φορτώνονται πρώτα όλα τα ακατέργαστα δεδομένα και να χρησιμοποιείται η μηχανή της βάσης δεδομένων για την εκτέλεση των μετασχηματισμών, εξαλείφοντας την ανάγκη για έναν ενδιάμεσο διακομιστή επεξεργασίας.

 

Ποιες γλώσσες προγραμματισμού και εργαλεία χρησιμοποιούνται σε μια διοχέτευση ELT;

Επειδή τα δεδομένα έχουν ήδη φορτωθεί σε μια βάση δεδομένων ή αποθήκη δεδομένων κατά τη φάση μετασχηματισμού, η ELT βασίζεται σε μεγάλο βαθμό στην SQL (Structured Query Language) για τον χειρισμό και τη δομή των δεδομένων. Η Python χρησιμοποιείται επίσης ευρέως για τα αρχικά σενάρια εξαγωγής και την ενορχήστρωση της διοχέτευσης. Κοινές βιβλιοθήκες και εργαλεία σε αυτό το οικοσύστημα περιλαμβάνουν το dbt (data build tool) για την εκτέλεση και τη διαχείριση των μετασχηματισμών SQL, το Apache Airflow για τον προγραμματισμό των βημάτων της διοχέτευσης και βιβλιοθήκες Python όπως τα pandas ή SQLAlchemy για την αλληλεπίδραση με API και βάσεις δεδομένων.

 

Πού οδηγεί μια διεργασία ELT και ποια είναι η τελική της έξοδος;

Μια διεργασία ELT οδηγεί σε ένα κεντρικό, αξιόπιστο data warehouse. Η τελική έξοδος αποτελείται από δομημένους, καθαρισμένους και συγκεντρωτικούς πίνακες ή προβολές δεδομένων εντός της αποθήκης δεδομένων. Αυτά τα δεδομένα που είναι "έτοιμα για αναλυτικά στοιχεία" υποβάλλονται απευθείας σε ερωτήματα από λογισμικό επιχειρηματικής ευφυΐας, πίνακες ελέγχου αναφορών και αναλυτές δεδομένων για τη δημιουργία λειτουργικών μετρήσεων και επιχειρηματικών πληροφοριών.

 

Πώς χρησιμοποιείται το ELT στον τομέα της Επιστήμης Δεδομένων; (Παράδειγμα)

Σε ένα έργο επιστήμης δεδομένων που έχει σχεδιαστεί για την πρόβλεψη της απώλειας πελατών, οι μηχανικοί δεδομένων χρησιμοποιούν έναν αγωγό ELT για να εξαγάγουν ακατέργαστα αρχεία καταγραφής δραστηριότητας χρηστών από μια διαδικτυακή εφαρμογή και αρχεία συναλλαγών από ένα σύστημα χρέωσης. Αυτά τα ακατέργαστα δεδομένα φορτώνονται απευθείας σε μια αποθήκη δεδομένων cloud. Στη συνέχεια, χρησιμοποιώντας μετασχηματισμούς SQL, τα δεδομένα καθαρίζονται, ενώνονται και συγκεντρώνονται για να δημιουργήσουν συγκεκριμένα μαθηματικά χαρακτηριστικά, όπως "αριθμός συνδέσεων ανά εβδομάδα" ή "συνολική χρηματική αξία αγορών". Μόλις αυτά τα μετασχηματισμένα δεδομένα είναι έτοιμα εντός της αποθήκης, οι επιστήμονες δεδομένων συνδέουν τα περιβάλλοντα Python απευθείας με αυτούς τους πίνακες για να εκπαιδεύσουν και να αναπτύξουν τους αλγόριθμους μηχανικής μάθησης.