The Rise of Machines: Real World Applications of AI
Η Τεχνητή Νοημοσύνη δεν είναι στο μέλλον, είναι εδώ ακριβώς στο παρόν Σε αυτό το blog Διαβάστε πώς οι εφαρμογές Τεχνητής Νοημοσύνης έχουν επηρεάσει διάφορους τομείς.
Στην τελευταία μου ανάρτηση , συζητήσαμε για την ανάλυση του επιχειρηματικού προβλήματος και τα βασικά βήματα για το σχεδιασμό της Αρχιτεκτονικής Big Data. Σήμερα, θα μιλήσω για διαφορετικά επίπεδα στην Αρχιτεκτονική Μεγάλων Δεδομένων και τις λειτουργίες τους.
Λογικά Επίπεδα Αρχιτεκτονικής Αναφοράς Μεγάλων Δεδομένων
Πίσω από την αρχιτεκτονική μεγάλων δεδομένων, η βασική ιδέα είναι να τεκμηριωθεί μια σωστή βάση αρχιτεκτονικής, υποδομής και εφαρμογών. Κατά συνέπεια, αυτό επιτρέπει στις επιχειρήσεις να χρησιμοποιούν πιο αποτελεσματικά μεγάλα δεδομένα σε καθημερινή βάση.
Δημιουργείται από σχεδιαστές/αρχιτέκτονες μεγάλων δεδομένων πριν από τη φυσική εφαρμογή μιας λύσης. Η δημιουργία αρχιτεκτονικής μεγάλων δεδομένων απαιτεί γενικά κατανόηση της επιχείρησης/οργανισμού και των αναγκών της σε μεγάλα δεδομένα. Συνήθως, οι αρχιτεκτονικές μεγάλων δεδομένων περιγράφουν τα στοιχεία υλικού και λογισμικού που είναι απαραίτητα για την εκπλήρωση της λύσης μεγάλων δεδομένων. Τα έγγραφα αρχιτεκτονικής μεγάλων δεδομένων μπορεί επίσης να περιγράφουν πρωτόκολλα για κοινή χρήση δεδομένων, ενοποιήσεις εφαρμογών και ασφάλεια πληροφοριών.
Περισσότερες πληροφορίες: Ένας οδηγός για αρχάριους για την ανάλυση μεγάλων δεδομένων
Συνεπάγεται επίσης τη διασύνδεση και την οργάνωση υφιστάμενων πόρων για την εξυπηρέτηση των αναγκών μεγάλων δεδομένων.
Τα λογικά επίπεδα της αρχιτεκτονικής αναφοράς είναι τα παρακάτω:
Το προφίλ πηγής είναι ένα από τα πιο σημαντικά βήματα για να αποφασίσετε την αρχιτεκτονική ή τα μεγάλα δεδομένα. Περιλαμβάνει τον εντοπισμό διαφορετικών συστημάτων πηγών και την κατηγοριοποίησή τους, με βάση τη φύση και τον τύπο τους.
Σημεία που πρέπει να λαμβάνονται υπόψη κατά τη δημιουργία προφίλ πηγών δεδομένων:
Η απορρόφηση δεδομένων αφορά την εξαγωγή των δεδομένων από τις προαναφερθείσες πηγές. Αυτά τα δεδομένα αποθηκεύονται στο χώρο αποθήκευσης και μετά μετατρέπονται για περαιτέρω επεξεργασία σε αυτό.
Σημεία που πρέπει να ληφθούν υπόψη:
Κάποιος θα πρέπει να μπορεί να αποθηκεύει μεγάλες ποσότητες δεδομένων οποιουδήποτε τύπου και θα πρέπει να μπορεί να κλιμακώνεται ανάλογα με τις ανάγκες. Θα πρέπει επίσης να λάβουμε υπόψη τον αριθμό των IOPS (Λειτουργίες εισόδου εξόδου ανά δευτερόλεπτο) που μπορεί να παρέχει. Το κατανεμημένο σύστημα αρχείων Hadoop είναι το πιο συχνά χρησιμοποιούμενο πλαίσιο αποθήκευσης στον κόσμο των Big Data, άλλα είναι τα καταστήματα δεδομένων NoSQL – MongoDB, HBase, Cassandra κ.λπ.
Πράγματα που πρέπει να λάβετε υπόψη κατά τον σχεδιασμό της μεθοδολογίας αποθήκευσης:
Όχι μόνο ο όγκος των δεδομένων που αποθηκεύονται, αλλά και η επεξεργασία έχει επίσης πολλαπλασιαστεί.
Παλαιότερα δεδομένα με συχνή πρόσβαση αποθηκεύονταν σε Dynamic RAM. Τώρα, όμως, αποθηκεύεται σε πολλούς δίσκους σε έναν αριθμό μηχανημάτων συνδεδεμένων μέσω δικτύου λόγω του τεράστιου όγκου. Επομένως, αντί να συλλέγονται κομμάτια δεδομένων για επεξεργασία, οι μονάδες επεξεργασίας μεταφέρονται στα μεγάλα δεδομένα. Έτσι, μειώνεται σημαντικά το δίκτυο I/O. Η μεθοδολογία Επεξεργασίας βασίζεται στις επιχειρηματικές απαιτήσεις. Μπορεί να κατηγοριοποιηθεί σε Batch, σε πραγματικό χρόνο ή σε Hybrid με βάση το SLA.
Αυτό το επίπεδο καταναλώνει την έξοδο που παρέχεται από το επίπεδο επεξεργασίας. Διαφορετικοί χρήστες, όπως διαχειριστής, επιχειρησιακοί χρήστες, προμηθευτής, συνεργάτες κ.λπ. μπορούν να καταναλώνουν δεδομένα σε διαφορετική μορφή. Το αποτέλεσμα της ανάλυσης μπορεί να καταναλωθεί από τη μηχανή συστάσεων ή οι επιχειρηματικές διαδικασίες μπορούν να ενεργοποιηθούν με βάση την ανάλυση.
Οι διάφορες μορφές κατανάλωσης δεδομένων είναι:
Διαβάστε επίσης: Big Data: Ένας μελλοντικός εφιάλτης;
Λειτουργικά επίπεδα της αρχιτεκτονικής μεγάλων δεδομένων:
Θα μπορούσε να υπάρχει ένας ακόμη τρόπος ορισμού της αρχιτεκτονικής, δηλαδή μέσω της διαίρεσης λειτουργικότητας. Αλλά οι κατηγορίες λειτουργικότητας θα μπορούσαν να ομαδοποιηθούν στο λογικό επίπεδο της αρχιτεκτονικής αναφοράς, επομένως, η προτιμώμενη Αρχιτεκτονική γίνεται με χρήση Λογικών Επιπέδων.
Η διαστρωμάτωση με βάση τις Λειτουργίες είναι η παρακάτω:
Η ανάλυση όλων των πηγών από τις οποίες ένας οργανισμός λαμβάνει δεδομένα και οι οποίες θα μπορούσαν να βοηθήσουν τον οργανισμό στη λήψη των μελλοντικών του αποφάσεων θα πρέπει να παρατίθεται σε αυτήν την κατηγορία. Οι πηγές δεδομένων που παρατίθενται εδώ είναι ανεξάρτητα από το αν τα δεδομένα είναι δομημένα, αδόμητα ή ημιδομημένα.
Για να μπορέσετε να αποθηκεύσετε, να αναλύσετε ή να οπτικοποιήσετε τα δεδομένα σας, πρέπει να έχετε μερικά. Η εξαγωγή δεδομένων αφορά τη λήψη κάτι που δεν είναι δομημένο, όπως μια ιστοσελίδα, και τη μετατροπή του σε δομημένο πίνακα. Αφού το δομήσετε, μπορείτε να το χειριστείτε με διάφορους τρόπους, χρησιμοποιώντας τα εργαλεία που περιγράφονται παρακάτω, για να βρείτε πληροφορίες.
Η βασική αναγκαιότητα κατά την εργασία με μεγάλα δεδομένα είναι να σκεφτείτε πώς να αποθηκεύσετε αυτά τα δεδομένα. Μέρος του τρόπου με τον οποίο τα Μεγάλα Δεδομένα έλαβαν τη διάκριση ως "ΜΕΓΑΛΟ" είναι ότι έγιναν υπερβολικά πολλά για τα παραδοσιακά συστήματα. Ένας καλός πάροχος αποθήκευσης δεδομένων θα πρέπει να σας προσφέρει μια υποδομή για την εκτέλεση όλων των άλλων εργαλείων ανάλυσης, καθώς και ένα μέρος για να αποθηκεύσετε και να υποβάλετε ερωτήματα στα δεδομένα σας.
Ένα προαπαιτούμενο βήμα πριν αρχίσουμε πραγματικά να εξορύξουμε τα δεδομένα για πληροφορίες. Είναι πάντα καλή πρακτική να δημιουργείτε ένα καθαρό, καλά δομημένο σύνολο δεδομένων. Τα σύνολα δεδομένων μπορούν να έχουν όλα τα σχήματα και μεγέθη, ειδικά όταν προέρχονται από τον ιστό. Επιλέξτε ένα εργαλείο σύμφωνα με τις απαιτήσεις δεδομένων σας.
Η εξόρυξη δεδομένων είναι η διαδικασία ανακάλυψης πληροφοριών μέσα σε μια βάση δεδομένων. Ο στόχος της εξόρυξης δεδομένων είναι να λαμβάνεις αποφάσεις και προβλέψεις για τα δεδομένα που έχεις στη διάθεσή σου. Επιλέξτε ένα λογισμικό που σας δίνει τις καλύτερες προβλέψεις για όλους τους τύπους δεδομένων και σας επιτρέπει να δημιουργήσετε τους δικούς σας αλγόριθμους για την εξόρυξη των δεδομένων.
Ενώ η εξόρυξη δεδομένων έχει να κάνει με το κοσκίνισμα των δεδομένων σας σε αναζήτηση προηγουμένως μη αναγνωρισμένων μοτίβων, η ανάλυση δεδομένων αφορά τη διάσπαση αυτών των δεδομένων και την αξιολόγηση του αντίκτυπου αυτών των μοτίβων υπερωριών. Το Analytics αφορά την υποβολή συγκεκριμένων ερωτήσεων και την εύρεση των απαντήσεων στα δεδομένα. Μπορείτε ακόμη και να κάνετε ερωτήσεις για το τι θα συμβεί στο μέλλον!
Οι οπτικοποιήσεις είναι ένας φωτεινός και εύκολος τρόπος για τη μετάδοση σύνθετων πληροφοριών δεδομένων. Και το καλύτερο είναι ότι τα περισσότερα από αυτά δεν απαιτούν κωδικοποίηση. Οι εταιρείες οπτικοποίησης δεδομένων θα κάνουν τα δεδομένα σας να ζωντανέψουν. Μέρος της πρόκλησης για κάθε επιστήμονα δεδομένων είναι να μεταφέρει τις γνώσεις από αυτά τα δεδομένα στην υπόλοιπη εταιρεία σας. Τα εργαλεία θα μπορούσαν να σας βοηθήσουν να δημιουργήσετε γραφήματα, χάρτες και άλλα τέτοια γραφικά από τις πληροφορίες δεδομένων σας.
Οι πλατφόρμες ενοποίησης δεδομένων είναι η κόλλα μεταξύ κάθε προγράμματος. Συνδέουν τα διάφορα συμπεράσματα των εργαλείων με άλλα Λογισμικά. Θα μπορούσατε να μοιραστείτε τα αποτελέσματα των εργαλείων οπτικοποίησης απευθείας στο Facebook μέσω αυτών των εργαλείων.
Θα υπάρξουν στιγμές στην καριέρα σας στα δεδομένα που ένα εργαλείο απλά δεν θα το κόψει. Ενώ τα σημερινά εργαλεία γίνονται πιο ισχυρά και ευκολότερα στη χρήση, μερικές φορές είναι απλώς καλύτερο να τα κωδικοποιήσετε μόνοι σας. Υπάρχουν διαφορετικές γλώσσες που σας βοηθούν σε διάφορες πτυχές, όπως οι στατιστικοί υπολογιστές και τα γραφικά. Αυτές οι γλώσσες θα μπορούσαν να λειτουργήσουν ως συμπλήρωμα για την εξόρυξη δεδομένων και τα στατιστικά Λογισμικά.
Το βασικό πράγμα που πρέπει να θυμάστε στο σχεδιασμό της Αρχιτεκτονικής Big Data είναι:
Ξέρω ότι θα σκεφτόσασταν διαφορετικά εργαλεία που θα χρησιμοποιήσετε για να δημιουργήσετε μια ολοκληρωμένη λύση Big Data Solution. Λοιπόν, στις επερχόμενες αναρτήσεις μου στο Big Data, θα κάλυψα μερικά καλύτερα εργαλεία για την επίτευξη διαφορετικών εργασιών στην αρχιτεκτονική μεγάλων δεδομένων .
Η Τεχνητή Νοημοσύνη δεν είναι στο μέλλον, είναι εδώ ακριβώς στο παρόν Σε αυτό το blog Διαβάστε πώς οι εφαρμογές Τεχνητής Νοημοσύνης έχουν επηρεάσει διάφορους τομείς.
Είστε επίσης θύμα των επιθέσεων DDOS και έχετε μπερδευτεί σχετικά με τις μεθόδους πρόληψης; Διαβάστε αυτό το άρθρο για να λύσετε τις απορίες σας.
Μπορεί να έχετε ακούσει ότι οι χάκερ κερδίζουν πολλά χρήματα, αλλά έχετε αναρωτηθεί ποτέ πώς κερδίζουν τέτοια χρήματα; ας συζητήσουμε.
Θέλετε να δείτε επαναστατικές εφευρέσεις της Google και πώς αυτές οι εφευρέσεις άλλαξαν τη ζωή κάθε ανθρώπου σήμερα; Στη συνέχεια, διαβάστε στο blog για να δείτε τις εφευρέσεις της Google.
Η ιδέα των αυτοκινούμενων αυτοκινήτων να βγαίνουν στους δρόμους με τη βοήθεια της τεχνητής νοημοσύνης είναι ένα όνειρο που έχουμε εδώ και καιρό. Όμως, παρά τις πολλές υποσχέσεις, δεν φαίνονται πουθενά. Διαβάστε αυτό το blog για να μάθετε περισσότερα…
Καθώς η Επιστήμη εξελίσσεται με γρήγορους ρυθμούς, αναλαμβάνοντας πολλές από τις προσπάθειές μας, αυξάνονται και οι κίνδυνοι να υποβάλλουμε τον εαυτό μας σε μια ανεξήγητη Ιδιότητα. Διαβάστε τι σημαίνει η μοναδικότητα για εμάς.
Οι μέθοδοι αποθήκευσης των δεδομένων εξελίσσονται μπορεί να είναι από τη γέννηση των Δεδομένων. Αυτό το ιστολόγιο καλύπτει την εξέλιξη της αποθήκευσης δεδομένων με βάση ένα infographic.
Διαβάστε το ιστολόγιο για να μάθετε διαφορετικά επίπεδα στην Αρχιτεκτονική Μεγάλων Δεδομένων και τις λειτουργίες τους με τον απλούστερο τρόπο.
Σε αυτόν τον ψηφιακό κόσμο, οι έξυπνες οικιακές συσκευές έχουν γίνει κρίσιμο μέρος της ζωής. Ακολουθούν μερικά εκπληκτικά οφέλη των έξυπνων οικιακών συσκευών σχετικά με το πώς κάνουν τη ζωή μας να αξίζει και να απλοποιείται.
Πρόσφατα, η Apple κυκλοφόρησε το macOS Catalina 10.15.4 μια συμπληρωματική ενημέρωση για την επιδιόρθωση προβλημάτων, αλλά φαίνεται ότι η ενημέρωση προκαλεί περισσότερα προβλήματα που οδηγούν σε bricking των μηχανών mac. Διαβάστε αυτό το άρθρο για να μάθετε περισσότερα