Ένας οδηγός για αρχάριους για τον σχολιασμό δεδομένων: Συμβουλές και βέλτιστες πρακτικές

Ο στόχος σας

Το πρώτο στοιχείο που πρέπει να ορίσετε είναι ο στόχος με τις έννοιες της τεχνητής νοημοσύνης και της μηχανικής μάθησης.

• Γιατί τα εφαρμόζετε στην επιχείρησή σας;
• Λύνουν ένα πραγματικό πρόβλημα που αντιμετωπίζουν οι πελάτες σας;
• Κάνουν κάποια διαδικασία front-end ή backend;
• Θα χρησιμοποιήσετε την τεχνητή νοημοσύνη για να εισαγάγετε νέες δυνατότητες ή να βελτιστοποιήσετε τον υπάρχοντα ιστότοπο, την εφαρμογή ή μια ενότητα;
• Τι κάνει ο ανταγωνιστής σας στο τμήμα σας;
• Έχετε αρκετές περιπτώσεις χρήσης που χρειάζονται παρέμβαση AI;

Οι απαντήσεις σε αυτά θα συγκεντρώσουν τις σκέψεις σας – οι οποίες μπορεί να είναι παντού – σε ένα μέρος και θα σας δώσουν περισσότερη σαφήνεια.

Συλλογή / Αδειοδότηση Δεδομένων AI

Τα μοντέλα AI απαιτούν μόνο ένα στοιχείο για τη λειτουργία τους - δεδομένα. Πρέπει να προσδιορίσετε από πού μπορείτε να δημιουργήσετε τεράστιους όγκους δεδομένων επίγειας αλήθειας. Εάν η επιχείρησή σας δημιουργεί μεγάλους όγκους δεδομένων που πρέπει να υποβληθούν σε επεξεργασία για κρίσιμες πληροφορίες σχετικά με τις επιχειρήσεις, τις λειτουργίες, την έρευνα ανταγωνιστών, την ανάλυση αστάθειας αγοράς, τη μελέτη συμπεριφοράς πελατών και άλλα, χρειάζεστε ένα εργαλείο σχολιασμού δεδομένων. Ωστόσο, θα πρέπει επίσης να λάβετε υπόψη τον όγκο των δεδομένων που δημιουργείτε. Όπως αναφέρθηκε προηγουμένως, ένα μοντέλο AI είναι τόσο αποτελεσματικό όσο η ποιότητα και η ποσότητα των δεδομένων που τροφοδοτούνται. Έτσι, οι αποφάσεις σας θα πρέπει πάντα να εξαρτώνται από αυτόν τον παράγοντα.

Εάν δεν έχετε τα σωστά δεδομένα για να εκπαιδεύσετε τα μοντέλα ML σας, οι προμηθευτές μπορούν να σας φανούν πολύ χρήσιμοι, βοηθώντας σας με την αδειοδότηση δεδομένων του σωστού συνόλου δεδομένων που απαιτούνται για την εκπαίδευση μοντέλων ML. Σε ορισμένες περιπτώσεις, μέρος της αξίας που προσφέρει ο πωλητής θα περιλαμβάνει τόσο την τεχνική ικανότητα όσο και την πρόσβαση σε πόρους που θα προωθήσουν την επιτυχία του έργου.

Οικονομικά

Μια άλλη θεμελιώδης συνθήκη που πιθανώς επηρεάζει κάθε μεμονωμένο παράγοντα που συζητάμε αυτήν τη στιγμή. Η λύση στο ερώτημα εάν πρέπει να δημιουργήσετε ή να αγοράσετε έναν σχολιασμό δεδομένων γίνεται εύκολη όταν καταλάβετε εάν έχετε αρκετό προϋπολογισμό για να ξοδέψετε.

Πολυπλοκότητες συμμόρφωσης

Οι προμηθευτές μπορούν να είναι εξαιρετικά χρήσιμοι όταν πρόκειται για το απόρρητο των δεδομένων και τον σωστό χειρισμό ευαίσθητων δεδομένων. Ένας από αυτούς τους τύπους περιπτώσεων χρήσης αφορά ένα νοσοκομείο ή μια επιχείρηση που σχετίζεται με την υγειονομική περίθαλψη που θέλει να χρησιμοποιήσει τη δύναμη της μηχανικής εκμάθησης χωρίς να θέσει σε κίνδυνο τη συμμόρφωσή της με το HIPAA και άλλους κανόνες απορρήτου δεδομένων. Ακόμη και εκτός του ιατρικού τομέα, νόμοι όπως ο ευρωπαϊκός GDPR ενισχύουν τον έλεγχο των συνόλων δεδομένων και απαιτούν μεγαλύτερη επαγρύπνηση από την πλευρά των εταιρικών ενδιαφερομένων.

Εργατικό δυναμικό

Ο σχολιασμός δεδομένων απαιτεί εξειδικευμένο ανθρώπινο δυναμικό για να εργαστείτε ανεξάρτητα από το μέγεθος, την κλίμακα και τον τομέα της επιχείρησής σας. Ακόμα κι αν δημιουργείτε ελάχιστα δεδομένα κάθε μέρα, χρειάζεστε ειδικούς δεδομένων για να εργαστούν στα δεδομένα σας για την επισήμανση. Λοιπόν, τώρα, πρέπει να συνειδητοποιήσετε εάν διαθέτετε το απαιτούμενο ανθρώπινο δυναμικό. Εάν το έχετε, είναι ειδικευμένοι στα απαιτούμενα εργαλεία και τεχνικές ή χρειάζονται αναβάθμιση δεξιοτήτων; Εάν χρειάζονται αναβάθμιση δεξιοτήτων, έχετε τον προϋπολογισμό για να τους εκπαιδεύσετε εξαρχής;

Επιπλέον, τα καλύτερα προγράμματα σχολιασμού δεδομένων και επισήμανσης δεδομένων λαμβάνουν έναν αριθμό ειδικών σε θέματα ή τομείς και τους τμηματοποιούν σύμφωνα με δημογραφικά στοιχεία όπως η ηλικία, το φύλο και ο τομέας εξειδίκευσης – ή συχνά ως προς τις τοπικές γλώσσες με τις οποίες θα συνεργαστούν. Εκεί, πάλι, εμείς στο Shaip μιλάμε για το να βάζεις τους κατάλληλους ανθρώπους στις σωστές θέσεις, οδηγώντας έτσι τις σωστές διαδικασίες που θα οδηγήσουν τις προγραμματικές σου προσπάθειες στην επιτυχία.

Λειτουργίες Μικρών και Μεγάλων Έργων και Όρια Κόστους

Σε πολλές περιπτώσεις, η υποστήριξη προμηθευτών μπορεί να είναι περισσότερο μια επιλογή για ένα μικρότερο έργο ή για μικρότερες φάσεις έργου. Όταν το κόστος είναι ελεγχόμενο, η εταιρεία μπορεί να επωφεληθεί από την εξωτερική ανάθεση για να κάνει τα έργα σχολιασμού δεδομένων ή επισήμανσης δεδομένων πιο αποτελεσματικά.

Οι εταιρείες μπορούν επίσης να εξετάσουν σημαντικά κατώφλια – όπου πολλοί προμηθευτές συνδέουν το κόστος με την ποσότητα των δεδομένων που καταναλώνονται ή άλλα σημεία αναφοράς πόρων. Για παράδειγμα, ας υποθέσουμε ότι μια εταιρεία έχει εγγραφεί σε έναν προμηθευτή για την πραγματοποίηση της κουραστικής εισαγωγής δεδομένων που απαιτείται για τη ρύθμιση σετ δοκιμών.

Ενδέχεται να υπάρχει ένα κρυφό όριο στη συμφωνία όπου, για παράδειγμα, ο επιχειρηματικός συνεργάτης πρέπει να αφαιρέσει ένα άλλο μπλοκ αποθήκευσης δεδομένων AWS ή κάποιο άλλο στοιχείο υπηρεσίας από τις Υπηρεσίες Ιστού της Amazon ή από κάποιον άλλο προμηθευτή τρίτου μέρους. Το μεταβιβάζουν στον πελάτη με τη μορφή υψηλότερου κόστους, και αυτό θέτει την τιμή εκτός εμβέλειας του πελάτη.

Σε αυτές τις περιπτώσεις, η μέτρηση των υπηρεσιών που λαμβάνετε από τους προμηθευτές σας βοηθά να διατηρήσετε το έργο προσιτό. Η ύπαρξη του σωστού πεδίου εφαρμογής θα διασφαλίσει ότι το κόστος του έργου δεν υπερβαίνει αυτό που είναι λογικό ή εφικτό για την εν λόγω επιχείρηση.

Εναλλακτικές εναλλακτικές λύσεις ανοιχτού κώδικα και δωρεάν λογισμικού

Ορισμένες εναλλακτικές λύσεις για την πλήρη υποστήριξη προμηθευτών περιλαμβάνουν τη χρήση λογισμικού ανοιχτού κώδικα, ή ακόμα και δωρεάν λογισμικού, για την ανάληψη έργων σχολιασμού δεδομένων ή ετικετών. Εδώ υπάρχει ένα είδος μέσης λύσης όπου οι εταιρείες δεν δημιουργούν τα πάντα από την αρχή, αλλά αποφεύγουν επίσης να βασίζονται πολύ σε εμπορικούς προμηθευτές.

Η νοοτροπία «do-it-yourself» του ανοιχτού κώδικα είναι από μόνη της ένα είδος συμβιβασμού – οι μηχανικοί και οι εσωτερικοί άνθρωποι μπορούν να επωφεληθούν από την κοινότητα ανοιχτού κώδικα, όπου οι αποκεντρωμένες βάσεις χρηστών προσφέρουν τα δικά τους είδη υποστήριξης από τη βάση. Δεν θα είναι όπως αυτό που παίρνετε από έναν πωλητή – δεν θα λαμβάνετε εύκολη βοήθεια 24/7 ή απαντήσεις σε ερωτήσεις χωρίς να κάνετε εσωτερική έρευνα – αλλά η τιμή είναι χαμηλότερη.

Έτσι, το μεγάλο ερώτημα - Πότε πρέπει να αγοράσετε ένα εργαλείο σχολιασμού δεδομένων:

Όπως συμβαίνει με πολλά είδη έργων υψηλής τεχνολογίας, αυτός ο τύπος ανάλυσης – πότε να κατασκευαστεί και πότε να αγοράσει – απαιτεί αφοσιωμένη σκέψη και εξέταση του τρόπου με τον οποίο προέρχονται και διαχειρίζονται αυτά τα έργα. Οι προκλήσεις που αντιμετωπίζουν οι περισσότερες εταιρείες σχετικά με έργα AI/ML όταν εξετάζουν την επιλογή «κατασκευής» είναι ότι δεν αφορούν μόνο τα τμήματα κατασκευής και ανάπτυξης του έργου. Υπάρχει συχνά μια τεράστια καμπύλη μάθησης για να φτάσουμε ακόμη και στο σημείο όπου μπορεί να συμβεί αληθινή ανάπτυξη AI/ML. Με νέες ομάδες και πρωτοβουλίες AI/ML, ο αριθμός των «άγνωστων αγνώστων» υπερτερεί κατά πολύ του αριθμού των «γνωστών αγνώστων».

Για να κάνετε τα πράγματα ακόμα πιο απλά, εξετάστε τις ακόλουθες πτυχές:

• όταν εργάζεστε σε τεράστιους όγκους δεδομένων
• όταν εργάζεστε σε διάφορες ποικιλίες δεδομένων
• όταν οι λειτουργίες που σχετίζονται με τα μοντέλα ή τις λύσεις σας θα μπορούσαν να αλλάξουν ή να εξελιχθούν στο μέλλον
• όταν έχετε μια ασαφή ή γενική περίπτωση χρήσης
• όταν χρειάζεστε μια σαφή ιδέα σχετικά με τα έξοδα που συνεπάγεται η ανάπτυξη ενός εργαλείου σχολιασμού δεδομένων
• και όταν δεν έχετε το κατάλληλο εργατικό δυναμικό ή ειδικευμένους ειδικούς για να εργαστείτε στα εργαλεία και αναζητάτε μια ελάχιστη καμπύλη μάθησης

Εάν οι απαντήσεις σας ήταν αντίθετες με αυτά τα σενάρια, θα πρέπει να εστιάσετε στην κατασκευή του εργαλείου σας.