Στις προσπάθειές μας να δημιουργήσουμε ισχυρές και αμερόληπτες λύσεις τεχνητής νοημοσύνης, είναι σκόπιμο να επικεντρωθούμε στην εκπαίδευση των μοντέλων σε μια αμερόληπτη, δυναμική και αντιπροσωπευτική συλλογή δεδομένων. Η διαδικασία συλλογής δεδομένων μας είναι εξαιρετικά σημαντική για την ανάπτυξη αξιόπιστων λύσεων τεχνητής νοημοσύνης. Από αυτή την άποψη, συγκέντρωση Δεδομένα εκπαίδευσης AI μέσω εργαζομένων στο πλήθος γίνεται μια κρίσιμη πτυχή της στρατηγικής συλλογής δεδομένων.
Σε αυτό το άρθρο, ας διερευνήσουμε τον ρόλο των εργαζομένων στο πλήθος, τον αντίκτυπό του στην ανάπτυξη της τεχνητής νοημοσύνης αλγόριθμους εκμάθησης και τα μοντέλα ML, και η ανάγκη και τα οφέλη που προσφέρουν σε ολόκληρη τη διαδικασία.
Γιατί απαιτείται από τους εργαζόμενους στο πλήθος να κατασκευάζουν μοντέλα τεχνητής νοημοσύνης;
Ως άνθρωποι, δημιουργούμε τόνους δεδομένων, ωστόσο, μόνο ένα κλάσμα αυτών των δεδομένων που δημιουργούνται και συλλέγονται έχουν αξία. Λόγω της έλλειψης προτύπων συγκριτικής αξιολόγησης δεδομένων, τα περισσότερα από τα δεδομένα που συλλέγονται είναι είτε μεροληπτικά, είτε είναι γεμάτα προβλήματα ποιότητας είτε δεν αντιπροσωπεύουν το περιβάλλον. Αφού όλο και περισσότερο μάθηση μηχανής Και αναπτύσσονται μοντέλα βαθιάς μάθησης που ευδοκιμούν σε τεράστιες ποσότητες δεδομένων, η ανάγκη για καλύτερα, νεότερα και διαφορετικά σύνολα δεδομένων γίνεται όλο και περισσότερο αισθητή.
Εκεί μπαίνουν στο παιχνίδι οι εργαζόμενοι του πλήθους.
Crowd-sourcing δεδομένα δημιουργούν ένα σύνολο δεδομένων με τη συμμετοχή μεγάλων ομάδων ανθρώπων. Οι εργαζόμενοι στο πλήθος εμποτίζουν την ανθρώπινη νοημοσύνη στην τεχνητή νοημοσύνη.
Πλατφόρμες crowd-sourcing δώστε μικροεργασίες συλλογής δεδομένων και σχολιασμού σε μια μεγάλη και διαφοροποιημένη ομάδα ανθρώπων. Το Crowdsourcing επιτρέπει στις εταιρείες να έχουν πρόσβαση σε ένα τεράστιο, δυναμικό, οικονομικά αποδοτικό και επεκτάσιμο εργατικό δυναμικό.
Η πιο δημοφιλής πλατφόρμα crowd-sourcing – η Amazon Mechanical Turk, μπόρεσε να δημιουργήσει 11 χιλιάδες διαλόγους από άνθρωπο σε άνθρωπο μέσα σε 15 ώρες και πλήρωσε τους εργαζόμενους $0.35 για κάθε επιτυχημένο διάλογο. Οι εργαζόμενοι στο πλήθος προσλαμβάνονται για ένα τόσο πενιχρό ποσό, ρίχνοντας φως στη σημασία της οικοδόμησης ηθικών προτύπων προμήθειας δεδομένων.
Θεωρητικά, ακούγεται σαν ένα έξυπνο σχέδιο, ωστόσο, δεν είναι μια εύκολη στρατηγική να εκτελεστεί. Η ανωνυμία του πλήθους εργαζομένων έχει προκαλέσει προβλήματα με χαμηλές αμοιβές, παραβίαση των δικαιωμάτων των εργαζομένων και κακής ποιότητας εργασία που επηρεάζουν την απόδοση του μοντέλου AI.
Οφέλη από τη συγκέντρωση εργαζομένων στην πηγή δεδομένων
Με τη συμμετοχή μιας διαφορετικής ομάδας πλήθους εργαζομένων, οι προγραμματιστές λύσεων που βασίζονται στην τεχνητή νοημοσύνη μπορούν να διανείμουν μικρο-εργασίες και να συγκεντρώσουν ποικίλες και ευρέως διαδεδομένες παρατηρήσεις γρήγορα και με σχετικά χαμηλό κόστος.
Μερικά από τα εξέχοντα οφέλη της απασχόλησης πλήθους εργαζομένων για έργα τεχνητής νοημοσύνης είναι
Ταχύτερος χρόνος για την αγορά: Σύμφωνα με έρευνα της Cognilytica, σχεδόν 80% of τεχνητή νοημοσύνη Ο χρόνος του έργου δαπανάται σε δραστηριότητες συλλογής δεδομένων, όπως η εκκαθάριση δεδομένων, η επισήμανση και η συγκέντρωση τους. Μόνο το 20% του χρόνου αφιερώνεται στην ανάπτυξη και την εκπαίδευση. Τα παραδοσιακά εμπόδια στη δημιουργία δεδομένων εξαλείφονται καθώς ένας μεγάλος αριθμός συνεισφερόντων μπορεί να στρατολογηθεί σε σύντομο χρονικό διάστημα.
Οικονομική Λύση: Συλλογή δεδομένων από πλήθος μειώνει τον χρόνο και την ενέργεια που δαπανάται για την εκπαίδευση, τη στρατολόγηση και την ενσωμάτωσή τους. Αυτό εξαλείφει το κόστος, τον χρόνο και τους πόρους που απαιτούνται, καθώς το εργατικό δυναμικό απασχολείται με τη μέθοδο πληρωμής ανά εργασία.
Ενισχύει την ποικιλομορφία στο σύνολο δεδομένων: Η ποικιλομορφία δεδομένων είναι κρίσιμη για ολόκληρη την εκπαίδευση λύσεων AI. Για να παράγει ένα μοντέλο αμερόληπτα αποτελέσματα, πρέπει να εκπαιδευτεί σε ένα διαφορετικό σύνολο δεδομένων. Με τη συλλογή δεδομένων από πλήθος δεδομένων, είναι δυνατή η δημιουργία διαφορετικών συνόλων δεδομένων (γεωγραφικά, γλώσσες, διάλεκτοι) με μικρή προσπάθεια και κόστος.
Βελτιώνει την επεκτασιμότητα: Όταν προσλαμβάνετε αξιόπιστους εργαζόμενους στο πλήθος, μπορείτε να εξασφαλίσετε υψηλής ποιότητας συλλογή δεδομένων που μπορεί να κλιμακωθεί με βάση τις ανάγκες του έργου σας.
In-house vs. crowdsourcing – Ποιος βγαίνει νικητής;
| Εσωτερικά δεδομένα | Crowdsourced δεδομένα |
|---|---|
| Η ακρίβεια και η συνέπεια των δεδομένων μπορεί να είναι εγγυημένη. | Η ποιότητα, η ακρίβεια και η συνέπεια των δεδομένων μπορούν να διατηρηθούν εάν χρησιμοποιούνται αξιόπιστες πλατφόρμες crowd-sourcing με τυπικά μέτρα QA |
| Η εσωτερική προμήθεια δεδομένων δεν είναι πάντα μια πρακτική απόφαση, καθώς η εσωτερική ομάδα σας ενδέχεται να μην ανταποκρίνεται στις απαιτήσεις του έργου. | Η ποικιλομορφία των δεδομένων μπορεί να διασφαλιστεί, καθώς είναι δυνατή η πρόσληψη μιας ετερογενούς ομάδας πλήθους εργαζομένων με βάση τις ανάγκες του έργου. |
| Ακριβό για την πρόσληψη και την εκπαίδευση εργαζομένων για τις ανάγκες του έργου. | Οικονομική λύση για συλλογή δεδομένων καθώς είναι δυνατή η πρόσληψη, η εκπαίδευση και η επιβίβαση εργαζομένων με λιγότερες επενδύσεις. |
| Ο χρόνος για την αγορά είναι μεγάλος, καθώς η εσωτερική συλλογή δεδομένων απαιτεί πολύ χρόνο. | Ο χρόνος για την αγορά είναι σημαντικά μικρότερος, καθώς πολλές συνεισφορές έρχονται γρήγορα. |
| Μια μικρή ομάδα εσωτερικών συνεργατών και ετικετών | Μια μεγάλη και ποικιλόμορφη ομάδα συντελεστών και ετικέτες δεδομένων |
| Η εμπιστευτικότητα των δεδομένων είναι πολύ υψηλή με μια εσωτερική ομάδα. | Το απόρρητο των δεδομένων είναι δύσκολο να διατηρηθεί όταν εργάζεστε με μεγάλο πλήθος εργαζομένων σε όλο τον κόσμο. |
| Πιο εύκολο να παρακολουθείτε, να εκπαιδεύσετε και να αξιολογήσετε τους συλλέκτες δεδομένων | Προκλητική η παρακολούθηση και εκπαίδευση των συλλεκτών δεδομένων. |
Γεφύρωση του χάσματος μεταξύ των εργαζομένων στο crowdsource και του αιτούντος.
Υπάρχει επιτακτική ανάγκη να γεφυρωθεί το χάσμα μεταξύ των εργαζομένων στο πλήθος και των αιτούντων, όχι μόνο στον τομέα της αμοιβής.
Υπάρχει κατάφωρη έλλειψη πληροφόρησης από την πλευρά του αιτούντος, διότι στους εργαζόμενους παρέχονται πληροφορίες μόνο σχετικά με τη συγκεκριμένη εργασία. Για παράδειγμα, παρόλο που οι εργαζόμενοι αναλαμβάνουν μικρο-καθήκοντα όπως η ηχογράφηση διαλόγων στη μητρική τους διάλεκτο, σπάνια τους παρέχεται πλαίσιο. Δεν έχουν τις απαιτούμενες πληροφορίες για το γιατί κάνουν αυτό που κάνουν και πώς να το κάνουν καλύτερα. Αυτή η έλλειψη πληροφοριών επηρεάζει την ποιότητα της εργασίας που προέρχεται από το πλήθος.
Για έναν άνθρωπο, το να έχει ολόκληρο το πλαίσιο παρέχει σαφήνεια και σκοπό στη δουλειά του.
Προσθέστε σε αυτό το μείγμα μια άλλη διάσταση της NDA – τις συμφωνίες μη αποκάλυψης που περιορίζουν τον όγκο των πληροφοριών που παρέχονται σε έναν εργαζόμενο στο πλήθος. Από την πλευρά των εργαζομένων, αυτή η απόσυρση πληροφοριών δείχνει έλλειψη εμπιστοσύνης και μειωμένη σημασία για την εργασία τους.
Όταν η ίδια κατάσταση εξετάζεται από την άλλη άκρη του φάσματος, υπάρχει έλλειψη διαφάνειας από την άκρη του εργάτη. Ο αιτών δεν κατανοεί πλήρως τον εργαζόμενο που έχει ανατεθεί να κάνει την εργασία. Ορισμένα έργα ενδέχεται να απαιτούν συγκεκριμένο τύπο εργαζομένου. Ωστόσο, στα περισσότερα έργα υπάρχει ασάφεια. ο επίγεια αλήθεια Αυτό μπορεί να περιπλέξει την αξιολόγηση, την ανατροφοδότηση και την εκπαίδευση στη συνέχεια.
Για την αντιμετώπιση αυτών των δυσκολιών, είναι σημαντική η συνεργασία με εμπειρογνώμονες συλλογής δεδομένων με ιστορικό παροχής διαφορετικών, επιμελημένων και καλά αντιπροσωπευόμενων δεδομένων από μια ευρεία επιλογή συνεργατών.
Η επιλογή του Shaip ως συνεργάτη δεδομένων μπορεί να έχει πολλαπλά οφέλη. Εστιάζουμε στην ποικιλομορφία και στις αντιπροσωπευτικές διανομές δεδομένων. Το έμπειρο και αφοσιωμένο προσωπικό μας κατανοεί τους καταναγκασμούς κάθε έργου και αναπτύσσει σύνολα δεδομένων που μπορούν να εκπαιδεύσουν ισχυρές λύσεις βασισμένες σε τεχνητή νοημοσύνη σε χρόνο μηδέν.
[Διαβάστε επίσης: Οδηγός εκκίνησης δεδομένων εκπαίδευσης AI: Ορισμός, Παράδειγμα, Σύνολα δεδομένων]
