Δεδομένα και MLOpen source
orya-guard
Ένα πρακτικό εργαλείο γραμμής εντολών σε Python για προκαταρκτικό έλεγχο συνόλων δεδομένων ML και δεδομένων εισόδου κατά την πρόβλεψη, σχεδιασμένο να εντοπίζει αλλαγές στο schema, απότομες αυξήσεις κενών τιμών, σημάδια drift και λάθη τύπων πριν χαλάσουν ό,τι ακολουθεί.
Το ζητούμενο
Πολλά προβλήματα στο ML ξεκινούν πριν από το μοντέλο: ένα σύνολο δεδομένων έρχεται με αλλαγμένο schema, μια στήλη γεμίζει ξαφνικά κενές τιμές ή τα δεδομένα εισόδου στην παραγωγή έχουν λάθος τύπο πεδίου. Οι μηχανικοί ML συχνά τα εντοπίζουν μόνο όταν τα αποτελέσματα της εκπαίδευσης ή η συμπεριφορά στην παραγωγή δείχνουν ήδη λάθος.
Το orya-guard έπρεπε να είναι ένα ελαφρύ εργαλείο γραμμής εντολών σε Python που κάνει προκαταρκτικό έλεγχο σε πίνακες δεδομένων πριν από την εκπαίδευση και ελέγχει τα δεδομένα εισόδου πριν από την πρόβλεψη, επισημαίνοντας αλλαγές στο schema, απότομες αυξήσεις κενών τιμών, σημάδια drift και λάθη τύπων με καθαρούς όρους, στη γλώσσα του ML.
Πώς το προσεγγίσαμε
- 1
Έλεγχοι πριν από την εκπαίδευση και πριν από την πρόβλεψη
Ένα εργαλείο καλύπτει και τα δύο σημεία ελέγχου: τα σύνολα εκπαίδευσης πριν από την εκπαίδευση και τα δεδομένα εισόδου πριν από την πρόβλεψη, ώστε οι είσοδοι να ελέγχονται και στα δύο στάδια.
- 2
Έλεγχοι στη γλώσσα του ML
Οι έλεγχοι στοχεύουν σε ό,τι μετράει για τα μοντέλα, όπως αλλαγές στο schema, απότομες αυξήσεις κενών τιμών, σημάδια drift και λάθη τύπων, αντί για γενικό καθάρισμα δεδομένων.
- 3
Ελαφρύ από σχεδιασμό
Το μικρό αποτύπωμα στη γραμμή εντολών κάνει το εργαλείο εύκολο να μπει σε μια υπάρχουσα ροή ML χωρίς να προσθέτει άλλη μία πλατφόρμα που πρέπει να τρέχει και να συντηρείται.
Τι παραδώσαμε
- Προκαταρκτικοί έλεγχοι σε πίνακες δεδομένων πριν από την εκπαίδευση
- Έλεγχος των δεδομένων εισόδου πριν από την πρόβλεψη
- Καθαροί έλεγχοι με λογική ML για αλλαγές schema, απότομες αυξήσεις κενών τιμών, σημάδια drift και λάθη τύπων
- Αναπτύχθηκε απευθείας από τον ιδρυτή της Orya One
Τι έπρεπε να πετύχει
- Λιγότερα κρυφά προβλήματα ποιότητας πριν ξεκινήσει η εκπαίδευση του μοντέλου
- Πιο έγκαιρος εντοπισμός προβλημάτων στα δεδομένα εισόδου της παραγωγής
- Πιο ασφαλής και πιο ελεγχόμενη παράδοση έργων ML στην πράξη
