Δεδομένα και MLOpen source
orya-eval
Ένα ελαφρύ επίπεδο αξιολόγησης σε Python, σχεδιασμένο να συγκρίνει εκτελέσεις, να αναδεικνύει πτώσεις ποιότητας και να κρατά μετρήσιμα τα συστήματα ML ή AI, με ρυθμίσεις σε YAML και καθαρότερο έλεγχο ορίων.
Το ζητούμενο
Τα συστήματα ML και AI αλλάζουν συνεχώς μέσα από νέα δεδομένα, prompts, μοντέλα και κώδικα, και κάθε τέτοια αλλαγή μπορεί να ρίξει αθόρυβα την ποιότητα. Οι μηχανικοί ML χρειάζονται έναν αξιόπιστο τρόπο να συγκρίνουν εκτελέσεις και να πιάνουν τις πτώσεις ποιότητας, χωρίς πρόχειρα notebooks ή τη μνήμη από παλιότερα αποτελέσματα.
Το orya-eval έπρεπε να προσφέρει ένα ελαφρύ επίπεδο αξιολόγησης σε Python, με επαναλήψιμες τοπικές εκτελέσεις, συγκρίσεις με εκτελέσεις αναφοράς και όρια αποτυχίας που μπορεί να εφαρμόσει ένα CI pipeline, όλα ορισμένα σε ρυθμίσεις που μένουν ευανάγνωστες στο Git.
Πώς το προσεγγίσαμε
- 1
Ρυθμίσεις πρώτα σε YAML
Οι αξιολογήσεις ορίζονται σε YAML, ώστε να μένουν ευανάγνωστες στο Git και να ελέγχονται όπως κάθε άλλη αλλαγή στον κώδικα.
- 2
Η εκτέλεση αναφοράς ως μέτρο
Κάθε εκτέλεση συγκρίνεται με μια εκτέλεση αναφοράς, κάτι που μετατρέπει την αξιολόγηση σε έλεγχο για πτώσεις ποιότητας αντί για μια σειρά από μεμονωμένες βαθμολογίες.
- 3
Όρια που επιβάλλει το CI
Οι αποτυχίες στις μετρικές και οι πτώσεις ποιότητας εκφράζονται ως ρητά όρια, ώστε ένα CI pipeline να μπορεί να σταματήσει μια έκδοση όταν η ποιότητα πέφτει.
Τι παραδώσαμε
- Ροή αξιολόγησης με ρυθμίσεις σε YAML που μένουν ευανάγνωστες στο Git
- Συγκρίσεις με εκτελέσεις αναφοράς, ώστε να μην περνούν απαρατήρητες οι πτώσεις ποιότητας
- Όρια έτοιμα για CI για αποτυχίες μετρικών και πτώσεις ποιότητας
- Πρακτικό εργαλείο αξιολόγησης για συστήματα ML και AI
Τι έπρεπε να πετύχει
- Καθαρότερες και πιο αξιόπιστες συγκρίσεις ανάμεσα σε εκτελέσεις
- Έγκαιρος εντοπισμός πτώσεων ποιότητας πριν από κάθε έκδοση
- Πιο πειθαρχημένη ροή αξιολόγησης για ομάδες ML
