Δεδομένα και MLOpen source
orya-benchmark-pack
Ένα εστιασμένο εργαλείο ανάλυσης για αναλυτές, data scientists και μηχανικούς ML που χρειάζονται γρήγορες, αξιόπιστες βασικές μετρήσεις, καθαρότερες συγκρίσεις και δομημένα αποτελέσματα από πίνακες δεδομένων.
Το ζητούμενο
Πριν χτίσει κανείς πιο σύνθετα μοντέλα πάνω σε έναν πίνακα δεδομένων, οι αναλυτές, οι data scientists και οι μηχανικοί ML χρειάζονται μια ειλικρινή βάση σύγκρισης: τι πετυχαίνει ένα απλό μοντέλο και ποια χαρακτηριστικά μετρούν πραγματικά. Χωρίς αυτήν, η εξερεύνηση μένει θολή και οι μετέπειτα συγκρίσεις δύσκολα γίνονται αξιόπιστες.
Το orya-benchmark-pack έπρεπε να παράγει γρήγορα αξιόπιστες βασικές μετρήσεις μέσα από ένα notebook, να διαβάζει τις συνηθισμένες μορφές αρχείων, να αναγνωρίζει αυτόματα το είδος του προβλήματος, να ελέγχει σωστά τα αποτελέσματα και να αφήνει δομημένα αρχεία που μπορούν να εξεταστούν και να ξαναχρησιμοποιηθούν όταν ξεκινήσει η πιο βαριά δουλειά με τα μοντέλα.
Πώς το προσεγγίσαμε
- 1
Από το αρχείο στο ορισμένο πρόβλημα
Τα αρχεία CSV και Parquet φορτώνουν απευθείας σε notebook και το εργαλείο αναγνωρίζει αυτόματα το είδος του προβλήματος, ώστε το benchmark να ξεκινά χωρίς χειροκίνητη προετοιμασία.
- 2
Έλεγχος ενσωματωμένος στις βασικές μετρήσεις
Τα βασικά μοντέλα βαθμολογούνται με cross-validation και ξεχωριστό σύνολο ελέγχου, ώστε τα πρώτα νούμερα σε ένα σύνολο δεδομένων να μπορούν να συγκριθούν με σιγουριά.
- 3
Αποτελέσματα που αξίζει να κρατήσετε
Η σημασία κάθε χαρακτηριστικού με τη μέθοδο της αναδιάταξης (permutation importance) και η καθαρή εξαγωγή αρχείων αφήνουν ένα ελέγξιμο ιστορικό του τι έδειξε το βασικό μοντέλο, έτοιμο για την επόμενη ανάλυση.
Τι παραδώσαμε
- Διαχείριση αρχείων CSV και Parquet με αυτόματη αναγνώριση του προβλήματος
- Benchmark βασικών μοντέλων με cross-validation και ξεχωριστό σύνολο ελέγχου
- Σημασία χαρακτηριστικών με permutation importance και καθαρή εξαγωγή αρχείων για μετέπειτα έλεγχο
Τι έπρεπε να πετύχει
- Ταχύτερη κατανόηση της βάσης σύγκρισης πριν από πιο σύνθετα μοντέλα
- Λιγότερο θολή εξερεύνηση, με ένα καθαρότερο επίπεδο benchmark
- Επαναλήψιμα αποτελέσματα ανάλυσης που μπορούν να ελεγχθούν και να ξαναχρησιμοποιηθούν
