Το OpenAI Orion, το μοντέλο τεχνητής νοημοσύνης επόμενης γενιάς της εταιρείας, χτυπά τείχη απόδοσης που εκθέτουν περιορισμούς στις παραδοσιακές προσεγγίσεις κλιμάκωσης. Πηγές που γνωρίζουν το θέμα αποκαλύπτουν ότι το Orion προσφέρει μικρότερα κέρδη απόδοσης από τους προκατόχους του, ωθώντας το OpenAI να επανεξετάσει τη στρατηγική ανάπτυξής του.
Οι πρώιμες δοκιμές αποκαλύπτουν σημαντικές βελτιώσεις
Οι αρχικές δοκιμές υπαλλήλων δείχνουν ότι το OpenAI Orion πέτυχε επιδόσεις σε επίπεδο GPT-4 αφού ολοκλήρωσε μόνο το 20% της εκπαίδευσής του. Αν και αυτό μπορεί να ακούγεται εντυπωσιακό, είναι σημαντικό να σημειωθεί ότι τα πρώτα στάδια της εκπαίδευσης AI συνήθως αποφέρουν τις πιο δραματικές βελτιώσεις. Το υπόλοιπο 80% της εκπαίδευσης είναι απίθανο να έχει σημαντικές προόδους, υποδηλώνοντας ότι το OpenAI Orion μπορεί να μην ξεπεράσει το GPT-4 με μεγάλη διαφορά.
“Ορισμένοι ερευνητές στην εταιρεία πιστεύουν ότι το Orion δεν είναι αξιόπιστα καλύτερο από τον προκάτοχό του στο χειρισμό ορισμένων εργασιών”, ανέφερε Οι Πληροφορίες. «Το Orion αποδίδει καλύτερα σε γλωσσικές εργασίες, αλλά μπορεί να μην ξεπερνά τα προηγούμενα μοντέλα σε εργασίες όπως η κωδικοποίηση, σύμφωνα με έναν υπάλληλο του OpenAI».
Το δίλημμα της έλλειψης δεδομένων
Οι προκλήσεις του OpenAI με το Orion υπογραμμίζουν ένα θεμελιώδες ζήτημα στον κλάδο της τεχνητής νοημοσύνης: τη μείωση της προσφοράς δεδομένων εκπαίδευσης υψηλής ποιότητας. Έρευνα που δημοσιεύθηκε τον Ιούνιο προβλέπει ότι οι εταιρείες τεχνητής νοημοσύνης θα εξαντλήσουν τα διαθέσιμα δημόσια δεδομένα κειμένου που δημιουργούνται από τον άνθρωπο μεταξύ 2026 και 2032. Αυτή η σπανιότητα σηματοδοτεί ένα κρίσιμο σημείο καμπής για τις παραδοσιακές προσεγγίσεις ανάπτυξης, αναγκάζοντας εταιρείες όπως το OpenAI να εξερευνήσουν εναλλακτικές μεθόδους.
«Τα ευρήματά μας δείχνουν ότι οι τρέχουσες τάσεις ανάπτυξης LLM δεν μπορούν να διατηρηθούν μόνο μέσω συμβατικής κλίμακας δεδομένων», η έρευνα έντυπα κράτη. Αυτό υπογραμμίζει την ανάγκη για παραγωγή συνθετικών δεδομένων, μεταφορά μάθησης και χρήση μη δημοσίων δεδομένων για τη βελτίωση της απόδοσης του μοντέλου.
Στρατηγική ανάπτυξης διπλής διαδρομής του OpenAI
Για να αντιμετωπίσει αυτές τις προκλήσεις, το OpenAI αναδιαρθρώνει την προσέγγισή του διαχωρίζοντας την ανάπτυξη μοντέλων σε δύο διακριτές διαδρομές. Η σειρά O, με την κωδική ονομασία Strawberry, εστιάζει στις δυνατότητες λογικής και αντιπροσωπεύει μια νέα κατεύθυνση στην αρχιτεκτονική μοντέλων. Αυτά τα μοντέλα λειτουργούν με σημαντικά υψηλότερη υπολογιστική ένταση και έχουν σχεδιαστεί ρητά για σύνθετες εργασίες επίλυσης προβλημάτων.
Παράλληλα, τα μοντέλα Orion —ή η σειρά GPT— συνεχίζουν να εξελίσσονται, εστιάζοντας σε γενικές εργασίες επεξεργασίας γλώσσας και επικοινωνίας. Ο Chief Product Officer του OpenAI, Kevin Weil, επιβεβαίωσε αυτή τη στρατηγική κατά τη διάρκεια ενός AMA, δηλώνοντας: «Δεν είναι ούτε το ένα ούτε το άλλο—καλύτερα βασικά μοντέλα συν περισσότερος υπολογισμός χρόνου κλιμάκωσης/συμπερασμάτων φράουλας».
Συνθετικά δεδομένα: Ένα δίκοπο μαχαίρι
Το OpenAI διερευνά τη δημιουργία συνθετικών δεδομένων για την αντιμετώπιση της σπανιότητας δεδομένων για το OpenAI Orion. Ωστόσο, αυτή η λύση εισάγει νέες επιπλοκές στη διατήρηση της ποιότητας και της αξιοπιστίας του μοντέλου. Τα μοντέλα εκπαίδευσης σε περιεχόμενο που δημιουργείται από την τεχνητή νοημοσύνη μπορεί να οδηγήσουν σε βρόχους ανάδρασης που ενισχύουν λεπτές ατέλειες, δημιουργώντας ένα σύνθετο αποτέλεσμα που είναι όλο και πιο δύσκολο να εντοπιστεί και να διορθωθεί.
Οι ερευνητές ανακάλυψαν ότι η μεγάλη βάση σε συνθετικά δεδομένα μπορεί να προκαλέσει την υποβάθμιση των μοντέλων με την πάροδο του χρόνου. Η ομάδα του OpenAI Foundations αναπτύσσει νέους μηχανισμούς φιλτραρίσματος για τη διατήρηση της ποιότητας των δεδομένων, εφαρμόζοντας τεχνικές επικύρωσης για τη διάκριση μεταξύ υψηλής ποιότητας και δυνητικά προβληματικού συνθετικού περιεχομένου. Διερευνούν επίσης υβριδικές προσεγγίσεις εκπαίδευσης που συνδυάζουν περιεχόμενο που δημιουργείται από τον άνθρωπο και την τεχνητή νοημοσύνη για να μεγιστοποιήσουν τα οφέλη ελαχιστοποιώντας παράλληλα τα μειονεκτήματα.
Το OpenAI Orion βρίσκεται ακόμα στα αρχικά του στάδια, με σημαντικές εργασίες ανάπτυξης μπροστά. Ο Διευθύνων Σύμβουλος Sam Altman έχει δηλώσει ότι δεν θα είναι έτοιμο για ανάπτυξη φέτος ή του χρόνου. Αυτό το εκτεταμένο χρονοδιάγραμμα θα μπορούσε να αποδειχθεί επωφελές, επιτρέποντας στους ερευνητές να αντιμετωπίσουν τους τρέχοντες περιορισμούς και να ανακαλύψουν νέες μεθόδους για τη βελτίωση του μοντέλου.
Αντιμετωπίζοντας αυξημένες προσδοκίες μετά από έναν πρόσφατο γύρο χρηματοδότησης 6,6 δισεκατομμυρίων δολαρίων, το OpenAI στοχεύει να ξεπεράσει αυτές τις προκλήσεις καινοτομώντας τη στρατηγική ανάπτυξης του. Αντιμετωπίζοντας κατά μέτωπο το δίλημμα της σπανιότητας δεδομένων, η εταιρεία ελπίζει να διασφαλίσει ότι το OpenAI Orion θα έχει ουσιαστικό αντίκτυπο στην τελική κυκλοφορία του.
Πίστωση επιλεγμένης εικόνας: Jonathan Kemper/Unsplash
VIA: DataConomy.com
