Περιεχόμενα Άρθρου
Τα μεγάλα γλωσσικά μοντέλα (LLMs), παρά τα εντυπωσιακά αποτελέσματα που παρουσιάζουν, αντιμετωπίζουν σοβαρά προβλήματα στην κατανόηση του πραγματικού κόσμου και στη δημιουργία ακριβών μοντέλων της πραγματικότητας.
Ένα νέο ερευνητικό έργο δείχνει πως τα LLMs δεν έχουν τη δυνατότητα να κατανοήσουν τον κόσμο με τον ίδιο τρόπο που το κάνουν οι άνθρωποι.
Οι αδυναμίες των Μεγάλων Γλωσσικών Μοντέλων (LLMs)
Τα συστήματα τεχνητής νοημοσύνης, όπως τα GPT-4 και Claude 3 Opus, συχνά εντυπωσιάζουν με τα αποτελέσματά τους, αλλά η νέα έρευνα αποκαλύπτει ότι τα LLMs δεν κατανοούν τον πραγματικό κόσμο όπως φαίνεται.
Στην πράξη, τα μοντέλα αυτά δυσκολεύονται να δημιουργήσουν αξιόπιστα μοντέλα της πραγματικότητας, κάτι που καθιστά δύσκολη την εφαρμογή τους σε πραγματικά σενάρια.
Μια από τις κεντρικές δοκιμές της μελέτης περιλάμβανε την αξιολόγηση των οδηγιών οδήγησης που παρέχουν τα LLMs για την πόλη της Νέας Υόρκης.
Παρά την ακριβή αναπαραγωγή των οδηγιών, οι χάρτες που χρησιμοποιήθηκαν από τα LLMs περιείχαν ανύπαρκτους δρόμους και διαδρομές, ενώ η απόδοση των μοντέλων κατέρρευσε όταν παρουσιάστηκαν αλλαγές, όπως κλειστοί δρόμοι ή αναγκαία παρακάμψεις.
Η ευπάθεια των LLMs σε δυναμικά περιβάλλοντα
Αυτές οι διαπιστώσεις εγείρουν σοβαρές ανησυχίες σχετικά με την αξιοπιστία των LLMs σε δυναμικά περιβάλλοντα. Για παράδειγμα, η χρήση τους σε αυτόνομα οχήματα ή άλλες εφαρμογές στον πραγματικό κόσμο μπορεί να αποβεί επικίνδυνη, αν τα μοντέλα αυτά αποτύχουν σε απρόβλεπτες συνθήκες, όπως η κίνηση στους δρόμους ή αλλαγές στις διαδρομές.
Μια από τις πιο σημαντικές παρατηρήσεις της έρευνας είναι ότι τα LLMs απέτυχαν να προσαρμοστούν σε αλλαγές που εισήχθησαν στους χάρτες ή στις καταστάσεις του παιχνιδιού.
Στην περίπτωση των οδηγιών οδήγησης, για παράδειγμα, η ακριβής ακρίβεια των μοντέλων κατέρρευσε όταν προστέθηκαν αλλαγές, όπως νέοι κλειστοί δρόμοι. Η απόδοση των μοντέλων έπεσε κατακόρυφα, από σχεδόν 100% σε μόλις 67% με τις μικρότερες παρακάμψεις.
Απαιτούνται νέες προσεγγίσεις για τα LLMs
Οι ερευνητές καταλήγουν στο συμπέρασμα ότι η επιτυχία των LLMs στην πραγματικότητα εξαρτάται από την ικανότητά τους να δημιουργούν συνεκτικά μοντέλα του κόσμου, κάτι που χρειάζεται νέες προσεγγίσεις και τεχνικές για να επιτευχθεί.
Το πρόβλημα αναδεικνύει τη σημασία της κατανόησης των περιορισμών των LLMs, ειδικά όταν πρόκειται για εφαρμογές σε δυναμικά και απρόβλεπτα περιβάλλοντα.
Η μελέτη αυτή υπογραμμίζει τη σημασία της κατανόησης των ορίων των LLMs και των δυνατοτήτων τους. Αν και τα LLMs φαίνονται να έχουν κατανοήσει τον κόσμο σε επιφανειακό επίπεδο, η πραγματική τους ικανότητα να κατανοούν και να αντιλαμβάνονται τον πραγματικό κόσμο είναι περιορισμένη.
Ειδικά για τις εφαρμογές τους στον πραγματικό κόσμο, όπως η οδήγηση ή η αυτόνομη πλοήγηση, είναι απαραίτητο να αναπτυχθούν νέες προσεγγίσεις για να εξασφαλιστεί η ασφάλεια και η αξιοπιστία τους.
«Μια ελπίδα είναι ότι, επειδή τα LLM μπορούν να επιτύχουν όλα αυτά τα καταπληκτικά πράγματα στη γλώσσα, ίσως θα μπορούσαμε να χρησιμοποιήσουμε αυτά τα ίδια εργαλεία και σε άλλα μέρη της επιστήμης. Αλλά το ερώτημα εάν οι LLM μαθαίνουν συνεκτικά παγκόσμια μοντέλα είναι πολύ σημαντικό αν θέλουμε να χρησιμοποιήσει αυτές τις τεχνικές για να κάνει νέες ανακαλύψεις», δήλωσε ο ανώτερος συγγραφέας Ashesh Rambachan, επίκουρος καθηγητής οικονομικών και κύριος ερευνητής στο Εργαστήριο Πληροφοριών και Συστημάτων Αποφάσεων του MIT (LIDS), σε μια δήλωση.
Η ουσία των παραγωγικών AI βασίζεται στην ικανότητα των LLM να μαθαίνουν από τεράστιες ποσότητες δεδομένων και παραμέτρων παράλληλα.
Παγκόσμιο μοντέλο
Για να γίνει αυτό, βασίζονται σε μοντέλα μετασχηματιστών, τα οποία είναι το υποκείμενο σύνολο νευρωνικών δικτύων που επεξεργάζονται δεδομένα και επιτρέπουν την πτυχή αυτομάθησης των LLM.
Αυτή η διαδικασία δημιουργεί ένα λεγόμενο «παγκόσμιο μοντέλο» το οποίο μπορεί στη συνέχεια να χρησιμοποιήσει ένα εκπαιδευμένο LLM για να συναγάγει απαντήσεις και να παράγει αποτελέσματα σε ερωτήματα και εργασίες.
Μια τέτοια θεωρητική χρήση των παγκόσμιων μοντέλων θα ήταν η λήψη δεδομένων από ταξίδια με ταξί σε μια πόλη για τη δημιουργία ενός χάρτη χωρίς να χρειάζεται να σχεδιάσετε προσεκτικά κάθε διαδρομή, όπως απαιτείται από τα τρέχοντα εργαλεία πλοήγησης.
Ωστόσο, εάν αυτός ο χάρτης δεν είναι ακριβής, οι αποκλίσεις που γίνονται σε μια διαδρομή θα προκαλούσαν χαμηλότερη απόδοση ή αποτυχία της πλοήγησης που βασίζεται σε τεχνητή νοημοσύνη.
«Συχνά, βλέπουμε αυτά τα μοντέλα να κάνουν εντυπωσιακά πράγματα και πιστεύουμε ότι πρέπει να έχουν καταλάβει κάτι για τον κόσμο», κατέληξε ο Rambachan.
«Ελπίζω ότι μπορούμε να πείσουμε τους ανθρώπους ότι αυτή είναι μια ερώτηση που πρέπει να σκεφτούμε πολύ προσεκτικά και δεν χρειάζεται να βασιζόμαστε στη δική μας διαίσθηση για να την απαντήσουμε».
VIA: FoxReport.gr
