Εισαγωγή στα Μοντέλα Μεγάλων Γλωσσών

Η εκτέλεση μεγάλων μοντέλων τεχνητής νοημοσύνης (ΑΙ) τοπικά, σε smartphones ή laptops, μπορεί να γίνει εφικτή μετά από έναν νέο αλγόριθμο συμπίεσης που μειώνει το μέγεθός τους – γεγονός που σημαίνει ότι τα δεδομένα σας δε φεύγουν ποτέ από τη συσκευή σας. Η παγίδα είναι ότι η χρήση τους μπορεί να εξαντλήσει τη μπαταρία σε μία ώρα.

Ο αλγόριθμος CALDERA και η δυνατότητά του

Τα ισχυρά μοντέλα τεχνητής νοημοσύνης όπως το ChatGPT χρειάζονται τεράστιες ποσότητες ενέργειας για να λειτουργήσουν, γι’ αυτό και συνήθως φιλοξενούνται σε τεράστια κέντρα δεδομένων. Ωστόσο, μια νέα ανακάλυψη μπορεί να συμπιέσει αυτά τα μοντέλα ΑΙ έτσι ώστε να χωράνε σε ένα κινητό ή laptop.

Ένας νέος αλγόριθμος, ο οποίος ονομάζεται Calibration Aware Low Precision Decomposition with Low Rank Adaptation (CALDERA), συμπιέζει την τεράστια ποσότητα δεδομένων που απαιτείται για τη λειτουργία ενός μεγάλου γλωσσικού μοντέλου (LLM), μειώνοντας τις πλεονασματικές πληροφορίες στον κώδικα και τη μείωση της ακρίβειας των επιπέδων πληροφορίας.

Ο αλγόριθμος συμπίεσης CALDERA

Αυτό το «λεπτότερο»LLM λειτουργεί με ακρίβεια και ευαισθησία σε ελαφρώς χαμηλότερα επίπεδα από την μη συμπιεσμένη εκδοχή του, σύμφωνα με μελέτη που δημοσιεύθηκε στις 24 Μαΐου στην πλατφόρμα preprint arXiv, πριν την παρουσίασή της στο συνέδριο NeurIPS τον Δεκέμβριο.

Ο συν-συγγραφέας της μελέτης, Andrea Goldsmith, καθηγήτρια ηλεκτρικής και υπολογιστικής μηχανικής στο Πανεπιστήμιο του Πρίνστον, δήλωσε:

«Κάθε φορά που μπορούμε να μειώσουμε την υπολογιστική πολυπλοκότητα, τις απαιτήσεις αποθήκευσης και εύρους ζώνης κατά τη χρήση των μοντέλων ΑΙ, μπορούμε να επιτρέψουμε την ΑΙ σε συσκευές και συστήματα που διαφορετικά δε θα μπορούσαν να διαχειριστούν τέτοιες εργασίες που απαιτούν υπολογιστική ισχύ και μνήμη»

Εφαρμογές και όρια του αλγορίθμου

Όταν κάποιος χρησιμοποιεί το ChatGPT (για παράδειγμα) στο κινητό ή το laptop του, κάθε αίτημα αποστέλλεται σε απομακρυσμένους διακομιστές, όπου τα δεδομένα επεξεργάζονται με υψηλό περιβαλλοντικό και οικονομικό κόστος.

Αυτό συμβαίνει γιατί τα μοντέλα ΑΙ αυτής της κλίμακας απαιτούν τεράστιες ποσότητες υπολογιστικής ισχύος, χρησιμοποιώντας εκατοντάδες, αν όχι χιλιάδες, εξαρτήματα, όπως οι μονάδες επεξεργασίας γραφικών (GPUs). Επομένως, για να εκτελούνται αυτά τα αιτήματα με μία μόνο GPU σε μια μικρή συσκευή, το μέγεθος και η έκταση του μοντέλου ΑΙ πρέπει να συμπιεστούν.

Συγκρίνοντας τεχνικές συμπίεσης

Για να συμπιέσουν ένα LLM, οι επιστήμονες χρησιμοποιούν δύο τεχνικές. Η πρώτη είναι η «χαμηλής ακρίβειας», η οποία μειώνει τον αριθμό των bits (1s και 0s δεδομένων) που χρησιμοποιούνται για την αποθήκευση πληροφοριών, επιταχύνοντας την αποθήκευση και επεξεργασία και βελτιώνοντας την ενεργειακή απόδοση. Η δεύτερη, που ονομάζεται «χαμηλή κατάταξη», αφορά τη μείωση των πλεονασμάτων στις παραμέτρους που χρησιμοποιούνται στην εκπαίδευση των LLM.

Δοκιμές του αλγορίθμου

Η ομάδα εξέτασε τον αλγόριθμο στα ανοιχτά μοντέλα Llama 2 και Llama 3 της Meta και κατέγραψε βελτίωση έως και 5% σε σχέση με υπάρχοντες αλγόριθμους συμπίεσης που χρησιμοποιούν μόνο μία από τις δύο τεχνικές.

Τα αποτελέσματα αυτά θα μπορούσαν να ανοίξουν τον δρόμο για την αποθήκευση και εκτέλεση LLM σε smartphones ή laptops στο μέλλον, σε περιπτώσεις όπου η ιδιωτικότητα είναι υψίστης σημασίας και όταν η μέγιστη ακρίβεια δεν είναι απαραίτητη.

Προκλήσεις και προοπτικές

Ωστόσο, οι επιστήμονες προειδοποίησαν ότι τα LLM δεν είναι βελτιστοποιημένα για να λειτουργούν αποδοτικά σε τέτοιες συσκευές.

«Δε θα είστε χαρούμενοι αν εκτελείτε ένα LLM και το κινητό σας εξαντλεί τη μπαταρία σε μία ώρα. Αλλά δε θα έλεγα ότι υπάρχει μία μόνο τεχνική που λύνει όλα τα προβλήματα» δήλωσε ο Rajarshi Saha, διδακτορικός φοιτητής στο Πανεπιστήμιο Στάνφορντ.

«Αυτό που προτείνουμε σε αυτό το άρθρο είναι μια τεχνική που χρησιμοποιείται σε συνδυασμό με τεχνικές που προτάθηκαν σε προηγούμενες μελέτες. Και πιστεύω ότι αυτός ο συνδυασμός θα μας επιτρέψει να χρησιμοποιούμε τα LLM σε κινητές συσκευές πιο αποδοτικά και να επιτύχουμε πιο ακριβή αποτελέσματα», όπως εξάγεται από τις πληροφορίες του Keumars Afifi-Sabet.