Πλαίσιο NVIDIA NeMo

Προδιαγραφές

• Όνομα προϊόντος: Πλαίσιο NVIDIA NeMo
• Πλατφόρμες που επηρεάζονται: Windows, Linux, macOS
• Εκδόσεις που επηρεάζονται: Όλες οι εκδόσεις πριν από την 24
• Ευπάθεια ασφαλείας: CVE-2025-23360
• Βασική βαθμολογία αξιολόγησης κινδύνου: 7.1 (CVSS v3.1)

Οδηγίες χρήσης προϊόντος

Εγκατάσταση ενημέρωσης ασφαλείας:
Για να προστατεύσετε το σύστημά σας, ακολουθήστε τα εξής βήματα:

1. Κατεβάστε την πιο πρόσφατη έκδοση από τη σελίδα εκδόσεων NeMo-Framework-Launcher στο GitHub.
2. Μεταβείτε στην Ασφάλεια προϊόντος NVIDIA για περισσότερες πληροφορίες.

Λεπτομέρειες ενημέρωσης ασφαλείας:
Η ενημέρωση ασφαλείας αντιμετωπίζει μια ευπάθεια στο NVIDIA NeMo Framework που θα μπορούσε να οδηγήσει σε εκτέλεση κώδικα και δεδομένα tampering.

Αναβάθμιση λογισμικού:
Εάν χρησιμοποιείτε παλαιότερη έκδοση κλάδου, συνιστάται να κάνετε αναβάθμιση στην πιο πρόσφατη έκδοση για να αντιμετωπίσετε το ζήτημα ασφαλείας.

Υπερview

Το NVIDIA NeMo Framework είναι ένα επεκτάσιμο και εγγενές σε σύννεφο πλαίσιο τεχνητής νοημοσύνης που δημιουργείται για ερευνητές και προγραμματιστές που εργάζονται σε Μεγάλα μοντέλα γλώσσας, Πολυτροπικό, και Ομιλία AI (π.χ Αυτόματη αναγνώριση ομιλίας και Κείμενο σε ομιλία). Επιτρέπει στους χρήστες να δημιουργούν, να προσαρμόζουν και να αναπτύσσουν αποτελεσματικά νέα μοντέλα παραγωγής τεχνητής νοημοσύνης, αξιοποιώντας τον υπάρχοντα κώδικα και τα προεκπαιδευμένα σημεία ελέγχου μοντέλων.

Οδηγίες εγκατάστασης: Εγκαταστήστε το NeMo Framework

Μεγάλα γλωσσικά μοντέλα και πολυτροπικά μοντέλα
Το NeMo Framework παρέχει υποστήριξη από άκρο σε άκρο για την ανάπτυξη μοντέλων μεγάλων γλωσσών (LLM) και πολυτροπικών μοντέλων (MM). Παρέχει την ευελιξία για χρήση εντός των εγκαταστάσεων, σε ένα κέντρο δεδομένων ή με τον προτιμώμενο πάροχο cloud. Υποστηρίζει επίσης την εκτέλεση σε περιβάλλοντα με δυνατότητα SLURM ή Kubernetes.

Επιμέλεια Δεδομένων
Επιμελητής NeMo [1] είναι μια βιβλιοθήκη Python που περιλαμβάνει μια σουίτα λειτουργικών μονάδων για εξόρυξη δεδομένων και παραγωγή συνθετικών δεδομένων. Είναι επεκτάσιμα και βελτιστοποιημένα για GPU, καθιστώντας τα ιδανικά για την επιμέλεια δεδομένων φυσικής γλώσσας για την εκπαίδευση ή τη βελτίωση των LLM. Με το NeMo Curator, μπορείτε να εξαγάγετε αποτελεσματικά κείμενο υψηλής ποιότητας από εκτεταμένο ακατέργαστο web πηγές δεδομένων.

Εκπαίδευση και Προσαρμογή

Το NeMo Framework παρέχει εργαλεία για αποτελεσματική εκπαίδευση και προσαρμογή LLMs και πολυτροπικά μοντέλα. Περιλαμβάνει προεπιλεγμένες διαμορφώσεις για τη ρύθμιση συμπλέγματος υπολογιστών, τη λήψη δεδομένων και τις υπερπαραμέτρους μοντέλων, οι οποίες μπορούν να προσαρμοστούν για εκπαίδευση σε νέα σύνολα δεδομένων και μοντέλα. Εκτός από την προ-εκπαίδευση, το NeMo υποστηρίζει τόσο τις τεχνικές εποπτευόμενης μικροσυντονισμού (SFT) όσο και τεχνικές μικρορύθμισης με απόδοση παραμέτρων (PEFT), όπως το LoRA, το Ptuning και άλλες.

Υπάρχουν δύο επιλογές για την εκκίνηση της εκπαίδευσης στο NeMo – χρησιμοποιώντας τη διεπαφή NeMo 2.0 API ή με το NeMo Run.

• Με το NeMo Run (Συνιστάται): Το NeMo Run παρέχει μια διεπαφή για τη βελτιστοποίηση της διαμόρφωσης, εκτέλεσης και διαχείρισης πειραμάτων σε διάφορα υπολογιστικά περιβάλλοντα. Αυτό περιλαμβάνει την εκκίνηση εργασιών στο σταθμό εργασίας σας τοπικά ή σε μεγάλα συμπλέγματα – τόσο με ενεργοποιημένο το SLURM όσο και το Kubernetes σε περιβάλλον cloud.
  • Προπόνηση & Γρήγορη εκκίνηση PEFT με το NeMo Run
• Χρησιμοποιώντας το NeMo 2.0 API: Αυτή η μέθοδος λειτουργεί καλά με μια απλή ρύθμιση που περιλαμβάνει μικρά μοντέλα ή εάν σας ενδιαφέρει να γράψετε το δικό σας προσαρμοσμένο πρόγραμμα φόρτωσης δεδομένων, βρόχους εκπαίδευσης ή αλλαγή επιπέδων μοντέλου. Σας παρέχει μεγαλύτερη ευελιξία και έλεγχο των διαμορφώσεων και διευκολύνει την επέκταση και την προσαρμογή των διαμορφώσεων μέσω προγραμματισμού.
  • Traεισαγωγή Quickstart με NeMo 2.0 API
  • Μετεγκατάσταση από το NeMo 1.0 στο NeMo 2.0 API

Ευθυγραμμία

• NeMo-Aligner [1] είναι μια κλιμακούμενη εργαλειοθήκη για αποτελεσματική ευθυγράμμιση μοντέλων. Η εργαλειοθήκη υποστηρίζει αλγόριθμους ευθυγράμμισης μοντέλων τελευταίας τεχνολογίας, όπως SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF) και πολλά άλλα. Αυτοί οι αλγόριθμοι επιτρέπουν στους χρήστες να ευθυγραμμίζουν τα μοντέλα γλώσσας ώστε να είναι πιο ασφαλή, αβλαβή και χρήσιμα.
• Όλα τα σημεία ελέγχου NeMo-Aligner είναι πολλαπλά συμβατά με το οικοσύστημα NeMo, επιτρέποντας περαιτέρω προσαρμογή και ανάπτυξη συμπερασμάτων.

Βήμα προς βήμα ροή εργασίας και των τριών φάσεων του RLHF σε ένα μικρό μοντέλο GPT-2B:

• Εκπαίδευση SFT
• Εκπαίδευση μοντέλου επιβράβευσης
• Εκπαίδευση ΔΤΦ

Επιπλέον, επιδεικνύουμε υποστήριξη για διάφορες άλλες νέες μεθόδους ευθυγράμμισης:

• DPO: ένας ελαφρύς αλγόριθμος ευθυγράμμισης σε σύγκριση με τον RLHF με απλούστερη συνάρτηση απώλειας.
• Αυτο-Παιχνίδι Βελτιστοποίηση (SPIN)
• SteerLM: μια τεχνική που βασίζεται σε conditioned-SFT, με κατευθυνόμενη απόδοση.

Δείτε την τεκμηρίωση για περισσότερες πληροφορίες: Τεκμηρίωση ευθυγράμμισης

Πολυτροπικά μοντέλα

• Το NeMo Framework παρέχει βελτιστοποιημένο λογισμικό για την εκπαίδευση και την ανάπτυξη υπερσύγχρονων πολυτροπικών μοντέλων σε διάφορες κατηγορίες: Πολυτροπικά μοντέλα γλώσσας, Vision-Language Foundations, μοντέλα Text-to-Image και πέρα ​​από τη 2D Generation χρησιμοποιώντας Neural Radiance Fields (NeRF).
• Κάθε κατηγορία έχει σχεδιαστεί για να καλύπτει συγκεκριμένες ανάγκες και εξελίξεις στον τομέα, αξιοποιώντας μοντέλα αιχμής για να χειριστεί ένα ευρύ φάσμα τύπων δεδομένων, συμπεριλαμβανομένων κειμένου, εικόνων και μοντέλων 3D.

Ανάπτυξη και συμπέρασμα
Το NeMo Framework παρέχει διάφορες διαδρομές για εξαγωγή συμπερασμάτων LLM, καλύπτοντας διαφορετικά σενάρια ανάπτυξης και ανάγκες απόδοσης.

Ανάπτυξη με NVIDIA NIM

• Το NeMo Framework ενσωματώνεται απρόσκοπτα με εργαλεία ανάπτυξης μοντέλων σε επίπεδο επιχείρησης μέσω του NVIDIA NIM. Αυτή η ενοποίηση τροφοδοτείται από το NVIDIA TensorRT-LLM, διασφαλίζοντας βελτιστοποιημένη και κλιμακούμενη εξαγωγή συμπερασμάτων.
• Για περισσότερες πληροφορίες σχετικά με το NIM, επισκεφθείτε τη NVIDIA webτοποθεσία.

Ανάπτυξη με TensorRT-LLM ή vLLM

• Το NeMo Framework προσφέρει σενάρια και API για εξαγωγή μοντέλων σε δύο βελτιστοποιημένες βιβλιοθήκες συμπερασμάτων, την TensorRT-LLM και την vLLM, και για την ανάπτυξη του εξαγόμενου μοντέλου με τον διακομιστή συμπερασμάτων Triton NVIDIA.
• Για σενάρια που απαιτούν βελτιστοποιημένη απόδοση, τα μοντέλα NeMo μπορούν να αξιοποιήσουν το TensorRT-LLM, μια εξειδικευμένη βιβλιοθήκη για την επιτάχυνση και τη βελτιστοποίηση των συμπερασμάτων LLM στις GPU της NVIDIA. Αυτή η διαδικασία περιλαμβάνει τη μετατροπή μοντέλων NeMo σε μορφή συμβατή με το TensorRT-LLM χρησιμοποιώντας τη μονάδα nemo.export.
  • LLM Deployment Overview
  • Αναπτύξτε μοντέλα μεγάλων γλωσσών NeMo με NIM
  • Αναπτύξτε μοντέλα μεγάλων γλωσσών NeMo με το TensorRT-LLM
  • Αναπτύξτε μοντέλα μεγάλων γλωσσών NeMo με vLLM

Υποστηριζόμενα μοντέλα

Μεγάλα μοντέλα γλώσσας

Μεγάλα μοντέλα γλώσσας

Μεγάλα μοντέλα γλώσσας	Προεκπαίδευση & SFT	PEFT	Ευθυγραμμία	Σύγκλιση Εκπαίδευσης ΠΠ8	TRT/TRTLLM	Μετατροπή σε & Από Αγκαλιασμένο Πρόσωπο	Εκτίμηση
Llama3 8B/70B, Llama3.1 405B	Ναί	Ναί	x	Ναι (μερικώς επαληθευμένο)	Ναί	Και οι δύο	Ναί
Mixtral 8x7B/8x22B	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	Ναί	Και οι δύο	Ναί
Nemotron 3 8B	Ναί	x	x	Ναι (μη επαληθευμένο)	x	Και οι δύο	Ναί
Nemotron 4 340B	Ναί	x	x	Ναι (μη επαληθευμένο)	x	Και οι δύο	Ναί
Baichuan2 7B	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	x	Και οι δύο	Ναί
ChatGLM3 6B	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	x	Και οι δύο	Ναί
Gemma 2B/7B	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	Ναί	Και οι δύο	Ναί
Gemma2 2B/9B/27B	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	x	Και οι δύο	Ναί
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	x	x	Ναί
Phi3 mini 4k	x	Ναί	x	Ναι (μη επαληθευμένο)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	Ναί	Και οι δύο	Ναί
StarCoder 15B	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	Ναί	Και οι δύο	Ναί
StarCoder2 3B/7B/15B	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	Ναί	Και οι δύο	Ναί
BERT 110M/340M	Ναί	Ναί	x	Ναι (μη επαληθευμένο)	x	Και οι δύο	x
T5 220M/3B/11B	Ναί	Ναί	x	x	x	x	x

 

Μοντέλα γλώσσας Vision

 

Ενσωμάτωση μοντέλων

 

World Foundation Models

Σημείωμα
Το NeMo υποστηρίζει επίσης την προεκπαίδευση τόσο για αρχιτεκτονικές διάχυσης όσο και για αυτοπαλινδρομικές αρχιτεκτονικές text2world μοντέλα θεμελίωσης.

Ομιλία AI

Η ανάπτυξη μοντέλων τεχνητής νοημοσύνης συνομιλίας είναι μια πολύπλοκη διαδικασία που περιλαμβάνει τον καθορισμό, την κατασκευή και την εκπαίδευση μοντέλων σε συγκεκριμένους τομείς. Αυτή η διαδικασία απαιτεί συνήθως πολλές επαναλήψεις για να φτάσει σε υψηλό επίπεδο ακρίβειας. Συχνά περιλαμβάνει πολλαπλές επαναλήψεις για την επίτευξη υψηλής ακρίβειας, λεπτομέρεια σε διάφορες εργασίες και δεδομένα συγκεκριμένου τομέα, διασφάλιση απόδοσης εκπαίδευσης και προετοιμασία μοντέλων για ανάπτυξη συμπερασμάτων.

Το NeMo Framework παρέχει υποστήριξη για την εκπαίδευση και την προσαρμογή των μοντέλων Speech AI. Αυτό περιλαμβάνει εργασίες όπως η αυτόματη αναγνώριση ομιλίας (ASR) και η σύνθεση κειμένου σε ομιλία (TTS). Προσφέρει ομαλή μετάβαση στην ανάπτυξη παραγωγής σε επίπεδο επιχείρησης με τη NVIDIA Riva. Για να βοηθήσει τους προγραμματιστές και τους ερευνητές, το NeMo Framework περιλαμβάνει προηγμένα προεκπαιδευμένα σημεία ελέγχου, εργαλεία για αναπαραγώγιμη επεξεργασία δεδομένων ομιλίας και δυνατότητες για διαδραστική εξερεύνηση και ανάλυση συνόλων δεδομένων ομιλίας. Τα στοιχεία του NeMo Framework for Speech AI είναι τα εξής:

Εκπαίδευση και Προσαρμογή
Το NeMo Framework περιέχει όλα όσα χρειάζονται για την εκπαίδευση και την προσαρμογή μοντέλων ομιλίας (ASR, Ταξινόμηση ομιλίας, Αναγνώριση ηχείων, Ομιλητής Diarization, και TTS) με αναπαραγόμενο τρόπο.

Προεκπαιδευμένα μοντέλα SOTA

• Το NeMo Framework παρέχει συνταγές αιχμής και προεκπαιδευμένα σημεία ελέγχου πολλών ASR και TTS μοντέλα, καθώς και οδηγίες για το πώς να τα τοποθετήσετε.
• Εργαλεία ομιλίας
• Το NeMo Framework παρέχει ένα σύνολο εργαλείων χρήσιμων για την ανάπτυξη μοντέλων ASR και TTS, όπως:
  • NeMo Forced Aligner (NFA) για τη δημιουργία χρονικού διαστήματος σε επίπεδο διακριτικού, λέξης και τμήματοςamps ομιλίας σε ήχο χρησιμοποιώντας τα μοντέλα αυτόματης αναγνώρισης ομιλίας του NeMo που βασίζονται σε CTC.
  • Επεξεργαστής δεδομένων ομιλίας (SDP), μια εργαλειοθήκη για την απλοποίηση της επεξεργασίας δεδομένων ομιλίας. Σας επιτρέπει να αναπαραστήσετε λειτουργίες επεξεργασίας δεδομένων σε μια διαμόρφωση file, ελαχιστοποιώντας τον κώδικα του boilerplate και επιτρέποντας την αναπαραγωγιμότητα και τη δυνατότητα κοινής χρήσης.
  • Εξερεύνηση δεδομένων ομιλίας (SDE), που βασίζεται σε παύλα web εφαρμογή για διαδραστική εξερεύνηση και ανάλυση συνόλων δεδομένων ομιλίας.
  • Εργαλείο δημιουργίας συνόλου δεδομένων που παρέχει λειτουργικότητα για ευθυγράμμιση μεγάλου ήχου files με τις αντίστοιχες μεταγραφές και χωρίστε τις σε μικρότερα τμήματα που είναι κατάλληλα για εκπαίδευση μοντέλου αυτόματης αναγνώρισης ομιλίας (ASR).
  • Εργαλείο σύγκρισης για τα μοντέλα ASR να συγκρίνουν προβλέψεις διαφορετικών μοντέλων ASR σε επίπεδο ακρίβειας λέξεων και εκφοράς.
  • Αξιολογητής ASR για την αξιολόγηση της απόδοσης των μοντέλων ASR και άλλων χαρακτηριστικών, όπως η ανίχνευση φωνητικής δραστηριότητας.
  • Εργαλείο κανονικοποίησης κειμένου για τη μετατροπή κειμένου από τη γραπτή μορφή στην προφορική μορφή και αντίστροφα (π.χ. «31η» έναντι «τριάντα πρώτη»).
• Διαδρομή προς την ανάπτυξη
• Τα μοντέλα NeMo που έχουν εκπαιδευτεί ή προσαρμοστεί χρησιμοποιώντας το NeMo Framework μπορούν να βελτιστοποιηθούν και να αναπτυχθούν με τη NVIDIA Riva. Η Riva παρέχει εμπορευματοκιβώτια και χάρτες Helm ειδικά σχεδιασμένους για να αυτοματοποιούν τα βήματα για την ανάπτυξη του κουμπιού.

Άλλοι Πόροι

GitHub Repos

• NeMo: Το κύριο αποθετήριο για το NeMo Framework
• NeMo–Τρέξιμο: Ένα εργαλείο για τη διαμόρφωση, την εκκίνηση και τη διαχείριση των πειραμάτων μηχανικής εκμάθησης.
• NeMo-Aligner: Κλιμακόμενη εργαλειοθήκη για αποτελεσματική ευθυγράμμιση μοντέλων
• NeMo-Curator: Κλιμακόμενη εργαλειοθήκη προεπεξεργασίας και επιμέλειας δεδομένων για LLM

Λήψη βοήθειας
Ασχοληθείτε με την κοινότητα του NeMo, κάντε ερωτήσεις, λάβετε υποστήριξη ή αναφέρετε σφάλματα.

• Συζητήσεις NeMo
• Θέματα NeMo

Γλώσσες Προγραμματισμού και Πλαίσια

• Πύθων: Η κύρια διεπαφή για χρήση του NeMo Framework
• Pytorch: Το NeMo Framework είναι χτισμένο πάνω από το PyTorch

Άδειες

• Το repo NeMo Github παρέχεται με άδεια χρήσης Apache 2.0
• Το NeMo Framework έχει άδεια χρήσης βάσει της ΣΥΜΦΩΝΙΑΣ ΠΡΟΪΟΝΤΩΝ AI NVIDIA. Τραβώντας και χρησιμοποιώντας το κοντέινερ, αποδέχεστε τους όρους και τις προϋποθέσεις αυτής της άδειας.
• Το κοντέινερ NeMo Framework περιέχει υλικά Llama που διέπονται από την κοινοτική άδεια χρήσης Meta Llama3.

Υποσημειώσεις
Επί του παρόντος, η υποστήριξη NeMo Curator και NeMo Aligner για μοντέλα Multimodal βρίσκεται σε εξέλιξη και θα είναι διαθέσιμη πολύ σύντομα.

FAQ

Ε: Πώς μπορώ να ελέγξω εάν το σύστημά μου επηρεάζεται από την ευπάθεια;
Α: Μπορείτε να ελέγξετε εάν το σύστημά σας επηρεάζεται επαληθεύοντας την έκδοση του εγκατεστημένου πλαισίου NVIDIA NeMo. Εάν είναι κάτω από την έκδοση 24, το σύστημά σας μπορεί να είναι ευάλωτο.

Ε: Ποιος ανέφερε το ζήτημα ασφαλείας CVE-2025-23360;
Α: Το ζήτημα ασφαλείας αναφέρθηκε από το Or Peles – JFrog Security. Η NVIDIA αναγνωρίζει τη συμβολή τους.

Ε: Πώς μπορώ να λαμβάνω μελλοντικές ειδοποιήσεις ενημερωτικών δελτίων ασφαλείας;
Α: Επισκεφτείτε τη σελίδα Ασφάλεια προϊόντων NVIDIA για να εγγραφείτε στις ειδοποιήσεις του ενημερωτικού δελτίου ασφαλείας και να είστε ενημερωμένοι σχετικά με τις ενημερώσεις ασφαλείας του προϊόντος.

Έγγραφα / Πόροι

Πλαίσιο NVIDIA NeMo [pdf] Οδηγός χρήστη NeMo Framework, NeMo, Framework

Αναφορές

• Εγχειρίδιο χρήστη