NVIDIA анонсировала пользователям ИИ новую языковую модель Mistral-NeMo-Minitron 8B
NVIDIA и Mistral AI представили новую языковую модель ИИ Mistral-NeMo-Minitron 8B, которая сочетает в себе высокую точность и небольшие размеры.
Эта модель является уменьшенной версией недавно выпущенной Mistral NeMo 12B и способна работать на рабочих станциях с графическими процессорами NVIDIA RTX.
Преимущества и особенности нейросети Mistral-NeMo-Minitron 8B
Модель была получена путем обрезки (pruning) Mistral NeMo 12B с 12 млрд параметров до 8 млрд, а затем дообучена с помощью дистилляции знаний.
Mistral-NeMo-Minitron 8B лидирует по девяти популярным тестам для языковых моделей в своем классе, включая задачи понимания языка, здравого смысла, математических рассуждений, суммаризации, кодирования и генерации правдивых ответов.
Компактные размеры позволяют модели работать в режиме реального времени на рабочих станциях и ноутбуках, упрощая развертывание генеративного ИИ в организациях с ограниченными ресурсами.
Локальный запуск на периферийных устройствах повышает безопасность, так как данные не нужно передавать на сервер.
Доступность и использование нейросети Mistral-NeMo-Minitron 8B
Разработчики могут использовать Mistral-NeMo-Minitron 8B как микросервис NVIDIA NIM со стандартным API или загрузить модель с платформы Hugging Face.
NVIDIA также представила Nemotron-Mini-4B-Instruct – еще одну компактную языковую модель, оптимизированную для низкого использования памяти и быстрого времени отклика на ПК и ноутбуках с NVIDIA GeForce RTX AI.
Эти разработки NVIDIA открывают новые возможности для внедрения технологий ИИ в различные устройства и приложения, делая передовые языковые модели доступными для более широкого круга пользователей и разработчиков.
Рекомендуем к прочтению
- В Китае открылся новый институт стандартизации контроля над искусственным интеллектом
- Новый стартап Safe Superintelligence собрал около $1 млрд инвестиций для развития ИИ
- Google.org внедряет новые ИИ решения для эффективной работы некоммерческих организаций
- Snap расширяет набор инструментов искусственного интеллекта для свои пользователей
- Mistral AI представляет новые возможности – бесплатные уровни для разработчиков