NVIDIA и Mistral AI представили новую языковую модель ИИ Mistral-NeMo-Minitron 8B, которая сочетает в себе высокую точность и небольшие размеры.

Эта модель является уменьшенной версией недавно выпущенной Mistral NeMo 12B и способна работать на рабочих станциях с графическими процессорами NVIDIA RTX.

Преимущества и особенности нейросети Mistral-NeMo-Minitron 8B

Модель была получена путем обрезки (pruning) Mistral NeMo 12B с 12 млрд параметров до 8 млрд, а затем дообучена с помощью дистилляции знаний.

Mistral-NeMo-Minitron 8B лидирует по девяти популярным тестам для языковых моделей в своем классе, включая задачи понимания языка, здравого смысла, математических рассуждений, суммаризации, кодирования и генерации правдивых ответов.

Компактные размеры позволяют модели работать в режиме реального времени на рабочих станциях и ноутбуках, упрощая развертывание генеративного ИИ в организациях с ограниченными ресурсами.

Локальный запуск на периферийных устройствах повышает безопасность, так как данные не нужно передавать на сервер.

Доступность и использование нейросети Mistral-NeMo-Minitron 8B

Разработчики могут использовать Mistral-NeMo-Minitron 8B как микросервис NVIDIA NIM со стандартным API или загрузить модель с платформы Hugging Face.

NVIDIA также представила Nemotron-Mini-4B-Instruct – еще одну компактную языковую модель, оптимизированную для низкого использования памяти и быстрого времени отклика на ПК и ноутбуках с NVIDIA GeForce RTX AI.

Эти разработки NVIDIA открывают новые возможности для внедрения технологий ИИ в различные устройства и приложения, делая передовые языковые модели доступными для более широкого круга пользователей и разработчиков.