Марк Цукерберг представил новую модель сегментации объектов SAM 2, способную работать как с изображениями, так и с видео в реальном времени.

В отличие от предыдущей версии, SAM 2 открывает новые возможности для создания видеоэффектов, ускоренной аннотации визуальных данных и других приложений без необходимости кастомизации под конкретные задачи.

Преимущества SAM 2

Основное преимущество SAM 2 заключается в способности сегментировать объекты, которые ранее модель не видела, делая её универсальным инструментом для различных визуальных приложений.

Модель была обучена на новом датасете SA-V, содержащем более 51 000 реальных видео и свыше 600 000 аннотаций объектов.

Исходный код и веса модели доступны под лицензией Apache 2.0, а также имеется веб-демонстрация, позволяющая пользователям тестировать возможности новой модели. SAM 2 поддерживает интерактивную сегментацию объектов в видеокадрах, упрощая процесс аннотирования данных.

Годом ранее

Первая версия модели SAM, представленная год назад, уже нашла применение в приложениях Meta, таких как Instagram, а также в научных исследованиях и медицине.

Новая версия SAM 2 обещает значительные улучшения в точности и скорости работы.

Марк Цукерберг подчеркнул, что открытый исходный код ИИ может значительно улучшить производительность, креативность и качество жизни, способствуя экономическому росту и развитию научных исследований. Ожидается, что SAM 2 станет ключевым инструментом для разработки новых систем компьютерного зрения, включая автономные транспортные средства и научные исследования в области медицинского анализа и отслеживания животных.

Команда Meta продолжает работу над улучшением модели и датасетов, стремясь к дальнейшему развитию технологий сегментации объектов. В перспективе SAM 2 может быть использована в широком спектре областей, от создания контента до научных исследований, предлагая новые возможности для взаимодействия с визуальными данными.