Программное обеспечение для нахождения и распознавания животных на изображениях

Оценка состояния популяционных группировок средних и крупных млекопитающих в южно-таежных лесах. Один из самых продолжительных фотомониторинговых проектов в России, на основе которого была разработана Программа CAMMON.

с 2021 по 2022 г.

реализовывался данный проект
более 50 ООПТ

поделилось своими данными для обучения моделей
32 класса

животных научилась распознавать нейросеть
98%

в среднем составляет успех распознавания животных

Суть проекта

Программное обеспечение создавалось с целью автоматизации процесса обработки фото- и видеоматериалов для дистанционного мониторинга на особо охраняемых природных территориях с целью сокращения временных и человеческих трудозатрат. Система представляет из себя двухстадийный алгоритм, где на первой стадии отрабатывает детектор, задача которого состоит в нахождении объектов на фотографии или видео. Задача второго этапа заключается в классификации объектов, найденных детектором.

Пример работы двухстадийной системы

Для дообучения детектора и классификатора были собраны дополнительные данные с более чем 50 заповедников, расположенных на территории Российской Федерации. Суммарный объем собранных данных составил 3 Тб, из которых 1 млн. фотографий и 65 тыс. видеороликов. Для дообучения детектора было отобрано 200к изображений, которые были размечены ограничивающими рамками, а для дообучения классификатора – 400к фотографий, аннотированных одним из 32 возможных классов. Система имеет серверную и пользовательскую части, где при помощи первой производится обучение детектора, а второй – дообучение классификатора под видовое разнообразие конкретной ООПТ.

Окна интерфейса программы. Слева окно интерфейса для обработки данных с фотоловушек при помощи двухстадийного алгоритма. Справа окно интерфейса для дообучения классификатора под видовое разнообразие конкретного заповедника.

Пример подсчета при помощи ПО моржей на лежбищах. Количество найденных моржей A) 1300; B) 208; C) 276.

В качестве дополнительных возможностей были добавлены функции объединения изображений в независимые регистрации по установленному временному порогу, определении классов и числа особей (по максимальному значению) внутри таких регистраций, а также автоматическая сортировка классифицированных изображений по папкам.

Помимо нахождения и классификации животных по материалам с фотоловушкам, программа имеет отдельные обученные алгоритмы для нахождения животных по аэрофотоснимкам, в частности нахождение и подсчет моржей на лежбищах.

Программный комплекс может быть развернут на таких операционных системах как: Windows, Linux, MacOS, Astra Linux.

Программное обеспечение зарегистрировано в реестре отечественного программного обеспечения РФ («Специальное программное обеспечение анализа данных подсистемы наземных пунктов видеонаблюдения», Реестровая запись №16056)

Программное обеспечение запатентовано как «Система анализа данных, считываемых с помощью фотоловушек, для оперативного дистанционного мониторинга природных территорий». Патент Российской Федерации №2799114. Федеральный институт промышленной собственности.

Научные публикации

Леус А.В., Ефремов В.А. 2021. Применение методов компьютерного зрения для анализа изображений, собранных с фотоловушек в рамках программно-аппаратного комплекса мониторинга состояния окружающей среды на особо охраняемых природных территориях // Известия Мордовского государственного природного заповедника. Том. 28. C. 121–129.

Читать

Ефремов В.А., Зуев В.А., Леус А.В., Мангазеев Д.И., Радыш А.С., Холодняк И.В. 2023а. Формирование регистраций животных на основе постобработки // Экосистемы. Вып. 34. С. 51–58.

Читать

Ефремов В.А., Леус А.В., Гаврилов Д.А., Мангазеев Д.И., Холодняк И.В., Радыш А.С., Зуев В.А., Водичев Н.А. 2023б. Метод обработки фото- и видеоданных с фотоловушек с использованием двухстадийного нейросетевого подхода // Искусственный интеллект и принятие решений. № 3. С. 98–108. DOI: 10.14357/20718594230310

Читать

Ефремов В.А., Леус А.В., Гаврилов Д.А. и др. 2023в. Система анализа данных с фотоловушек для оперативного дистанционного мониторинга природных территорий // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. № 4 (145). C. 85–109. DOI: 10.18698/0236-3933-2023-4-85-109

Читать

Огурцов С.С., Ефремов В.А., Леус А.В. 2024а. Применение технологий искусственного интеллекта при обработке изображений с фотоловушек: принципы, программы, подходы // Принципы экологии. № 1. С. 4–37. DOI: 10.15393/j1.art.2024.14662

Читать

Огурцов С.С., Ефремов В.А., Леус А.В. 2024б. Обзор программного обеспечения для обработки и анализа данных с фотоловушек: нейронные сети и веб-сервисы // Russian Journal of Ecosystem Ecology. Vol. 9 (1). DOI: 10.21685/2500-0578-2024-1-2

Читать

Влад Ефремов Telegram

E-mail