Сегментация перекрывающихся изображений деревьев на цифровых снимках лесных массивов
DOI:
https://doi.org/10.37482/0536-1036-2024-1-126-140Ключевые слова:
глубокое обучение, искусственный интеллект, сверточная нейронная сеть, сегментация перекрывающихся объектов, система поддержки принятия решений для операторов лесосечных машинАннотация
Применение систем поддержки принятия решений на основе компьютерного зрения и искусственного интеллекта значительно улучшает условия работы операторов технологических машин лесного комплекса, профессиональная деятельность которых связана с высокой интенсивностью и психоэмоциональными перегрузками. При помощи компьютерного зрения и искусственного интеллекта оператор легко и быстро может получить информацию о состоянии лесосеки и выбрать оптимальные решения для проведения рабочих операций. Это облегчает его труд и позволяет сократить время на поиск и анализ данных о лесосеке. При этом одним из ключевых элементов подобных систем является подсистема автоматической сегментации объектов на изображении. Исследована возможность сегментации перекрывающихся объектов на изображениях лесных массивов с помощью сверточной нейронной сети на базе архитектуры Mask R-CNN. В отличие от большинства работ по схожим темам, используются цветные изображения, полученные с помощью RGB-камеры, а не лидара. Это создает перспективу снижения стоимости аппаратно-программных комплексов поддержки принятия решений операторами лесосечных машин. В качестве сегментируемых объектов выступают изображения ствола и кроны деревьев хвойных и лиственных пород, перекрывающих друг друга. С помощью графического редактора GIMP выполнена ручная разметка цветных изображений, содержащих в общей сложности 134 дерева 4 различных пород: ель, осина, береза и сосна. С использованием разработанной базы данных поставлен эксперимент по дообучению сверточной нейронной сети Mask R-CNN сегментации перекрывающихся частей деревьев на цифровых снимках лесных массивов. При этом нейронная сеть была предварительно обучена с применением набора данных Microsoft COCO dataset, содержащего более 200 000 изображений 80 различных классов объектов, таких как люди, автомобили, животные и различные предметы. В процессе обучения нейронной сети изображения, подаваемые на ее вход, подвергались серии линейных и нелинейных геометрических преобразований, что позволило увеличить объем обучаемых данных в 11 раз. В итоге точность сегментации изображений стволов и крон хвойных и лиственных пород деревьев, перекрывающих друг друга, составила 79 %, что допускает использование нейронных сетей подобной архитектуры в системах поддержки принятия решений для операторов лесосечных машин.
Скачивания
Библиографические ссылки
Иванов К.О. Классификация фрагментов электроэнцефалограммы по степени патологической значимости с помощью последовательных нейронных сетей // Вестн. ПГТУ. Сер.: Радиотехн. и инфокоммуникац. системы. 2022. № 4(56). С. 24–37. Ivanov K.O. Classification of Electroencephalogram Segments Based on Pathological Significance Using Sequential Neural Networks. Vestnik Povolzhskogo gosudarstvennogo tekhnologicheskogo universiteta. Seriya: Radiotekhnicheskie i infokommunikatsionnye sistemy = Vestnik of Volga State University of Technology. Series: Radio Engineering and Infocommunication Systems, 2022, no. 4(56), pp. 24–37. (In Russ.). https://doi.org/10.25686/2306-2819.2022.4.24
Николенко С., Кадурин А., Архангельская Е. Глубокое обучение. Погружение в мир нейронных сетей. СПб.: Питер, 2022. 480 c. Nikolenko S., Kadurin A., Arkhangelskaya E. Deep Learning. Dive into the World of Neural Networks. St. Petersburg, Piter Publ., 2022. 480 p. (In Russ).
Портнов А.М., Иванова Н.В., Шашков М.П. Опыт использования нейронной сети DeepForest для детектирования деревьев в широколиственном лесу // Математическая биология и биоинформатика: докл. Междунар. конф. / под ред. В.Д. Лахно. Т. 9. Пущино: ИМПБ РАН, 2022. Ст. № e45. Portnov A.M., Ivanova N.V., Shashkov M.P. Experience of Using the DeepForest Neural Network to Detect Trees in a Broad-Leaved Forest. Proceedings of the International Conference “Mathematical Biology and Bioinformatics”. Ed. V.D. Lakhno. Pushchino, IMPB RAS, 2022, vol. 9, art. no. e45. (In Russ). https://doi.org/10.17537/icmbb22.12
Тимофеев В.С., Сивак М.А. Робастная нейронная сеть с простой архитектурой // Сиб. журн. индустр. математики. 2021. T. 24, № 4. С. 126–138. Timofeev V.S., Sivak M.A. Robust Neural Network with Simple Architecture. Sibirskiy zhurnal industrialnoy matematiki = Journal of Applied and Industrial Mathematics, 2021, vol. 24, no. 4, pp. 126–138. (In Russ). https://doi.org/10.33048/SIBJIM.2021.24.409
Callan R. The Essence of Neural Network. Upper Saddle River: Prentice Hall Europe, 1998. 232 p.
Chollet F. Deep Learning with Python: Second Edition. New York, Manning Publications Co., 2021. 504 p.
COCO: Common Objects in Context. Available at: https://cocodataset.org/#home (accessed 17.01.23).
Daubechies I., DeVore R., Foucart S., Hanin B., Petrova G. Nonlinear Approximation and (Deep) ReLU Networks. Constructive Approximation, 2022, vol. 55, pp. 127–172. https://doi.org/10.1007/s00365-021-09548-z
Diez Y., Kentsch S., Fukuda M., Caceres M.L.L., Moritake K., Cabezas M. Deep Learning in Forestry Using UAV-Acquired RGB Data: A Practical Review. Remote Sensing, 2021, vol. 13, no. 14, art. no. 2837. https://doi.org/10.3390/rs13142837
Girshick R. Fast R-CNN. 2015 IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1440–1448.
Goodfellow I., Benigo Y., Courville A. Deep Learning. Cambridge, MIT Press Publ., 2017. 785 p.
Grondin V., Fortin J.-M., Pomerleau F., Giguère P. Tree Detection and Diameter Estimation Based on Deep Learning. Forestry: An International Journal of Forest Research, 2023, vol. 96, iss. 2, pp. 264–276. https://doi.org/10.1093/forestry/cpac043
Haykin S. Neural Networks: A Comprehensive Foundation (3rd Edition). Hoboken: Prentice-Hall Inc., 2007. 938 p.
He K., Gkioxari G., Dollar P., Girshick R. Mask R-CNN. 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2980–2988.
Imgaug: a Library for Image Augmentation in Machine Learning Experiments. Available at: https://imgaug.readthedocs.io/en/latest/ (accessed 17.07.23).
Ivanov K.O., Kazarinov A.A., Rozhentsov A.A., Dubrovin V.N., Baev A.A., Evdokimov A.O. An Algorithm for Segmentation of Kidney Tissues on CT Images Based on a U-Net Convolutional Neural Network. Biomedical Engineering, 2023, vol. 56, pp. 424–428. https://doi.org/10.1007/s10527-023-10249-z
Mask R-CNN for Object Detection and Segmentation. Available at: https://github.com/matterport/Mask_RCNN (accessed 17.07.23).
Moussaid A., El Fkihi S., Zennayi Y. Tree Crowns Segmentation and Classification in Overlapping Orchards Based on Satellite Images and Unsupervised Learning Algorithms. Journal of Imaging, 2021, vol. 7, no. 241. https://doi.org/10.3390/jimaging7110241
Ochoa C.G., Caruso P., Ray G., Deboodt T., Jarvis T.W., Guldan S.J. Ecohydrologic Connections in Semiarid Watershed Systems of Central Oregon USA. Water, 2018, vol. 2, no. 10, art. no. 181. https://doi.org/10.3390/w10020181
Pointer I. Programming PyTorch for Deep Learning: Creating and Deploying Deep Learning Applications. O’Reilly Media Inc., 2019. 217 p.
Qassim H., Verma A., Feinzimer D. Compressed Residual-VGG16 CNN Model for Big Data Places Image Recognition. 2018 IEEE 8th Annual Computing and Communication Workshop and Conference (CCWC), 2018, pp. 169–175.
Qianwei L., Weifeng M., Jianpeng Z., Yicheng L., Dongfan X., Jinliang W. Point-Cloud Segmentation of Individual Trees in Complex Natural Forest Scenes Based on a Trunk Growth Method. Journal of Forestry Research, 2021, vol. 32, pp. 2403–2414. https://doi.org/10.1007/s11676-021-01303-1
Rao D., McMahan B. Natural Language Processing with PyTorch: Build Intelligent Language Applications Using Deep Learning. O’Reilly Media Inc., 2019. 254 p.
Ren S., Kaiming H., Ross G., Jian S. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. NIPS’15: Proceedings of the 28th International Conference on Neural Information Processing Systems. Great Britain, Oxford, December, 2015, vol. 1, pp. 91–99.
Rojas R. The Backpropagation Algorithm. Neural Networks, 1996, pp. 149–182. https://doi.org/10.1007/978-3-642-61068-4_7
Tarasova A., Strielkowski W., Larionova N. Digital Relations and Innovative Ecosystem for Sustainable Engineering Education: A Case of Russia. Increasing Supply Chain Performance in Digital Society. IGI Global, 2022, pp. 304–318.
Wang D., Liang X., Mofack II G., Martin-Ducup O. Individual Tree Extraction from Terrestrial Laser Scanning Data via Graph Pathing. Forest Ecosystems, 2021, vol. 8, no. 67. https://doi.org/10.1186/s40663-021-00340-w
Weinstein B.G., Graves S.J., Marconi S., Singh A., Zare A., Stewart D. A Benchmark Dataset for Canopy Crown Detection and Delineation in Co-Registered Airborne RGB, LiDAR and Hyperspectral Imagery from the National Ecological Observation Network. PLoS Computational Biology, 2021, vol. 7, no. 17. https://doi.org/10.1371/journal.pcbi.1009180
Windrim L., Bryson M. Detection, Segmentation, and Model Fitting of Individual Tree Stems from Airborne Laser Scanning of Forests Using Deep Learning. Remote Sensing, 2020, vol. 12, no. 9, art. no. 1469. https://doi.org/10.3390/rs12091469
Xu X., Iuricich F., Floriani L.D. A Topology-Based Approach to Individual Tree Segmentation from Airborne LiDAR Data. GeoInformatica, 2023, vol. 27, pp. 759–788. https://doi.org/10.1007/s10707-023-00487-4
Yang Z., Dong R., Xu H., Gu J. Instance Segmentation Method Based on Improved Mask R-CNN for the Stacked Electronic Components. Electronics, 2020, vol. 9, no. 6, art. no. 886. https://doi.org/10.3390/electronics9060886
Загрузки
Опубликован
Как цитировать
Выпуск
Раздел
Лицензия
Copyright (c) 2024 И.В. Петухов, К.О. Иванов, Д.М. Ворожцов, A.А. Роженцов, Н.И. Роженцова, Л.А. Стешина (Автор)
Это произведение доступно по лицензии Creative Commons «Attribution» («Атрибуция») 4.0 Всемирная.
