МЕТОДИКА ОПТИМІЗАЦІЇ АЛГОРИТМІВ МАШИННОГО НАВЧАННЯ ДЛЯ ВБУДОВАНИХ КІБЕРФІЗИЧНИХ СИСТЕМ
DOI:
https://doi.org/10.32782/tnv-tech.2024.1.2Ключові слова:
вбудовані системи, машинне навчання, оптимізація, енергоефективність, нейронна мережа, кіберфізична системаАнотація
Розвиток цифрової трансформації та штучного інтелекту супроводжується зростаючою потребою впровадження вбудованих кіберфізичних систем, які використовують алгоритми машинного навчання, у критичну інфраструктуру, таку як енергетика, транспорт, виробництво та охорона здоров’я. Однак цей процес ускладнюється необхідністю розробки методів оптимізації для алгоритмів машинного навчання, які б забезпечили ефективну роботу вбудованих систем при обмежених обчислювальних ресурсах та забезпечили стійкість у критичних умовах. Це ставить перед розробниками завдання адаптації та оптимізації алгоритмів машинного навчання до обмежень, пов’язаних з обчислювальною потужністю, обсягом пам’яті, точністю прийняття рішення та енергоспоживанням. Саме тому, у роботі розроблено та оцінено методику оптимізації алгоритмів машинного навчання для використання у вбудованих кіберфізичних. Основний акцент дослідження робився на згорткових нейронних мережах, які використовуються у завданнях розпізнавання зображень. Використовуючи згорткові нейронні мережі, натреновані на датасеті Street View House Numbers (SVHN), дослідження демонструє, як моделі можуть ефективно виконувати задачі класифікації та розпізнавання цифр в реальному часі, при цьому оптимізуючи використання обмежених ресурсів вбудованих систем. Для оцінки ефективності пропонованої методики враховувалися критерії, такі як тривалість виконання для забезпечення точності вимірювань у кіберфізичних системах, енергоспоживання вбудованих систем, а також мінімізація дискового простору та оперативної пам’яті, необхідних для запуску моделей. В процесі дослідження методики застосовано методи оптимізації, такі як вагове скорочення та квантування, комбінація яких дає змогу зменшити розмір моделі та енергоспоживання без значної втрати точності. Оптимізовані моделі нейронних мереж протестовані на типовій вбудованій системі ESP32, демонструючи здатність до автономної роботи та розпізнавання об’єктів у реальному часі. Дослідження включало підготовку даних, розробку та тренування моделі, застосування різних варіантів оптимізації, та вимірювання їх впливу на кінцеві метрики системи. Використання фреймворка TensorFlow Lite дозволило адаптувати моделі для ефективного використання у вбудованих системах. Результати дослідження підтвердили ефективність запропонованої методики оптимізації, яка забезпечує зниження точності моделей на лише 2.1%, при цьому підвищуючи швидкість виконання на 30% та значно знижуючи енергоспоживання.
Посилання
A Cyber-Physical Systems Paper Survey About the Concept, Architecture and Challenges for the Deployment within the Concept of Industry 4.0 / M. Melicher et al. Research Papers Faculty of Materials Science and Technology Slovak University of Technology. 2019. Vol. 27, no. 45. P. 49–54.
Cyber-Physical Power System (CPPS): A Review on Modeling, Simulation, and Analysis With Cyber Security Applications / R. V. Yohanandhan et al. IEEE Access. 2020. Vol. 8. P. 151019–151064.
Conrad C., Al-Rubaye S., Tsourdos A. Intelligent Embedded Systems Platform for Vehicular Cyber-Physical Systems. Electronics. 2023. Vol. 12, no. 13. P. 2908.
Batzolis E., Vrochidou E., Papakostas G. A. Machine Learning in Embedded Systems: Limitations, Solutions and Future Challenges. 2023 IEEE 13th Annual Computing and Communication Workshop and Conference (CCWC), Las Vegas, NV, USA, 8–11 March 2023. 2023.
Wiedemann S., Muller K.-R., Samek W. Compact and Computationally Efficient Representation of Deep Neural Networks. IEEE Transactions on Neural Networks and Learning Systems. 2020. Vol. 31, no. 3. P. 772–785.
Tung F., Mori G. Deep Neural Network Compression by In-Parallel Pruning-Quantization. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2020. Vol. 42, no. 3. P. 568–579.
Compressing by Learning in a Low-Rank and Sparse Decomposition Form / K. Guo et al. IEEE Access. 2019. Vol. 7. P. 150823–150832.
LightweightNet: Toward fast and lightweight convolutional neural networks via architecture distillation / T.-B. Xu et al. Pattern Recognition. 2019. Vol. 88. P. 272–284.
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices / X. Zhang et al. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, UT, 18–23 June 2018. 2018.
EIE: Efficient Inference Engine on Compressed Deep Neural Network / S. Han et al. Computer Architecture News. 2016. Vol. 44(3). P. 243–254.
Yang H., Yao H. Street View House Number Identification Based on Deep Learning. International Journal of Advanced Network, Monitoring and Controls. 2019. Vol. 4, no. 3. P. 47–52.
