ПІДХОДИ ДО ЗМЕНШЕННЯ ВУГЛЕЦЕВОГО СЛІДУ В ТРЕНУВАННІ ВЕЛИКИХ ML-МОДЕЛЕЙ
Ключові слова:
машинне навчання, енергоефективність, вуглецевий слід, відновлювані джерела енергії, сталий розвиток, дата-центри, оптимізація алгоритмівАнотація
Актуальність дослідження зумовлена значним зростанням масштабів використання машинного навчання, що супроводжується підвищенням енергоспоживання для тренування великих моделей. Це створює суттєвий вуглецевий слід, що ставить під загрозу екологічну стійкість. Проблема потребує інтеграції енергоефективних підходів та впровадження відновлюваних джерел енергії для зниження впливу технологічного розвитку на довкілля.Мета дослідження – розробка ефективних підходів до оптимізації обчислювальних процесів, спрямованих на зменшення енергоспоживання під час тренування моделей машинного навчання.У межах дослідження застосовано системний аналіз для оцінки сучасних підходів до зменшення вуглецевого сліду. Проведено порівняльний аналіз технологічних рішень, а також узагальнено результати для розробки комплексних рекомендацій.Встановлено, що основними напрямами оптимізації є впровадження енергоефективних алгоритмів, зокрема Pruning і Quantization, використання спеціалізованого обладнання (TPU, GPU, ASIC), розподілених обчислень та систем моніторингу енергоспоживання.Доведено, що інтеграція відновлюваних джерел енергії, таких як сонячна та вітрова енергія, у роботу дата-центрів значно знижує обсяг вуглецевих викидів. Виявлено, що основними проблемами залишаються висока вартість енергоефективного обладнання, недостатня прозорість алгоритмів та обмежений доступ до «зеленої» енергії.Результати дослідження підтверджують, що впровадження енергоефективних практик у галузі машинного навчання дозволяє суттєво зменшити екологічний вплив обчислювальних процесів. Рекомендовано запровадження систематичного моніторингу енергоспоживання, розвиток інфраструктури для підтримки «зелених» обчислень та гармонізацію міжнародних стандартів у цій галузі.Перспективи подальших досліджень зосереджуються на вдосконаленні моделей штучного інтелекту для роботи в умовах обмежених ресурсів, розробці адаптивних алгоритмів та мінімізації екологічних ризиків, пов’язаних із впровадженням сучасних технологій.
Посилання
Strubell E., Ganesh A., McCallum A. Energy and policy considerations for modern deep learning research. In: Proceedings of the AAAI conference on artificial intelligence. 2020. P. 13693–13696. DOI: https://doi.org/10.1609/aaai.v34i09.7123 (date of access: 18.01.2025).
Lacoste A., Luccioni A., Schmidt V., Dandres T. Quantifying the carbon emissions of machine learning. arXiv preprint. 2019.arXiv:1910.09700. URL: https://arxiv.org/ abs/1910.09700 (date of access: 18.01.2025).
Patterson D., Gonzalez J., Le Q., Liang C., Munguia L.-M., Rothchild D., So D., Texier M., Dean J. Carbon emissions and large neural network training. 2021. arXiv preprint. arXiv:2104.10350. URL: https://arxiv.org/abs/2104.10350 (date of access: 18.01.2025).
Tmamna J., Ayed E. B., Fourati R., et al. Pruning Deep Neural Networks for Green Energy-Efficient Models: A Survey. Cognitive Computation. 2024. Vol. 16 (11). P. 2931–2952. DOI: https://doi.org/10.1007/s12559-024-10313-0 (date of access: 18.01.2025).
Henderson P., et al. Towards the systematic reporting of the energy and carbon footprints of machine learning. Journal of Machine Learning Research. 2020. Vol. 21 (248). P. 1–43. URL: https://www.jmlr.org/papers/v21/20-312.html (date of access: 18.01.2025).
Mehlin V., Schacht S., Lanquillon C. Towards energy-efficient deep learning: An overview of energy-efficient approaches along the deep learning lifecycle. 2023. arXiv preprint. arXiv:2303.01980. URL: https://arxiv.org/abs/2303.01980 (date of access: 18.01.2025).
Rolnick D., Donti P. L., Kaack L. H., Kochanski K., Lacoste A., Sankaran K., et al. Tackling climate change with machine learning. 2022. ACM Computing Surveys (CSUR). Vol. 55 (2). P. 1–96. DOI: https://doi.org/10.1145/348512 (date of access: 18.01.2025).
Dinh V. K. Q., Nguyen C., Dang V. A., Nguyen M. Q. Federated learning for green and sustainable 6G IIoT applications. Internet of Things. 2024. Vol. 25. Article ID: 101061. DOI: https://doi.org/10.1016/j.iot.2024.101061 (date of access: 18.01.2025).
Khan T., Tian W., Ilager S., Buyya R. Workload forecasting and energy state estimation in cloud data centres: ML-centric approach. Future Generation Computer Systems. 2022. Vol. 128. P. 320–332. DOI: https://doi.org/10.1016/j.future.2021.10.019 (date of access: 18.01.2025).
Bender E. M., Gebru T., McMillan-Major A., Shmitchell S. On the dangers of stochastic parrots: Can language models be too big? In: Proceedings of the 2021 ACM conference on fairness, accountability, and transparency. 2021. P. 610–623. DOI: https://doi.org/10.1145/3442188.3445922 (date of access: 18.01.2025).
Zennaro F., Furlan E., Simeoni C., Torresan S., Aslan S., Critto A., Marcomini A. Exploring machine learning potential for climate change risk assessment. Earth-Science Reviews. 2021. Vol. 220. Article ID: 103752. DOI: https://doi. org/10.1016/j.earscirev.2021.103752 (date of access: 18.01.2025).
Daghero F., Pagliari D. J., Poncino M. Energy-efficient deep learning inference on edge devices. In: Advances in Computers. Elsevier. 2021. P. 247–301. DOI: https:// doi.org/10.1016/bs.adcom.2020.07.002 (date of access: 18.01.2025).
Narciso D. A. C., Martins F. G. Application of machine learning tools for energy efficiency in industry: A review. Energy Reports. 2020. Vol. 6. P. 1181–1199. DOI: https://doi.org/10.1016/j.egyr.2020.04.035 (date of access: 18.01.2025).
Demirci M. A Survey of Machine Learning Applications for Energy-Efficient Resource Management in Cloud Computing Environments. 2015 IEEE 14th International Conference on Machine Learning and Applications (ICMLA). Miami, FL, USA. 2015. P. 1185–1190. DOI: https://doi.org/10.1109/ICMLA.2015.205 (date of access: 18.01.2025).
M. Pedram. Energy-Efficient Datacenters. in IEEE Transactions on Computer- Aided Design of Integrated Circuits and Systems. Vol. 31. № 10. P. 1465-1484. DOI: 10.1109/TCAD.2012.2212898. (date of access: 18.01.2025).
CodeCarbon: Official documentation. CodeCarbon: official website, 2024. URL: https://codecarbon.io? (date of access: 21.01.2025).
EnergyScope. EnergyScope: official documentation, 2024. URL: https:// energyscope.readthedocs.io/en/master/index.html (date of access: 21.01.2025). Google Sustainability: Data centers and renewable energy. Google: official website, 2024. URL: https://sustainability.google/ (date of access: 21.01.2025).
Energy management standard. ISO 50001: Energy management systems – Requirements with guidance for use. International Organization for Standardization: official website, 2024. URL: https://www.iso.org/standard/50001.html (date of access: 21.01.2025).
LEED Certification: Green building standards. LEED: official website, 2024. URL: https://leed.usgbc.org/ (date of access: 21.01.2025).
Google Sustainability: Data centers and renewable energy. Google: official website, 2024. URL: https://sustainability.google/ (date of access: 21.01.2025).
Microsoft and renewable energy: Building sustainable data centers. Microsoft: official website, 2024. URL: https://microsoft.com/sustainability (date of access: 21.01.2025).
Facebook’s sustainable data centers. Facebook: official website. URL: https:// sustainability.fb.com/ (date of access: 21.01.2025).
Amazon Web Services: Sustainability in cloud infrastructure. Amazon: official website. 2024. URL: https://aws.amazon.com/sustainability/ (date of access: 21.01.2025).
Environmental management standard. ISO 14001: Environmental management systems – Requirements with guidance for use. International Organization for Standardization: official website, 2024. URL: https://www.iso.org/standard/14001.html (date of access: 21.01.2025).
