ОСОБЛИВОСТІ ОБРОБКИ ПОТОКОВИХ ДАНИХ РОЗПОДІЛЕНОЇ ІНФОРМАЦІЙНОЇ СИСТЕМИ З ВИКОРИСТАННЯМ ТЕХНОЛОГІЙ ШТУЧНОГО ІНТЕЛЕКТУ: ОГЛЯД І ПОКРАЩЕННЯ ІСНУЮЧИХ ПІДХОДІВ ЗА ДОПОМОГОЮ ІНТЕГРАЦІЇ LSTM
DOI:
https://doi.org/10.36994/2788-5518-2023-02-06-07Ключові слова:
програмні методи, гетерогенні потокові дані, Python, інформаційні системи оброблення даних, розподілені обчислення, технології штучного інтелекту, LSTM, CEP.Анотація
Анотація. Поширення пристроїв і датчиків інтернету речей сприяє генерації величезних об’ємів гетерогенних потоків даних у реальному часі. Організації повинні мати можливість інтегрувати й аналізувати потокові дані різного формату для отримання бізнес-цінності. Однак традиційні парадигми пакетної аналітики мають проблеми з об’ємом даних і затримкою в часі. У статті розглядається архітектура розподіленої потокової обробки даних, спрямована на вирішення цих проблем. Запропонована інформаційна система забезпечує конвеєр для приймання великого обсягу неоднорідних потоків даних, автоматичного упорядкування даних у послідовну схему, а також увімкнення комплексної обробки подій для виявлення специфічних ситуацій за допо-могою зіставлення шаблонів у реальному часі. Здійсненність архітектури було продемонстрова- но впровадженням в інтелектуальну систему управління водними ресурсами для обробки й аналізу даних лічильників у реальному часі. Подальші вдосконалення за допомогою технологій штучного інтелекту (ШІ) можуть підвищити ефективність, точність і адаптивність інформаційної системи. Зокрема, у статті висувається гіпотеза про інтеграцію нейронних мереж довготривалої короткочасної пам’яті (LSTM) для додавання можливостей прогнозної аналітики. Моделі LSTM дають змогу прогнозувати очікувані значення на основі історичних даних, визначати відхилення та доповнювати потоки подій прогнозами. Завдяки цьому механізм комплексної обробки подій працюватиме на вищому рівні, виявляючи типові аномалії, а не окремі викиди. Очікується, що інтеграція ШІ підвищить точність виявлення аномалій на основі більш цілісного контексту даних. На сьогодні відсутні дослідження для прототипування, реалізації та перевірки інтеграції рекурентних нейронних мереж у потокову обробку даних. У роботі представлено початковий погляд на майбутню конвергенцію конвеєрів великих даних і штучного інтелекту для підтримки критично важливих програм потокового передавання даних у доменах інтернету речей.
Посилання
Corral-Plaza, D., Medina-Bulo, I., Ortiz, G., & Boubeta-Puig, J. (2020). A stream processing architecture for heterogeneous
data sources in the Internet of Things. Computer Standards & Interfaces. 70 (2020) 103426. DOI: 10.1016/j.csi.2020.103426.
Hu, L., Sun, R., Wang, F., Fei, X., Zhao, K. (2016). A stream processing system for multisource heterogeneous sensor data,
Sens., https://doi.org/10.1155/2016/4287834.
Montori, F., Bedogni, L., Bononi, L. (2016). On the integration of heterogeneous data sources for the collaborative Internet
of Things, IEEE 2nd International Forum on Research and Technologies for Society and Industry Leveraging a Better Tomorrow
(RTSI), 2016, pp. 1–6, https://doi.org/10.1109/RTSI.2016.7740616.
Nadal, S., Herrero, V., Romero, O., Abelló, A., Franch, X., Vansummeren, S., Valerio, D. (2017). A software reference
architecture for semantic-aware Big Data systems, Inf. Softw. Technol. 90. 75–92, https://doi.org/10.1016/j.infsof.2017.06.001.
D’silva, G.M., Khan, A., Gaurav, S.B. (2017). Real-time processing of IoT events with historic data using apache Kafka
and Apache Spark with dashing framework, 2nd IEEE International Conference on Recent Trends in Electronics, Information
Communication Technology (RTEICT), pp. 1804–1809, https://doi.org/10.1109/RTEICT.2017.8256910.
Estévez-Ayres, I., Arias Fisteus, J., Delgado-Kloos, C. (2017). Lostrego: a distributed streambased infrastructure for the
real-time gathering and analysis of heterogeneous educational data, Netw. Comput. Appl. 100, pp. 56–68, https://doi.org/10.1016/j.
jnca.2017.10.014.
Traore, S., Luo, Y.F., Fipps, G. (2016). Deployment of artificial neural network for short-term forecasting of evapotranspiration
using public weather forecast restricted messages. Agricultural Water Management 163 (1), 363–379. https://doi.org/10.1016/j.
agwat.2015.10.009.
Greff, K., Srivastava, R.K., Koutník, J., Steunebrink, B.R. and Schmidhuber, J. (2017). LSTM: A Search Space Odyssey,
IEEE Transactions on Neural Networks and Learning Systems, vol. 28, no. 10, pp. 2222–2232, doi: 10.1109/TNNLS.2016.2582924.
Karim, F., Majumdar, S., Darabi, H. and Chen, S. (2018). LSTM Fully Convolutional Networks for Time Series Classification,
IEEE Access, vol. 6, pp. 1662–1669, doi: 10.1109/ACCESS.2017.2779939.
Stojanović Natalija, and Dragan Stojanović. (2020). Big mobility data analytics for traffic monitoring and control. Facta
Universitatis, Series: Automatic Control and Robotics 19, no. 2: 087. http://dx.doi.org/10.22190/fuacr2002087s.
Cheng H., Xie Z., Wu L. et al. (2019). Data prediction model in wireless sensor networks based on bidirectional LSTM.
Wireless Com Network 2019, 203. https://doi.org/10.1186/s13638-019-1511-4.
