ХМАРНЕ ОБЧИСЛЕННЯ РОБОЧОГО ПРОЦЕСУ ПЛАНУВАННЯ З МАКСИМАЛЬНИМ ЗМЕНШЕННЯМ ЕФЕКТИВНИХ РЕСУРСІВ

Заголовок (англійською): 
CLOUD COMPUTING WORKFLOW SCHEDULING WITH MAXIMUM REDUCTION OF EFFECTIVE RESOURCES
Автор(и): 
Liu Xiaotian
Gu Daming
Ключові слова (укр): 
робочий процес; планування; хмарні обчислення; використання ресурсів; розподілення ресурсів
Ключові слова (англ): 
Workflow; Scheduling; Cloud computing; Resource utilization; Resource allocation
Анотація (укр): 
З метою розв’язання проблеми, що ефективність використання ресурсів великомасштабного наукового робочого процесу є низькою в середовищі обчислень у хмарі, пропонується алгоритм максимально ефективного зниження ресурсів (MERR). Алгоритм в основному реалізується в три етапи. По-перше, визначення обмеження затримки, пошук балансу між зменшенням ефективного використання ресурсів та збільшенням часу. По-друге, злиття та об'єднання завдань з низьким використанням ресурсів в оригінальному плануванні робочого процесу. По-третє, консолідація ресурсів, найбільш відповідний спосіб для поєднання ресурсів, які не використовуються повністю, з метою підвищення ефективності використання ресурсів. Було використано CyberShake, Epigenomics, LIGO і Montage - чотири види наукового робочого процесу для проведення експериментів із моделювання. Результати показують, що MERR зменшила використання ресурсів на 54%, а середній витрати часу підвищуються менше ніж на 10%, що краще, ніж алгоритм планування, заснований на критичному шляху.
Анотація (англ): 
In order to solve the problem that resource utilization efficiency of large-scale scientific workflow is low in cloud computing environment, this paper proposes an algorithm of maximum effective resource reduction (MERR). The algorithm is mainly implemented in three steps. First, identify the delay limitation, finding the balance between the reduction of effective resource use and the increase of time. Second, task merge and merge the tasks with low resource utilization in original workflow scheduling. The third is resource consolidation, a best fitting method is adopted to combine resources that are not fully used, so as to improve the efficiency of resource utilization. Using CyberShake, Epigenomics, LIGO and Montage four kinds of scientific workflow to carry out simulation experiments. The results show that MERR has reduced using resources by 54%, and the average time increase is less than 10%, which are better than scheduling algorithm based on the critical path.
Публікатор: 
Київський національний університет будівництва і архітектури
Назва журналу, номер, рік випуску (укр): 
Управління розвитком складних систем, номер 36, 2018
Назва журналу, номер, рік випуску (рус): 
Управление развитием сложных систем, номер 36, 2018
Назва журналу, номер, рік випуску (англ): 
Management of Development of Complex Systems
Мова статті: 
English
Формат документа: 
application/pdf
Документ: 
11.pdf
Дата публікації: 
03 Октябрь 2018
Номер збірника: 
36
Розділ: 
ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ УПРАВЛІННЯ
Університет автора: 
School of Mechanical and Electric Engineering, Yancheng Polytechnic College, Jiangsu Yancheng 224005, P.R. China
References: 
  1. Zhang F, Malluhi Q M, Elsayed T, et al. CloudFlow: A data-aware programming model for cloud workflow applications on modern HPC systems[J]. Future Generation Computer Systems, 2014, 51(4), 98-110.
  2. Ganga K, Karthik S. A fault tolerent approach in scientific workflow systems based on cloud computing[C], 2013 International Conference on Pattern Recognition, Informatics and Mobile EngineeringSalem, India: IEEE Press, 2013, 387-390.
  3. YUAN Zhengwu, LI Junqi. Cloud Resource Scheduling Based on Improved Particle Swarm Optimization Algorithm[J]. Computer Engineering and Design, 2016, 37(2), 401-404 (in Chinese).
  4. HAN Jingjie. Research on Multi-core Task Scheduling Based on the Key Path of Integrated Scheduling[D]. Harbin: Harbin University of Science and Technology, 2014 (in Chinese).
  5. CHEN Donglin, YAO Mengdi, LV Qiuyun. Construction of Scheduling System for Cloud Federation Across Multi-data Center[J]. Computer Engineering and Design, 2015, 36(2), 546-550 (in Chinese).
  6. Mao M, Humphrey M. Auto-scaling to minimize cost and meet application deadlines in cloud workflows[C]// Conference on High Performance Computing Networking, Storage and Analysis, SC 2011, Seattle, WA, USA, November, 2011. 2011, 1-12.
  7. Y.C. Lee, A.Y. Zomaya, Stretch out and compact: workflow scheduling with resource abundance[C].//  Proceedings of the International Symposium on Cluster Cloud and the Grid (CCGRID). Delft Netherlands: IEEE Press, , 2013, 219–226.
  8. XIE Zhiqiang, YANG Jing, ZHOU Yong, et al. Dynamic Critical Paths Multi-product Manufacturing Scheduling Algorithm Based on Operation Set[J]. Chinese Journal of Computers, 2011, 34(2), 406-412 (in Chinese).
  9. XIE Zhiqiang, HAN Yingjie, QI Yonghong, et al. A Scheduling Algorithm for Multi-core Based on Critical Path and Task Duplication[J]. Journal of National University of Defense Technology, 2014, 29(1), 172-177 (in Chinese).
  10. Y.C. Lee, H. Han, A.Y. Zomaya, On Resource Efficiency of Workflow Schedules[C]//. Proceedings of the 14th International Conference on Computational Science (ICCS). Guimaraes, Portugal, IEEE Press,, 2014: 534–545.
  11. LI Siyun. Matching and Searching of Workflow Model[D]. Shanghai, Shanghai Jiaotong University, 2015 (in Chinese).
  12. Zhan Z H, Liu X F, Gong Y J, et al. Cloud Computing Resource Scheduling and a Survey of Its Evolutionary Approaches [J]. Acm Computing Surveys, 2015, 47(4), 1-33.
  13. ZHANG Yuan, ZHANG Yunyong, FANG Bingyi. A Kind of OpenStack Auto-Deployment Architecture Based on Workflow[J]. Telecommunications Science, 2014, 30(11), 14-21 (in Chinese).
  14. LI Ming, WU Yue, CHEN Jia. Cloud Resource Scheduling Based on Semantic Search Engine[J]. Application Research of Computers, 2015, 32(12), 3735-3737 (in Chinese).
  15. Wang S, Du Z. Dispersion cloud resources scheduling based on mobile agent[J]. Journal of Computational Methods in Sciences & Engineering, 2016, 16(2), 303-316.