Аннотації

ХМАРНЕ ОБЧИСЛЕННЯ РОБОЧОГО ПРОЦЕСУ ПЛАНУВАННЯ З МАКСИМАЛЬНИМ ЗМЕНШЕННЯМ ЕФЕКТИВНИХ РЕСУРСІВ

Автор(и):
Liu Xiaotian, Gu Daming
Дата публікації:

03.10.2018

Анотація (укр):

З метою розв’язання проблеми, що ефективність використання ресурсів великомасштабного наукового робочого процесу є низькою в середовищі обчислень у хмарі, пропонується алгоритм максимально ефективного зниження ресурсів (MERR). Алгоритм в основному реалізується в три етапи. По-перше, визначення обмеження затримки, пошук балансу між зменшенням ефективного використання ресурсів та збільшенням часу. По-друге, злиття та об'єднання завдань з низьким використанням ресурсів в оригінальному плануванні робочого процесу. По-третє, консолідація ресурсів, найбільш відповідний спосіб для поєднання ресурсів, які не використовуються повністю, з метою підвищення ефективності використання ресурсів. Було використано CyberShake, Epigenomics, LIGO і Montage - чотири види наукового робочого процесу для проведення експериментів із моделювання. Результати показують, що MERR зменшила використання ресурсів на 54%, а середній витрати часу підвищуються менше ніж на 10%, що краще, ніж алгоритм планування, заснований на критичному шляху.

Анотація (рус):

Анотація (англ):

In order to solve the problem that resource utilization efficiency of large-scale scientific workflow is low in cloud computing environment, this paper proposes an algorithm of maximum effective resource reduction (MERR). The algorithm is mainly implemented in three steps. First, identify the delay limitation, finding the balance between the reduction of effective resource use and the increase of time. Second, task merge and merge the tasks with low resource utilization in original workflow scheduling. The third is resource consolidation, a best fitting method is adopted to combine resources that are not fully used, so as to improve the efficiency of resource utilization. Using CyberShake, Epigenomics, LIGO and Montage four kinds of scientific workflow to carry out simulation experiments. The results show that MERR has reduced using resources by 54%, and the average time increase is less than 10%, which are better than scheduling algorithm based on the critical path.

Література:

References:

  1. Zhang F, Malluhi Q M, Elsayed T, et al. CloudFlow: A data-aware programming model for cloud workflow applications on modern HPC systems[J]. Future Generation Computer Systems, 2014, 51(4), 98-110.
  2. Ganga K, Karthik S. A fault tolerent approach in scientific workflow systems based on cloud computing[C], 2013 International Conference on Pattern Recognition, Informatics and Mobile EngineeringSalem, India: IEEE Press, 2013, 387-390.
  3. YUAN Zhengwu, LI Junqi. Cloud Resource Scheduling Based on Improved Particle Swarm Optimization Algorithm[J]. Computer Engineering and Design, 2016, 37(2), 401-404 (in Chinese).
  4. HAN Jingjie. Research on Multi-core Task Scheduling Based on the Key Path of Integrated Scheduling[D]. Harbin: Harbin University of Science and Technology, 2014 (in Chinese).
  5. CHEN Donglin, YAO Mengdi, LV Qiuyun. Construction of Scheduling System for Cloud Federation Across Multi-data Center[J]. Computer Engineering and Design, 2015, 36(2), 546-550 (in Chinese).
  6. Mao M, Humphrey M. Auto-scaling to minimize cost and meet application deadlines in cloud workflows[C]// Conference on High Performance Computing Networking, Storage and Analysis, SC 2011, Seattle, WA, USA, November, 2011. 2011, 1-12.
  7. Y.C. Lee, A.Y. Zomaya, Stretch out and compact: workflow scheduling with resource abundance[C].//  Proceedings of the International Symposium on Cluster Cloud and the Grid (CCGRID). Delft Netherlands: IEEE Press, , 2013, 219–226.
  8. XIE Zhiqiang, YANG Jing, ZHOU Yong, et al. Dynamic Critical Paths Multi-product Manufacturing Scheduling Algorithm Based on Operation Set[J]. Chinese Journal of Computers, 2011, 34(2), 406-412 (in Chinese).
  9. XIE Zhiqiang, HAN Yingjie, QI Yonghong, et al. A Scheduling Algorithm for Multi-core Based on Critical Path and Task Duplication[J]. Journal of National University of Defense Technology, 2014, 29(1), 172-177 (in Chinese).
  10. Y.C. Lee, H. Han, A.Y. Zomaya, On Resource Efficiency of Workflow Schedules[C]//. Proceedings of the 14th International Conference on Computational Science (ICCS). Guimaraes, Portugal, IEEE Press,, 2014: 534–545.
  11. LI Siyun. Matching and Searching of Workflow Model[D]. Shanghai, Shanghai Jiaotong University, 2015 (in Chinese).
  12. Zhan Z H, Liu X F, Gong Y J, et al. Cloud Computing Resource Scheduling and a Survey of Its Evolutionary Approaches [J]. Acm Computing Surveys, 2015, 47(4), 1-33.
  13. ZHANG Yuan, ZHANG Yunyong, FANG Bingyi. A Kind of OpenStack Auto-Deployment Architecture Based on Workflow[J]. Telecommunications Science, 2014, 30(11), 14-21 (in Chinese).
  14. LI Ming, WU Yue, CHEN Jia. Cloud Resource Scheduling Based on Semantic Search Engine[J]. Application Research of Computers, 2015, 32(12), 3735-3737 (in Chinese).
  15. Wang S, Du Z. Dispersion cloud resources scheduling based on mobile agent[J]. Journal of Computational Methods in Sciences & Engineering, 2016, 16(2), 303-316.