Перспективы виртуализации высокопроизводительных систем архитектуры x64

В данной работе изучаются перспективы применения технологий виртуализации в области высокопроизводительных вычислений на платформе x64. Рассматриваются основные причины падения производительности при запуске параллельных программ в виртуальной среде. Подробно рассматриваются системы виртуализации KVM/QEMU и Palacios, в качестве тестовых пакетов используются HPC Challenge и NAS Parallel Benchmarks. Тестирование выполняется на современном вычислительном кластере, построенном на базе высокоскоростной сети Infiniband. Результаты проведенного исследования в целом показывают целесообразность применения виртуализации для большого класса высокопроизводительных приложений. Доводка рассматриваемых систем виртуализации позволила снизить накладные расходы с 10-60% до 1-5% на большинстве тестов пакетов HPC Challenge и NAS Parallel Benchmarks. Основными "узкими местами" систем виртуализации являются уменьшенная производительность системы памяти (критично только для узкого класса задач), расходы при виртуализации устройств, а также повышенный уровень "шума", источником которого становятся основная ОС и гипервизор. Шум может оказывать негативное влияние на производительность и масштабируемость "мелкозернистых" приложений (приложений с частыми коммуникациями небольшого объема). При увеличении числа узлов в системе, влияние шума существенно усиливается.

высокопроизводительные системы, виртуализация, мониторы виртуальных машин, высокопроизводительные вычисления, параллельные вычисления

1. A. J. Younge, R. Henschel, J. Brown, G. von Laszewski, J. Qiu, и G. C. Fox. Analysis of Virtualization Technologies for High Performance Computing Environments. In The 4th International Conference on Cloud Computing (IEEE CLOUD 2011), июль 2011.

2. A. Gavrilovska, S. Kumar, H. Raj, K. Schwan, V. Gupta, R. Nathuji, R. Niranjan, A. Ranadive, и P. Saraiya. Abstract High-Performance Hypervisor Architectures: Virtualization in HPC Systems. In 1st Workshop on System-level Virtualization for High Performance Computing (HPCVirt), in conjunction with EuroSys 2007, 2007.

3. A. Kivity, Y. Kamay, D. Laor, U. Lublin, и A. Liguori. KVM: the Linux virtual machine monitor. In OLS ’07: The 2007 Ottawa Linux Symposium, с. 225–230, июль 2007.

4. J. R. Lange, K. Pedretti, P. Dinda, P. G. Bridges, C. Bae, P. Soltero, и A. Merritt. Minimal-overhead virtualization of a large scale supercomputer. In Proceedings of the 7th ACM SIGPLAN/SIGOPS international conference on Virtual execution environments, VEE ’11, с. 169–180, 2011.

5. P. R. Luszczek, D. H. Bailey, J. J. Dongarra, J. Kepner, R. F. Lucas, R. Rabenseifner, и D. Takahashi. The HPC Challenge (HPCC) benchmark suite. In Proceedings of the 2006 ACM/IEEE conference on Supercomputing, SC ’06, 2006.

6. D. Bailey, T. Harris, W. Saphir, R. van der Wijngaart, A. Woo, и M. Yarrow. The NAS parallel benchmarks 2.0. Technical Report NAS-95-020, NASA Ames Research Center. Декабрь 1995.

7. Д. В. Силаков. Использование аппаратной виртуализации в контексте информационной безопасности. Труды Института системного программирования РАН, том 20, c. 25-36, 2011.

8. П. Довгалюк. Детерминированное воспроизведение процесса выполнения программ в виртуальной машине. Труды Института системного программирования РАН, том 21, с. 123-132, 2011.

9. P. Barham, B. Dragovic, K. Fraser, S. Hand, T. Harris, A. Ho, R. Neugebauer, I. Pratt, и A. Warfield. Xen and the art of virtualization. SIGOPS Oper. Syst. Rev., 37, с. 164–177, октябрь 2003.

10. J. Watson. VirtualBox: bits and bytes masquerading as machines. Linux Journal, февраль 2008.

11. К. Батузов, А. Меркулов. Оптимизация динамической двоичной трансляции. Труды Института системного программирования РАН, том 20, с. 37-50, 2011.

12. N. Regola и J.-C. Ducom. Recommendations for virtualization technologies in high performance computing. In Proceedings of the 2010 IEEE Second International Conference on Cloud Computing Technology and Science, CLOUDCOM ’10, с. 409–416, 2010.

13. OpenVZ: container-based virtualization for Linux, http://openvz.org/.

14. A. Gordon, N. Amit, N. Har’El, M. Ben-Yehuda, A. Landau, A. Schuster, и D. Tsafrir. ELI: Bare-Metal Performance for I/O Virtualization. In Proceedings of the Seventeenth International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS 2012), 2012.

15. K. Z. Ibrahim, S. Hofmeyr, и C. Iancu. Characterizing the performance of parallel applications on multi-socket virtual machines. In Proceedings of the 2011 11th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing, CCGRID ’11, с. 1–12, 2011.

16. J. Lange, K. Pedretti, T. Hudson, P. Dinda, Z. Cui, L. Xia, P. Bridges, A. Gocke, S. Jaconette, M. Levenhagen, и R. Brightwell. Palacios and Kitten: New high performance operating systems for scalable virtualized and native supercomputing. In 2010 IEEE International Symposium on Parallel Distributed Processing (IPDPS), с. 1 –12, апрель 2010.

17. V3VEE: An Open Source Virtual Machine Monitor Framework For Modern Architectures, http://v3vee.org/.

18. K. Ferreira, P. Bridges, и R. Brightwell. Characterizing application sensitivity to OS interference using kernel-level noise injection. In International Conference for High Performance Computing, Networking, Storage and Analysis, 2008, с. 1–12, ноябрь 2008.

19. F. Petrini, D. Kerbyson, и S. Pakin. The Case of the Missing Supercomputer Performance: Achieving Optimal Performance on the 8,192 Processors of ASCI Q. In 2003 ACM/IEEE Conference on Supercomputing, с. 55, ноябрь 2003.

20. A. Arcangeli. Transparent Hugepage Support, http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf. KVM Forum 2010.