Численное моделирование переноса твёрдых частиц в атмосферном городском пограничном слое с использованием лагранжева подхода: физические задачи и параллельная реализация
Александр Иванович ВАРЕНЦОВ,
Очир Анатольевич ИМЕЕВ,
Андрей Васильевич ГЛАЗУНОВ,
Евгений Валерьевич МОРТИКОВ,
Виктор Михайлович СТЕПАНЕНКО https://doi.org/10.15514/ISPRAS-2023-35(4)-8
Аннотация
Работа представляет результаты развития численной модели лагранжева переноса частиц и применения методов параллельных вычислений для увеличения эффективности программной реализации модели. Модель реализована в виде программного комплекса, позволяющего проводить расчёты переноса и осаждения аэрозольных частиц с учётом свойств частиц и входных данных, описывающих атмосферные условия и геометрию подстилающей поверхности. Описываются динамическое ядро, физические параметризации, численная реализация и алгоритм работы модели. Изначально модель использовалась для вычислительно несложных задач. В данной работе на фоне необходимости применения модели в вычислительно сложных задачах проводится оптимизация последовательной программной реализации модели, а также создание программных реализаций модели с использованием технологий параллельных вычислений OpenMP, MPI, CUDA. Результаты тестирования различных реализаций модели на вычислительной системе с процессором Intel Xeon E5-2697 v3 2.60GHz и графическим процессором Nvidia P100 показывают, что оптимизация наиболее вычислительно сложных блоков в последовательной версии модели позволяет сократить время выполнения на 27%, в то же время использование технологий параллельных вычислений позволяет добиться ускорения на несколько порядков. Применение OpenMP в динамическом блоке модели привело к ускорению работы блока до 4 раз, применение MPI – до 8 раз, применение CUDA – до 16 раз при прочих равных условиях. Предложены рекомендации по выбору технологии параллельного вычисления в зависимости от свойств вычислительной системы.
Ключевые слова
При поддержке: Работа выполнена с использованием оборудования Центра коллективного пользования сверхвысокопроизводительными вычислительными ресурсами МГУ имени М.В. Ломоносова. Работа выполнена при частичной финансовой поддержке Российского научного фонда, гранты 21-17-00249 (проведение численных экспериментов) и 21-71-30023 (разработка параллельной реализации программного кода), и проекта Федеральной Научно-Технической Программы "Исследование процессов в пограничных слоях атмосферы, океана и вод суши вод и их параметризации в моделях системы Земли" в рамках программы "Совершенствование глобальной модели Земной системы мирового уровня для исследовательских целей и сценарного прогнозирования климатических изменений" (постановка задачи, обзор литературы и оптимизация модели).
Об авторах
Александр Иванович ВАРЕНЦОВ
Московский государственный университет имени М.В. Ломоносова
Научно-исследовательский вычислительный центр,
Институт физики атмосферы им. А.М. Обухова Российской академии наук
Россия
Россия
Аспирант кафедры метеорологии и климатологии географического факультета МГУ имени М.В. Ломоносова. Сфера научных интересов: численное моделирование переноса аэрозолей в атмосфере, моделирование городского микроклимата и качества воздуха, изменение климата и опасные явления погоды, сезонные прогнозы.
Александр Иванович ВАРЕНЦОВ – аспирант кафедры метеорологии и климатологии географического факультета МГУ имени М.В. Ломоносова. Сфера научных интересов: численное моделирование переноса аэрозолей в атмосфере, моделирование городского микроклимата и качества воздуха, изменение климата и опасные явления погоды, сезонные прогнозы.
Очир Анатольевич ИМЕЕВ
Институт физики атмосферы им. А.М. Обухова Российской академии наук
Россия
Россия
Студент магистратуры кафедры вычислительных технологий и моделирования факультета вычислительной математики и кибернетики МГУ имени М.В. Ломоносова. Сфера научных интересов: оптимизация вычислительных процессов, параллельные вычисления, математическое моделирование атмосферных процессов.
Андрей Васильевич ГЛАЗУНОВ
Институт вычислительной математики им. Г.И. Марчука Российской академии наук
Россия
Россия
Доктор физико-математических наук, ведущий специалист лаборатории математического моделирования геофизических пограничных слоёв Научно-исследовательский вычислительного центра МГУ имени М.В. Ломоносова. Сфера научных интересов: математическое моделирование, численные методы, физика геофизических пограничных слоев, турбулентность, гидродинамика, моделирование климата, параллельные вычисления.
Евгений Валерьевич МОРТИКОВ
Московский государственный университет имени М.В. Ломоносова,
Институт вычислительной математики им. Г.И. Марчука Российской академии наук
Россия
Россия
Кандидат физико-математических наук, заведующий лабораторией математического моделирования геофизических пограничных слоёв Научно-исследовательский вычислительного центра МГУ имени М.В. Ломоносова. Сфера научных интересов: математическое моделирование, численные методы, физика геофизических пограничных слоев, турбулентность, гидродинамика, моделирование климата, параллельные вычисления.
Виктор Михайлович СТЕПАНЕНКО
Московский государственный университет имени М.В. Ломоносова
Научно-исследовательский вычислительный центр,
Институт физики атмосферы им. А.М. Обухова Российской академии наук
Россия
Россия
Доктор физико-математических наук, заместитель директора Научно-исследовательского вычислительного центра МГУ имени М.В. Ломоносова с 2019 года. Сфера научных интересов: математическое моделирование деятельного слоя и экосистем суши, математическое моделирование водоёмов и водотоков суши, физика геофизических пограничных слоёв и турбулентности, геофизическая гидродинамика, моделирование климата, параллельные вычисления.
Список литературы
1. Thomson D. J., Wilson J. D. History of Lagrangian Stochastic Models for Turbulent Dispersion // Geo-physical Monograph Series / Lin J, Brunner D, Gerbig C, Stohl A, Luhar A, Webley P. Washing-ton, D. C. (eds.): American Geophysical Union, 2013. pp. 19–36. doi: 10.1029/2012GM001238.
2. Maronga B., Gryschka M., Heinze R., Hoffmann F., Kanani-Sühring F., Keck M., Ketelsen K., Letzel M. O., Sühring M., Raasch S. The Parallelized Large-Eddy Simulation Model (PALM) version 4.0 for atmospheric and oceanic flows: model formulation, re-cent developments, and future perspectives // Geosci. Model Dev. 2015, vol. 8(8), pp. 2515–2551. doi: 10.5194/gmd-8-2515-2015.
3. Huttner S. Further development and application of the 3D microclimate simulation ENVI-met // 2012.
4. Sofiev M., Vira J., Kouznetsov R., Prank M., Soares J., Genikhovich E. Construction of the SILAM Eu-lerian atmospheric dispersion model based on the advection algorithm of Michael Galperin // Geosci. Model Dev. 2015, vol. 8(11), pp. 3497–3522. doi: 10.5194/gmd-8-3497-2015.
5. Glazunov A., Rannik Ü., Stepanenko V., Lykosov V., Auvinen M., Vesala T., Mammarella I. Large-eddy simulation and stochastic modeling of Lagrangian particles for footprint determination in the stable boundary layer // Geosci. Model Dev. 2016, vol. 9(9), pp. 2925–2949. doi: 10.5194/gmd-9-2925-2016.
6. Auvinen M., Järvi L., Hellsten A., Rannik Ü., Vesala T. Numerical framework for the computation of urban flux footprints employing large-eddy simulation and Lagrangian stochastic modeling // Geosci. Model Dev. 2017. Т. 10. № 11. С. 4187–4205. https://doi.org/10.5194/gmd-10-4187-2017.
7. Simon H., Heusinger J., Sinsel T., Weber S., Bruse M. Implementation of a Lagrangian Stochastic Particle Trajectory Model (LaStTraM) to Simulate Concentration and Flux Footprints Using the Microclimate Model ENVI-Met // Atmosphere. 2021, vol. 12(8), pp. 977. doi: 10.3390/atmos12080977.
8. Stein A. F., Draxler R. R., Rolph G. D., Stunder B. J. B., Cohen M. D., Ngan F. NOAA’s HYSPLIT Atmospheric Transport and Dispersion Modeling System // Bulletin of the American Meteorological Society. 2015, vol. 96(12), pp. 2059–2077. doi: 10.1175/BAMS-D-14-00110.1.
9. Ansys Fluent. Theory Guide 12.0. [Электронный ресурс]. URL: https://www.afs.enea.it/project/neptunius/docs/fluent/html/th/main_pre.htm (access: 01.05.2023).
10. Morsi S. A., Alexander A. J. An investigation of particle trajectories in two-phase flow systems // J. Fluid Mech. 1972, vol. 55(02), 193 p. doi: 10.1017/S0022112072001806.
11. Fletcher N. H. The physics of rainclouds. Cambridge University Press // Quarterly Journal of the Royal Meteorological Society. 1962, № 378 (88). C. 559–559. doi: 10.1002/qj.49708837821.
12. Budd W. F. The Drifting of Nonuniform Snow Particles. Washington, D. C.: American Geophysical Union, 1966, pp. 59–70. doi: 10.1029/AR009p0059.
13. Wamser C., Lykossov V. N. On the friction velocity during blowing snow // Beitr Phys Atmosph. 1995, vol. 68(1), pp. 85–94. https://epic.awi.de/id/eprint/3270/.
14. Pope S. B. Turbulent Flows: Cambridge University Press, 2000, Issue 1. doi: 10.1017/CBO9780511840531.
15. Durbin P. A. Stochastic differential equations and turbulent dispersion // NASA, 1983. https://ntrs.nasa.gov/citations/19830014275.
16. Boughton B. A., Delaurentis J. M., Dunn W. E. A stochastic model of particle dispersion in the atmosphere // Boundary-Layer Meteorol. 1987. Т. 40. № 1–2. С. 147–163. https://doi.org/10.1007/BF00140073.
17. Reynolds A. M., Cohen J. E. Stochastic simulation of heavy-particle trajectories in turbulent flows // Physics of Fluids. 2002, vol. 14(1), pp. 342–351. doi: 10.1063/1.1426392.
18. Blocken B. LES over RANS in building simulation for outdoor and indoor applications: A foregone conclusion? // Build. Simul. 2018, vol. 11(5), pp. 821–870. doi: 10.1007/s12273-018-0459-3.
19. ENVI-met – Decoding urban nature. URL: https://www.envi-met.com/ (access: 01.05.2023).
20. Kadantsev E., Mortikov E., Zilitinkevich S. The resistance law for stably stratified atmospheric planetary boundary layers // Q J R Meteorol Soc. 2021, vol. 147(737). pp. 2233–2243. doi: 10.1002/qj.4019.
21. Tkachenko E. V., Debolskiy A. V., Mortikov E. V. Intercomparison of Subgrid Scale Models in Large-Eddy Simulation of Sunset Atmospheric Boundary Layer Turbulence: Computational Aspects // Lobachevskii J Math. 2021, vol. 42(7), pp. 1580–1595. doi: 10.1134/S1995080221070234.
22. Varentsov A. I., Stepanenko V. M., Mortikov E. V., Konstantinov P.I. Numerical simulation of particle transport in the urban boundary layer with implications for SARS-CoV-2 virion distribution // IOP Conf. Ser.: Earth Environ. Sci. 2020, vol. 611(1), pp. 012017. doi: 10.1088/1755-1315/611/1/012017.
23. Varentsov A. I., Stepanenko V. M., Konstantinov P. I. High-resolution simulation of particle transport in the urban atmospheric boundary layer // IOP Conf. Ser.: Earth Environ. Sci. 2019, vol. 386(1), 012045. doi: 10.1088/1755-1315/386/1/012045.
24. Glazunov A. V., Debolskiy A. V., Mortikov E. V. Turbulent Length Scale for Multilayer RANS Model of Urban Canopy and Its Evaluation Based on Large-Eddy Simulations // Supercomputing Frontiers and Innovations. 2021, vol. 8(4), pp. 100–116. doi: 10.14529/jsfi210409.
25. Glazunov A., Mortikov E., Debolskiy A. Studies of Stable Stratification Effect on Dynamic and Thermal Roughness Lengths of Urban-Type Canopy Using Large-Eddy Simulation // Journal of the Atmospheric Sciences. 2023, vol. 80(1), pp. 31–48. doi: 10.1175/JAS-D-22-0044.1.
Рецензия
Для цитирования:
ВАРЕНЦОВ А.И., ИМЕЕВ О.А., ГЛАЗУНОВ А.В., МОРТИКОВ Е.В., СТЕПАНЕНКО В.М. Численное моделирование переноса твёрдых частиц в атмосферном городском пограничном слое с использованием лагранжева подхода: физические задачи и параллельная реализация. Труды Института системного программирования РАН. 2023;35(4):145-164. https://doi.org/10.15514/ISPRAS-2023-35(4)-8
For citation:
VARENTSOV A.I., IMEEV O.A., GLAZUNOV A.V., MORTIKOV E.V., STEPANENKO V.M. Numerical Simulation of Particulate Matter Transport in the Atmospheric Urban Boundary Layer Using Lagrangian Approach: Physical Problems and Parallel Implementation. Proceedings of the Institute for System Programming of the RAS (Proceedings of ISP RAS). 2023;35(4):145-164. (In Russ.) https://doi.org/10.15514/ISPRAS-2023-35(4)-8
Послать статью по эл. почте 