Download as PDF, PPTX
Uploaded byOntico
Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Григорий Смолкин, Сергей Петров (Postgres Professional)
Документ обсуждает оптимизацию работы с временными таблицами в PostgreSQL, включая проблемы фрагментации памяти и осиротевшие временные таблицы. Приводятся результаты экспериментов с различными патчами, направленными на улучшение производительности и управление памятью, а также статистики временных таблиц. В заключение обсуждаются рекомендации по устранению обнаруженных проблем и вопросы из аудитории.
Внутреннее устройство PostgreSQL: временные таблицы и фрагментация памяти / Григорий Смолкин, Сергей Петров (Postgres Professional)
- 1. PostgreSQL, фрагментация памяти ивременные таблицы Смолкин Григорий Петров Сергей
- 2. Участники ● Смолкин Григорий ●Петров Сергей ● Попов Николай ● Лубенникова Анастасия ● Федор Сигаев ● Пан Константин ● Жданюк Александр ● Елисеев Андрей
- 3. Стенд Software Centos 7.2 PostgreSQL 9.5.4+1C patchset 1С Платформа 8.3.8 Cluster size: 350GB Время: 10 часов Hardware 4 x 8core Intel(R) E7-8837 2.67GHz 64GB RAM Fusion ioDrive
- 4.
- 5. Первые результаты CPU LOAD CPU:SYSTEM USER IDLE
- 6. Инструментарий - mamonsu - strace -perf - flamegraph - atop+atopsar
- 7.
- 8. Memory Allocation 0 1 2 3 4 5 6 7 8 9 MAX ORDER 2^0size block 2^3 size block
- 9. Memory Reclamation MIN WATERMARK LOWWATERMARK HIGH WATERMARK Free Pages Time
- 10. Memory Reclamation ignore swapiness=0 MIN WATERMARK LOWWATERMARK HIGH WATERMARK Free Pages Time
- 11. Memory Reclamation ignore swapiness=0 kswapd_wakeup MIN WATERMARK LOWWATERMARK HIGH WATERMARK Free Pages Time
- 12. Memory Reclamation ignore swappiness=0 kswapd_wakeup sync_alloc MIN WATERMARK LOWWATERMARK HIGH WATERMARK Free Pages Time
- 13. Memory Reclamation ignore swapiness=0 kswapd_wakeup sync_alloc kswapd_sleep MIN WATERMARK LOWWATERMARK HIGH WATERMARK Free Pages Time
- 14.
- 15.
- 16.
- 17.
- 18.
- 19.
- 20.
- 21.
- 22. Что делать? vm.min_free_kbytes: +kswapd раньшеначнет работу +больше свободных страниц -меньше единовременно доступной памяти vm.extfrag_threshold = 500 Уровень фрагментации: /sys/kernel/debug/extfrag_index
- 23.
- 24. Резервирование места open("base/13090/t2_1043562", O_RDWR)= 40 write(40, "00000000000000000"..., 8192) = 8192 write(40, "00000000000000000"..., 8192) = 8192 write(40, "00000000000000000"..., 8192) = 8192 write(40, "00000000000000000"..., 8192) = 8192 write(40, "00000000000000000"..., 8192) = 8192 write(40, "00000000000000000"..., 8192) = 8192
- 25. Временные таблицы 1. Привязанык определенному серверному процессу 2. Не имеют механизма сбора статистики 3. Размещены в локальной памяти 4. Удаляются после отключения клиента
- 26. Почему это плохо 1.Фрагментация памяти(8KB = 2^1 * 4KB) 2. Тройная буферизация!!!
- 27. Буферизация 1 2 3a b c temp buffers page cache disk cache disk
- 28. Буферизация 1 2 3a b c 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 temp buffers page cache disk cache disk
- 29. Буферизация 1 2 3b c d e 0 0 0 0 0 0 0 a 0 0 0 0 0 a 0 0 0 0 0 0 0 a temp buffers page cache disk cache disk
- 30. Что делать? TMPFS? 1.Фрагментация памяти(8KB = 2^1 * 4KB) 2. Тройная буферизация!!! 2. Двойная буферизация :)
- 31.
- 32.
- 33. Патч №1: Отключениерезервирования Автор: Анастасия Лубенникова - отключает резервирование для временных таблиц - индексы, FSM, VM по-прежнему пишутся на диск - PostgresPro Enterprise - PostgresPro Enterprise 1C
- 34. Буферизация 1 2 3a b c temp buffers page cache disk cache disk
- 35. Буферизация 1 2 3b c d e a a a temp buffers page cache disk cache disk
- 36.
- 37. Патч №1: Отключениерезервирования
- 38.
- 39. Orphan temp tables Условияпоявления:
- 40. Orphan temp tables Условияпоявления: - Крэш постгреса(питание, oom killer, etc.)
- 41. Orphan temp tables Условияпоявления: - Крэш постгреса(питание, oom killer, etc.) - Не хватило памяти на локи
- 42. Orphan temp tables Условияпоявления: - Крэш постгреса(питание, oom killer, etc.) - Не хватило памяти на локи Симптомы:
- 43. Orphan temp tables Условияпоявления: - Крэш постгреса(питание, oom killer, etc.) - Не хватило памяти на локи Симптомы: - out of shared memory
- 44. Orphan temp tables Условияпоявления: - Крэш постгреса(питание, oom killer, etc.) - Не хватило памяти на локи Симптомы: - out of shared memory - autovacuum «found orphan table»
- 45. Orphan temp tables Почемуэто плохо?
- 46. Orphan temp tables Почемуэто плохо? - Распухание каталога
- 47. Orphan temp tables Почемуэто плохо? - Распухание каталога - Вакуум не удаляет осиротевшие таблицы
- 48. Orphan temp tables Почемуэто плохо? - Распухание каталога - Вакуум не удаляет осиротевшие таблицы - Вакуум спамит в лог
- 49. Orphan temp tables Чтоделать?
- 50. Orphan temp tables Чтоделать? - Увеличить размер lock_table: lock_table = max_locks_per_transaction * (max_conn + max_pred_locks_per_transaction) - Удалить схемы с временными таблицами: DROP SCHEMA pg_temp_n CASCADE; DROP SCHEMA pg_toast_temp_n CASCADE;
- 51.
- 52. Патч №2: Orphantables clean up Автор: Константин Пан - корректная работа с локами - keep_orphan_tables = boolean - https://commitfest.postgresql.org/11/831/ - PostgresPro Enterprise - PostgresPro Enterprise 1C
- 53.
- 54. online_analyze Расширение, призванное решитьпроблему сбора статистики для временных таблиц:
- 55. online_analyze Расширение, призванное решитьпроблему сбора статистики для временных таблиц: ● Принудительно выполняет ANALYZE
- 56. online_analyze Расширение, призванное решитьпроблему сбора статистики для временных таблиц: ● Принудительно выполняет ANALYZE ● Полагается на статистику stats collector`а
- 57.
- 58. online_analyze При большом кол-ветаблиц: - Чтение файла со статистикой становится дорогим
- 59.
- 60. online_analyze При большом кол-ветаблиц: - Чтение файла со статистикой становится дорогим - Поиск по прочитанному хэшу становится дорогим
- 61.
- 62.
- 63.
- 65. Патч №3: online_analyze Автор:Фёдор Сигаев 1. Реже обращаемся за статистикой 2. WIP - хранить статистику в локальной памяти
- 66.
- 67. online_analyze patch CPU LOAD CPU:IDLE SYSTEM USER
- 68.
- 69. online_analyze off CPU LOAD CPU:IDLE SYSTEM USER
- 70.
- 71.
- 72.
- 73.