update hive ui reference #10749
update hive ui reference #10749
Conversation
github-actions bot added the documentation 
| ⚪ Test history | Ya make output | Test bloat
🟢 |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
| * **Wait Queue** - количество таблеток, которые не имеют возможности подняться | ||
| * **Totals** - суммарное потребление ресурсов таблетками (cnt, cpu, mem, net) | ||
| * **Variance** - среднеквадратическое отклонение потребления ресурсов (cnt, cpu, mem, net) между узлами | ||
| * **Triggers** - значения показателей, которые используются для принятия решения об автобалансировке. Каждый сопровождается цветовым индикатором: зелёный означает, что значение находится на приемлемом уровне; жёлтый - что близко к порогу; красный - что значение превысило порог и сейчас должна быть запущена автобалансировка. |
This comment was marked as resolved.
This comment was marked as resolved.
Sorry, something went wrong.
There was a problem hiding this comment.
ставлю пока в драфт, т.к. зависит от этого другого PR в статусе драфт
vporyadke force-pushed the hivereference branch from eb7446e to e863ddd Compare | ⚪ Test history | Ya make output | Test bloat
🟢 |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
| * **Starting** - количество таблеток в процессе подъема | ||
| * **Running** - количество работающих таблеток | ||
| * **Types** - распределение таблеток по их типу | ||
| * **Types** - распределение таблеток по их типу. С помощью нажатия на конкретный тип можно запретить запускать таблетки данного типа на конкретном узле. Нажатием на тип в верху таблицы можно установить такой запрет на все узлы по умолчанию. |
There was a problem hiding this comment.
"в верху таблицы" это в заголовке?
| | ||
| ## Settings | ||
| | ||
| На странице **Settings** представлен список параметров конфигурации Hive, которыми можно управлять через интерфейс. Для каждого параметра указано три значения: текущее значение, значение из [конфигурации YDB](../../maintenance/manual/config-overview.md) и значение по умолчанию. Параметры, значения которых выставлены через интерфейс, выделены жирным. Выставленные через интерфейс значения имеют приоритет над значениями из конфигурации YDB. |
There was a problem hiding this comment.
| На странице **Settings** представлен список параметров конфигурации Hive, которыми можно управлять через интерфейс. Для каждого параметра указано три значения: текущее значение, значение из [конфигурации YDB](../../maintenance/manual/config-overview.md) и значение по умолчанию. Параметры, значения которых выставлены через интерфейс, выделены жирным. Выставленные через интерфейс значения имеют приоритет над значениями из конфигурации YDB. | |
| На странице **Settings** представлен список параметров конфигурации Hive, которыми можно управлять через интерфейс. Для каждого параметра указано три значения: текущее значение, значение из [конфигурации YDB](../../maintenance/manual/config-overview.md) и значение по умолчанию. Параметры, значения которых выставлены через интерфейс, выделены полужирным шрифтом. Выставленные через интерфейс значения имеют приоритет над значениями из конфигурации YDB. |
| --- | --- | --- | ||
| MaxTabletsScheduled | Целое число | Максимальное число таблеток, одновременно находящихся в процессе старта на одном узле | ||
| MaxBootBatchSize | Целое число | Максимальное число таблеток из очереди на запуск, обрабатываемых за раз | ||
| DrainInflight | Целое число | Число таблеток, одновременно перезапускающихся в процессе Drain одного узла |
There was a problem hiding this comment.
| DrainInflight | Целое число | Число таблеток, одновременно перезапускающихся в процессе Drain одного узла | |
| DrainInflight | Целое число | Число таблеток, одновременно перезапускающихся в процессе плавного перемещения всех таблеток с одного узла (drain) |
| MinCounterScatterToBalance | Вещественное число | Порог метрики Scatter для ресурса Counter | ||
| MinNodeUsageToBalance | Вещественное число | Потребление ресурсов на узле ниже данного значения приравнивается к данному значению | ||
| MaxNodeUsageToKick | Вещественное число | Порог потребления ресурсов на узле для запуска emergency-автобалансировки | ||
| NodeUsageRangeToKick | Вещественное число | Автобалансировка считается нецелесообразной, если разнице в уровне потребления ресурсов между узлами меньше этого значения |
There was a problem hiding this comment.
| NodeUsageRangeToKick | Вещественное число | Автобалансировка считается нецелесообразной, если разнице в уровне потребления ресурсов между узлами меньше этого значения | |
| NodeUsageRangeToKick | Вещественное число | Автобалансировка считается нецелесообразной, если разница в уровне потребления ресурсов между узлами меньше этого значения |
| NodeUsageRangeToKick | Вещественное число | Автобалансировка считается нецелесообразной, если разнице в уровне потребления ресурсов между узлами меньше этого значения | ||
| ResourceChangeReactionPeriod | Целое число секунд | Частота обновления аггрегированной статистики потребления ресурсов | ||
| TabletKickCooldownPeriod | Целое число секунд | Минимальный период времени между перемещениями одной таблетки | ||
| NodeSelectStrategy | Выбор из списка | Стратегия выбора узла для запуска таблетки. Возможные варианты: взвешенно-случайный выбор на основе потребления, выбор узла с минимальным потреблением, выбор случайного узла среди 7% узлов с наименьшим потреблением, выбор случайного узла |
There was a problem hiding this comment.
Если таблицу сделать в многострочном формате (https://diplodoc.com/docs/ru/syntax/tables/multiline), то можно будет "Возможные варианты:" оформить в виде списка, так легче парсить текст...
| MaxMovementsOnEmergencyBalancer | Целое число | Аналогично MaxMovementsOnAutoBalancer, но для emergency-балансировки | ||
| ContinueEmergencyBalancer | вкл/выкл | Аналогично ContinueAutoBalancer, но для emergency-балансировки | ||
| CheckMoveExpediency | вкл/выкл | Производится ли проверка целесообразности перемещений таблеток | ||
| SpaceUsagePenaltyThreshold | Вещественное число | При перевозе канала из-за кончающегося места в группе, пессимизировать группы, в которых свободное место отличается во столько или менее раз от исходной группы |
There was a problem hiding this comment.
Тут коэффициент указывается, отличие в разы? Не очень понятно...
| MinGroupUsageToBalance | Вещественное число | Потребление ресурсов группы хранения ниже данного значения приравнивается к данному значению | ||
| StorageBalancerInflight | Целое число | Число таблеток, одновременно перезапускающихся во время балансировки каналов | ||
| LessSystemTabletsMoves | вкл/выкл | Минимизация перемещения системных таблеток при автобалансировке | ||
| BalancerIgnoreTabletTypes | Список типов таблеток, разделённый точкой с запятой | Типы таблеток, на которые не распротраняется автобалансировка |
There was a problem hiding this comment.
| BalancerIgnoreTabletTypes | Список типов таблеток, разделённый точкой с запятой | Типы таблеток, на которые не распротраняется автобалансировка | |
| BalancerIgnoreTabletTypes | Список типов таблеток, разделённый точкой с запятой | Типы таблеток, на которые не распространяется автобалансировка |
| DefaultUnitThroughput | Целое число байт/секунду | Значение по умолчанию для потребления пропускной способности одним каналом | ||
| DefaultUnitSize | Целое число байт | Значение по умолчанию для потребления места на дисках одним каналом | ||
| StorageBalanceStrategy | Выбор из списка | Какой из параметров выше (IOPS, THROUGHPUT, SIZE) используется для распределения каналов таблеток по группам хранения. Вариант AUTO --- использование того, чьё потребление максимально. | ||
| StorageSafeMode | вкл/выкл | Проверяется ли превышение максимального потребления ресурсов групп хранения |
There was a problem hiding this comment.
| StorageSafeMode | вкл/выкл | Проверяется ли превышение максимального потребления ресурсов групп хранения | |
| StorageSafeMode | вкл/выкл | Проверка превышения максимального потребления ресурсов групп хранения |
| EmergencyBalancerInflight | Целое число | Аналогично BalancerInflight, но для emergency-балансировки | ||
| MaxMovementsOnEmergencyBalancer | Целое число | Аналогично MaxMovementsOnAutoBalancer, но для emergency-балансировки | ||
| ContinueEmergencyBalancer | вкл/выкл | Аналогично ContinueAutoBalancer, но для emergency-балансировки | ||
| CheckMoveExpediency | вкл/выкл | Производится ли проверка целесообразности перемещений таблеток |
There was a problem hiding this comment.
| CheckMoveExpediency | вкл/выкл | Производится ли проверка целесообразности перемещений таблеток | |
| CheckMoveExpediency | вкл/выкл | Проверка целесообразности перемещений таблеток |
| SpaceUsagePenalty | Вещественное число | Коэффициент штрафа, описанного выше | ||
| WarmUpBootWaitingPeriod | Целое число миллисекунд | Время ожидания старта всех известных узлов при старте базы | ||
| MaxWarmUpPeriod | Целое число секунд | Максимальное время ожидания старта узлов при старте базы | ||
| WarmUpEnabled | вкл/выкл | Дожидаться ли старта всех узлов при старте базы или запускать таблетки на первом подключившемся |
There was a problem hiding this comment.
| WarmUpEnabled | вкл/выкл | Дожидаться ли старта всех узлов при старте базы или запускать таблетки на первом подключившемся | |
| WarmUpEnabled | вкл/выкл | Ожидание старта всех узлов при старте базы или запуск таблетки на первом подключившемся |
✅ Documentation buildRevision built successfully |
❌ Documentation buildRevision build failed Build logsErrors (3)❌ /ru/reference/embedded-ui/hive.md: 116: MD009/no-trailing-spaces Trailing spaces [Expected: 0 or 2; Actual: 1] ❌ /ru/reference/embedded-ui/hive.md: 117: MD032/blanks-around-lists Lists should be surrounded by blank lines [Context: "- ❌ /ru/reference/embedded-ui/hive.md: 131: MD009/no-trailing-spaces Trailing spaces [Expected: 0 or 2; Actual: 1] |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
fomichev3000 left a comment
fomichev3000 left a comment There was a problem hiding this comment.
В целом почти нормально уже выглядит. Я написал много комментариев, но вроде бы они не очень сложно исправляются
| #| | ||
| || Название параметра в конфигурации | Название параметра в Hive web-viewer | Формат | Описание | Значение по умолчанию || | ||
| || `max_tablets_scheduled` | MaxTabletsScheduled | Целое число | Максимальное число таблеток, одновременно находящихся в процессе старта на одном узле. | 100 || | ||
| || `max_boot_batch_size` | MaxBootBatchSize | Целое число | Максимальное число таблеток из очереди на запуск, обрабатываемых за раз. | 1000 || |
There was a problem hiding this comment.
| || `max_boot_batch_size` | MaxBootBatchSize | Целое число | Максимальное число таблеток из очереди на запуск, обрабатываемых за раз. | 1000 || | |
| || `max_boot_batch_size` | MaxBootBatchSize | Целое число | Максимальное число таблеток из очереди запуска Hive, обрабатываемых за раз. | 1000 || |
Возможно надо писать не "обрабатываемых за раз", а "которые Hive пытается запустить параллельно". Если я прав. Но без слова Hive вообще не понятно что за очередь и где находится
There was a problem hiding this comment.
Suggestion - применил. Это именно про "за раз" (за один вызов обработчика в актор-системе, но этого-то никто не поймёт), параллельность может оказаться и выше
| - `HIVE_NODE_SELECT_STRATEGY_RANDOM` — выбор случайного узла. | ||
| | ||
| | `HIVE_NODE_SELECT_STRATEGY_RANDOM_MIN_7P` || | ||
| || `default_tablet_limit` | — | Вложенная секция | Ограничения на запуск таблеток различных типов на одном узле. Указывается в формате списка, где каждый элемент имеет поля `type` и `max_count`. | Пустая секция || |
There was a problem hiding this comment.
Читателю не понятно, что с этим делать?
hive_config:
default_tablet_limit:
- type: Datashard
max_count: 5
- type: Columnshard
max_count: 3
Или я вообще не угадал?
Откуда брать типы таблеток?
There was a problem hiding this comment.
Как ты предалагал ниже, добавил в пример в конце. Про типы таблеток написал перед примером.
| | ||
| | `HIVE_NODE_SELECT_STRATEGY_RANDOM_MIN_7P` || | ||
| || `default_tablet_limit` | — | Вложенная секция | Ограничения на запуск таблеток различных типов на одном узле. Указывается в формате списка, где каждый элемент имеет поля `type` и `max_count`. | Пустая секция || | ||
| || `default_tablet_preference` | — | Вложенная секция | Приоритеты по выбору датацентров для запуска таблеток различных типов. Для каждого типа таблетки можно указать несколько групп датацентров. Датацентры внутри одной группы будут иметь одинаковый приоритет, а более ранняя группа будет иметь приориет над последующими. Пример формата: |
There was a problem hiding this comment.
Также не понятно, где брать типы таблеток
There was a problem hiding this comment.
Про типы таблеток написал перед примером
There was a problem hiding this comment.
В итоге про типы решили завести отдельный issue #16256, тут пока можно оставить укзаание на UI, после приведения типов в глоссарие в порядок - добавить ссылку туда
| ``` | ||
| | Пустая секция || | ||
| || `system_category_id` | — | Целое число | При указании любого отличного от 0 числа, все координаторы и медиаторы по возможности запускаются в одном и том же датацентре. | 1 || |
There was a problem hiding this comment.
Просто очень странное название опции. Почему не "group_system_tablets" со значениями 0 или 1. или true/false. Вот опция ниже скорее нормально называется
Но окей, я готов пока не переименовывать
There was a problem hiding this comment.
Странное, всё так. Ничего тут с этим не делал.
| | Пустая секция || | ||
| || `system_category_id` | — | Целое число | При указании любого отличного от 0 числа, все координаторы и медиаторы по возможности запускаются в одном и том же датацентре. | 1 || | ||
| || `enable_fast_tablet_move` | — | true/false | Данная опция позволяет не дожидаться остановки предыдущего поколения таблетки при запуске нового. | true || |
There was a problem hiding this comment.
Наверное стоит предложение написать зачем эта опция нужна. Ибо совсем не понятно.
There was a problem hiding this comment.
Была нужна только для того, чтобы иметь возможность выключить, если вдруг что пойдёт не так, когда это только релизили. Из описания в итоге убрал. Завёл #16272
| || `storage_balancer_inflight` | StorageBalancerInflight | Целое число | Число таблеток, одновременно перезапускающихся во время балансировки каналов. | 1 || | ||
| |# {wide-content} | ||
| | ||
| ## Опции отслеживания перезапусков {#restarts} |
There was a problem hiding this comment.
перезапусков чего? надо явно написать
возможно стоит сделать 2 раздела и 2 таблицы -- для таблеток и для нод
There was a problem hiding this comment.
Разбил на два подраздела
| || `tablet_restarts_period` | — | Целое число миллисекунд | Размер окна, на котором считается количество рестартов таблетки для пессимизации запуска проблемных таблеток. | 1000 || | ||
| || `tablet_restarts_max_count` | — | Целое число | Количество рестартов на окне `tablet_restarts_period`, при превышении которого применяется пессимизация. | 2 || | ||
| || `postopone_start_period` | — | Целое число миллисекунд | Периодичность попыток запуска проблемных таблеток. | 1000 || | ||
| || `node_restarts_for_penalty` | NodeRestartsForPenalty | Целое число | Количество рестартов на окне `node_restart_watch_period`, после которого узлы получают понижение приоритета. | 3 || |
There was a problem hiding this comment.
А какой размер окна для нод? Такой же как для таблеток? Не понятно
Update: увидел. Тем правильнее на 2 раздела разделить
There was a problem hiding this comment.
Разбил на два подраздела
| || `tablet_restart_watch_period` | — | Целое число секунд | Размер окна, на котором собирается статистика о числе рестартов таблетки. | 3600 || | ||
| || `node_restart_watch_period` | — | Целое число секунд | Размер окна, на котором собирается статистика о числе рестартов узла. | 3600 || | ||
| || `tablet_restarts_period` | — | Целое число миллисекунд | Размер окна, на котором считается количество рестартов таблетки для пессимизации запуска проблемных таблеток. | 1000 || | ||
| || `tablet_restarts_max_count` | — | Целое число | Количество рестартов на окне `tablet_restarts_period`, при превышении которого применяется пессимизация. | 2 || |
There was a problem hiding this comment.
Я прочитал и не понял логику работы на текущих дефолтных настройках. Таблетка пессимизируется, когда 2 раза рестартовала на окне в 1000мс? Или на окне 3600 секунд?
А значит и пользователь скорее не поймет
There was a problem hiding this comment.
я прочитал как «на окне в 1000мс»
There was a problem hiding this comment.
Да что там пользователь, тут и я могу перепутать :/
Дописал к окну 3600с пояснение, что оно для другого
Этот период используется только для статистики, передаваемой в HealthCheck. |
| || `node_restarts_for_penalty` | NodeRestartsForPenalty | Целое число | Количество рестартов на окне `node_restart_watch_period`, после которого узлы получают понижение приоритета. | 3 || | ||
| |# {wide-content} | ||
| | ||
| ## Прочее {#misc} |
There was a problem hiding this comment.
Возможно я бы вставил сюда плашку "Эта таблица содержит продвинутые настройки, которые в большинстве случаев не требуют изменения."
Ибо не понятны половина+ опций...
There was a problem hiding this comment.
вообще её можно было б прям начало страницы перенести)
There was a problem hiding this comment.
Вставил эту плашку.
| | ||
| ## Reassign Groups {#reassign_groups} | ||
| | ||
| При нажатии на кнопку **Reassign Groups** появится окно с параметрами для балансировки: |
There was a problem hiding this comment.
Давай опишем зачем вообще надо нажимать эту кнопку. И предупреждение сделаем
There was a problem hiding this comment.
Дописал про сценарий добавления групп
| ⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
vporyadke force-pushed the hivereference branch from 2a3a04e to 1fba91a Compare | ⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
vporyadke requested review from anton-bobkov and blinkov and removed request for blinkov fomichev3000 left a comment
fomichev3000 left a comment There was a problem hiding this comment.
Я посмотрел последний кормит, он не адресует все мои комментарии. Например, список таблеток я так и не вижу.
Надо последовательно адресовать список всех комментариев!
Я думал, что так и сделал. В частности про таблетки я написал перед примером
Это наверное не идеальный ответ. Правильный ответ - список всех типов таблеток живёт в tablet_types.proto, кстати там же указаны числовые айдишники и можно при желании использовать их. Но отправлять читателя документации смотреть в .proto я всё-таки не хочу. Ты хотел увидеть прямо список из всех типов таблеток в документации? В теории его можно бы было выделить в глоссарии, но там всякие тонкие моменты, кого в него включать, кого нет: nbs'ные и rtmr'ные таблетки наверное не нужно, а бывает ли у внешних польователей PersQueueReadBalancer или ReplicationController? Можно ли уже упоминать блобовницу и графшард? |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
| ⚪ Test history | Ya make output | Test bloat
🟢 |
✅ Documentation buildRevision built successfully |
vporyadke requested review from anton-bobkov and blinkov and removed request for anton-bobkov and blinkov 
Co-authored-by: Ivan Blinkov <ivan@ydb.tech> Co-authored-by: Ilnaz Nizametdinov <i.nizametdinov@gmail.com> Co-authored-by: anton-bobkov <anton-bobkov@ydb.tech>
5 participants
Changelog entry
update hive ui reference
Changelog category
Additional information
...