article on group assignment

Author: vporyadke

ydb/docs/ru/core/contributor/hive-storage.md

@@ -0,0 +1,35 @@
+# Управление группами хранения в Hive
+
+В данной статье описывается процесс того, как [Hive](../concepts/glossary.md#hive) управляет выдачей [таблеткам](../concepts/glossary.md#tablet) [групп хранения](../concepts/glossary.md#storage-group). При создании таблетки Hive назначает ей группы, и в дальнейшем может их изменить:
+
+* В случае если в группе заканчивается место, таблетки получают об этом сигнал от [прокси](../concpets/glossary.md#ds-proxy) и передают в Hive запрос выдать им другую группу.
+* Перераспределение групп может быть запущено вручную с помощью [Hive web-viewer](../reference/embedded-ui/hive.md#reassign-groups).
+* Автоматический запуск перебалансировки отключён по умолчанию, но может быть настроен при помощи [конфигурации Hive](../reference/configuration/hive.md#storage).
+
+## Выбор группы {#pick-group}
+
+Для каждого из [каналов](../concepts/glossary.md#tablet-channel) таблетки группа выбирается независимо, вполне возможно, что разные каналы одной и той же таблетки пишут в одну и ту же группу. За каждым каналом закреплён [пул хранения](../concepts/glossary.md#storage-pool) и для этого канала могут быть выбраны только группы из этого пула. Пулы хранения не пересекаются между разными базами данных на одном кластере, при этом у одной базы может быть больше одного пула.
+
+Выбор группы внутри пула делается на основе метрик потребления, принцип работы которых описан в следующем разделе. С их помощью для каждой группы-кандидата $i$ определяется значение потребления $0 < \mathrm{usage}_i < 1$. Затем группа выбирается при помощи взвешенной случайности с весами $w_i = \max_j (\mathrm{usage}_j) - \mathrm{usage}_i$.
+
+В случае кончающегося места важно избежать ситуации, при которой таблетки будут постоянно перемещаться между разными группами, в которых не хватает свободного места. Для того, чтобы избежать этого, в этой версии веса дополнительно модифицируются, чтобы пессимизировать группы, где тоже кончается место. А именно если таблетка перевозится с группы $j$, в которой кончается место, то для группы $i$ модифицированный вес вычисляется по формуле:
+
+$$
+\hat{w_i} =
+\begin{cases}
+ 0, & \mathrm{free}_i < \mathrm{free}_j \\
+ \alpha \cdot w_i, & \mathrm{free}_j \le \mathrm{free_i} < \beta \cdot \mathrm{free}_j \\
+ w_i, & \mathrm{free}_i \ge \beta \cdot \mathrm{free}_j
+\end{cases}
+$$
+
+где $free_g$ — реальное свободное место в группе $g$, $\alpha, \beta$ — константы. По умолчанию $\alpha = 0.2, \beta = 1.1$, эти значения можно настроить как `space_usage_penalty` и `space_usage_penalty_threshold` в [конфигурации Hive](../reference/configuration/hive.md#storage).
+
+## Allocation Units {#allocation-units}
+
+Как и для выбора узла для запуска таблеток, для выбора групп в Hive предусмотрен учёт потребления таблетками ресурсов. Однако поскольку смена группы происходит не бесследно и делается гораздо реже, чем смена вычислительного узла, использовать мгновенные значения потребления было бы нерационально. Вместо этого используется механизм allocation units: при создании таблетки [SchemeShard](../concepts/glossary.md#scheme-shard) выставляет для каждого из каналов ожидаемое потребление ресурсов этим каналом, и Hive в дальнейшем использует эти значения. Allocation unit'ами для различных таблеток можно управлять при помощи секции `channel_profile_config` в конфигурации кластера. Используются три метрики: IOPS, потребление пропускной способности, и потребление дискового пространства. В конфигурации Hive можно настроить учёт какой-либо одной из них или сразу всех.
+
+
+## Процесс переназначения групп {#reassign}
+
+Для безопасной смены группы Hive сначала осуществляет блокировку записи в текущем поколении в системном канале таблетки, и только после этого запускает новое поколение таблетки с новой записью в [истории](general-schema.md#history).

ydb/docs/ru/core/contributor/hive.md

@@ -56,3 +56,4 @@ $\mathrm{MaxUsage}$ и $\mathrm{MinUsage}$ — максимум и миниму
 - [Настройка Hive](../reference/configuration/hive.md)
 - [Hive web-viewer](../reference/embedded-ui/hive.md)
 - [Запуск таблеток](hive-booting.md)
+- [Управление группами хранения](hive-storage.md)

ydb/docs/ru/core/contributor/toc_i.yaml

@@ -25,6 +25,8 @@ items:
  items:
  - name: Запуск таблеток
  href: hive-booting.md
+ - name: Управление группами хранения
+ href: hive-storage.md
  - name: DataShard
  items:
  - name: Локи и видимость изменений в транзакциях

ydb/docs/ru/core/reference/configuration/hive.md

@@ -160,7 +160,7 @@ Hive собирает с каждого узла [метрики потребл
 
 ## Опции распределения каналов между группами хранения {#storage}
 
-Здесь перечислены опции, связанные с распределением [каналов](../../concepts/glossary.md#channel) таблеток по [группам хранения](../../concepts/glossary.md#storage-group): с учётом различных метрик, с выбором групп, с процессом автобалансировки каналов по группам.
+Здесь перечислены опции, связанные с [распределением](../../contributor/hive-storage.md) [каналов](../../concepts/glossary.md#channel) таблеток по [группам хранения](../../concepts/glossary.md#storage-group): с учётом различных метрик, с выбором групп, с процессом автобалансировки каналов по группам.
 
 
 {% note info %}