article on group assignment #19426

vporyadke · 2025-06-06T10:53:08Z

Changelog entry

...

Changelog category

Documentation (changelog entry is not required)

Description for reviewers

...

github-actions · 2025-06-06T10:54:52Z

🟢 2025-06-06 10:54:51 UTC The validation of the Pull Request description is successful.

ydb/docs/ru/core/contributor/hive-storage.md

Co-authored-by: Ilnaz Nizametdinov <i.nizametdinov@gmail.com>

ydb/docs/ru/core/reference/embedded-ui/hive.md

ydb/docs/ru/core/concepts/glossary.md

ydb/docs/ru/core/contributor/hive-storage.md

github-actions · 2025-10-31T16:56:10Z

⚪ 2025-10-31 16:56:09 UTC Pre-commit check linux-x86_64-relwithdebinfo for 9460d4c has started.
⚪ 2025-10-31 16:56:29 UTC Artifacts will be uploaded here
⚪ 2025-10-31 16:57:54 UTC ya make is running...
🟢 2025-10-31 16:58:04 UTC Tests successful.

Ya make output | Test bloat

TESTS	PASSED	ERRORS	FAILED	SKIPPED	MUTED^?
0	0	0	0	0	0

🟢 2025-10-31 16:58:09 UTC Build successful.

github-actions · 2025-10-31T16:56:17Z

⚪ 2025-10-31 16:56:16 UTC Pre-commit check linux-x86_64-release-asan for 9460d4c has started.
⚪ 2025-10-31 16:56:34 UTC Artifacts will be uploaded here
⚪ 2025-10-31 16:57:57 UTC ya make is running...
🟢 2025-10-31 16:58:06 UTC Tests successful.

Ya make output | Test bloat

TESTS	PASSED	ERRORS	FAILED	SKIPPED	MUTED^?
0	0	0	0	0	0

🟢 2025-10-31 16:58:11 UTC Build successful.

github-actions · 2025-10-31T17:18:35Z

✅ Documentation build

Revision built successfully
Revision preview link

Build logs

Warnings (4)

⚠️ en/devops/observability/monitoring.md: 54: MD009 / no-trailing-spaces Trailing spaces [Expected: 0 or 2; Actual: 7]

⚠️ ru/devops/observability/monitoring.md: 72: MD009 / no-trailing-spaces Trailing spaces [Expected: 0 or 2; Actual: 8]

⚠️ ru/yql/reference/syntax/insert_into.md: 65: MD009 / no-trailing-spaces Trailing spaces [Expected: 0 or 2; Actual: 1]

⚠️ ru/yql/reference/syntax/update.md: 37: MD009 / no-trailing-spaces Trailing spaces [Expected: 0 or 2; Actual: 1]

CyberROFL

lgtm (шип не ставлю, чтобы случайно не закоммитилось раньше времени)

fomichev3000 · 2025-11-03T07:33:37Z

ydb/docs/ru/core/contributor/hive-storage.md

+
+В данной статье описывается процесс выдачи [таблеткам](../concepts/glossary.md#tablet) [групп хранения](../concepts/glossary.md#storage-group) со стороны [Hive](../concepts/glossary.md#hive). При создании таблетки Hive назначает ей группы и в дальнейшем может их изменить:
+
+* Если в группе заканчивается место, таблетки получают об этом сигнал от [прокси](../concepts/glossary.md#ds-proxy) и передают в Hive запрос выдать им другую группу.


Слово "прокси" запрещено к использованию. У нас так много просей, что нужно указывать конкретную, например "DS-прокси". И в глоссарии тоже нужно поправить

fomichev3000 · 2025-11-03T07:34:53Z

ydb/docs/ru/core/contributor/hive-storage.md

@@ -0,0 +1,47 @@
+# Управление группами хранения в Hive
+
+В данной статье описывается процесс выдачи [таблеткам](../concepts/glossary.md#tablet) [групп хранения](../concepts/glossary.md#storage-group) со стороны [Hive](../concepts/glossary.md#hive). При создании таблетки Hive назначает ей группы и в дальнейшем может их изменить:


На самом деле не хватает термина "таблетко-канал" или лучше "канал таблетки". Группы выдаются не таблетками, а каналам таблеток. Это бы написать.

fomichev3000 · 2025-11-03T07:38:45Z

ydb/docs/ru/core/contributor/hive-storage.md

+Для безопасной смены группы Hive:
+
+* Осуществляет блокировку записи в текущем [поколении](../concepts/glossary.md#tablet-generation) в системном канале таблетки.
+* Запускает новое поколение таблетки с новой записью в [истории](general-schema.md#history).


Suggested change

* Запускает новое поколение таблетки с новой записью в [истории](general-schema.md#history).

* Запускает новое поколение таблетки с новой записью в [истории каналов таблетки](general-schema.md#history).

fomichev3000 · 2025-11-03T07:40:13Z

ydb/docs/ru/core/contributor/hive-storage.md

+
+## Единицы аллокации {#allocation-units}
+
+Как и для [выбора узла](hive-booting.md#findbestnode) для запуска таблеток, для выбора групп в Hive предусмотрен учёт различных ресурсов. Однако, смена группы — более редкая операция, поэтому мгновенные значения потребления для неё бы не подошли. Необходимо ещё на этапе создания таблеток предсказать их потребление в долгосрочной перспективе. Для этого используются фиксированные значения: [SchemeShard](../concepts/glossary.md#scheme-shard) выставляет для каждого из каналов [единицу аллокации](../concepts/glossary.md#allocation-unit) — ожидаемое потребление ресурсов этим каналом, и Hive в дальнейшем использует эти значения. Единицами аллокации для различных таблеток можно управлять при помощи секции `channel_profile_config` в конфигурации кластера. Используются метрики:


Надо добавить ссылку на "при помощи секции channel_profile_config в конфигурации кластера"

Что значит "смена группы — более редкая операция"? не понятно из контекста

fomichev3000 · 2025-11-03T07:41:40Z

ydb/docs/ru/core/contributor/hive-storage.md

+* $\mathrm{free}(g)$ — реальное свободное место в группе $g$;
+* $\alpha, \beta$ — константы. По умолчанию $\alpha = 0.2, \beta = 1.1$. Значения можно настроить в [конфигурации Hive](../reference/configuration/hive.md#storage) как `space_usage_penalty` и `space_usage_penalty_threshold` соответственно.
+
+## Единицы аллокации {#allocation-units}


Мне кажется не хватает более простых слов про единицы аллокации и примера. А то не понятно, если не знаешь

ydbot assigned ElenaAfina Jun 6, 2025

github-actions bot added the documentation Improvements or additions to documentation label Jun 6, 2025

This comment was marked as outdated.

Sign in to view

article on group assignment

47a9066

vporyadke force-pushed the storagedocs branch from ce22a3e to 47a9066 Compare June 6, 2025 11:35

This comment was marked as outdated.

Sign in to view

vporyadke marked this pull request as ready for review June 6, 2025 13:14

vporyadke requested a review from a team as a code owner June 6, 2025 13:14

vporyadke requested review from CyberROFL and ElenaAfina June 9, 2025 08:54

CyberROFL reviewed Jun 9, 2025

View reviewed changes

This comment was marked as outdated.

Sign in to view

Apply suggestions from code review

daa5276

Co-authored-by: Ilnaz Nizametdinov <i.nizametdinov@gmail.com>

This comment was marked as outdated.

Sign in to view

more links

0ff7bf0

This comment was marked as outdated.

Sign in to view

Merge branch 'storagedocs' of github.com:vporyadke/ydb into storagedocs

7edf322

vporyadke force-pushed the storagedocs branch from 11db038 to 7edf322 Compare June 11, 2025 10:56

ydb-platform deleted a comment from ydbot Oct 14, 2025

This comment was marked as outdated.

Sign in to view

CyberROFL mentioned this pull request Oct 16, 2025

Hive docs #14066

Open

8 tasks

This was linked to issues Oct 16, 2025

Hive docs #14066

Open

Async reassign in Hive #22039

Open

CyberROFL assigned vporyadke and unassigned lopatinevgeny Oct 16, 2025

ydbot assigned CyberROFL Oct 16, 2025

vporyadke added 2 commits October 22, 2025 12:58

Merge branch 'main' into storagedocs

57c02f5

async

7b2037b

This comment was marked as outdated.

Sign in to view

CyberROFL reviewed Oct 31, 2025

View reviewed changes

ydb/docs/ru/core/reference/embedded-ui/hive.md Outdated Show resolved Hide resolved

ydb/docs/ru/core/concepts/glossary.md Show resolved Hide resolved

CyberROFL reviewed Oct 31, 2025

View reviewed changes

ydb/docs/ru/core/contributor/hive-storage.md Outdated Show resolved Hide resolved

)))

9e8d2e3

vporyadke force-pushed the storagedocs branch from f258872 to 9e8d2e3 Compare October 31, 2025 16:53

CyberROFL requested review from a team and removed request for ElenaAfina November 1, 2025 08:24

CyberROFL removed their assignment Nov 1, 2025

CyberROFL reviewed Nov 1, 2025

View reviewed changes

fomichev3000 requested changes Nov 3, 2025

View reviewed changes


		В данной статье описывается процесс выдачи [таблеткам](../concepts/glossary.md#tablet) [групп хранения](../concepts/glossary.md#storage-group) со стороны [Hive](../concepts/glossary.md#hive). При создании таблетки Hive назначает ей группы и в дальнейшем может их изменить:

		* Если в группе заканчивается место, таблетки получают об этом сигнал от [прокси](../concepts/glossary.md#ds-proxy) и передают в Hive запрос выдать им другую группу.

		@@ -0,0 +1,47 @@
		# Управление группами хранения в Hive

		В данной статье описывается процесс выдачи [таблеткам](../concepts/glossary.md#tablet) [групп хранения](../concepts/glossary.md#storage-group) со стороны [Hive](../concepts/glossary.md#hive). При создании таблетки Hive назначает ей группы и в дальнейшем может их изменить:

	* Запускает новое поколение таблетки с новой записью в [истории](general-schema.md#history).
	* Запускает новое поколение таблетки с новой записью в [истории каналов таблетки](general-schema.md#history).


		## Единицы аллокации {#allocation-units}

		Как и для [выбора узла](hive-booting.md#findbestnode) для запуска таблеток, для выбора групп в Hive предусмотрен учёт различных ресурсов. Однако, смена группы — более редкая операция, поэтому мгновенные значения потребления для неё бы не подошли. Необходимо ещё на этапе создания таблеток предсказать их потребление в долгосрочной перспективе. Для этого используются фиксированные значения: [SchemeShard](../concepts/glossary.md#scheme-shard) выставляет для каждого из каналов [единицу аллокации](../concepts/glossary.md#allocation-unit) — ожидаемое потребление ресурсов этим каналом, и Hive в дальнейшем использует эти значения. Единицами аллокации для различных таблеток можно управлять при помощи секции `channel_profile_config` в конфигурации кластера. Используются метрики:

article on group assignment #19426

Are you sure you want to change the base?

article on group assignment #19426

Uh oh!

Conversation

vporyadke commented Jun 6, 2025

Changelog entry

Changelog category

Description for reviewers

github-actions bot commented Jun 6, 2025

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

This comment was marked as outdated.

Uh oh!

Uh oh!

Uh oh!

github-actions bot commented Oct 31, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

github-actions bot commented Oct 31, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

github-actions bot commented Oct 31, 2025

✅ Documentation build

Build logs

Warnings (4)

CyberROFL left a comment

Choose a reason for hiding this comment

fomichev3000 Nov 3, 2025

Choose a reason for hiding this comment

fomichev3000 Nov 3, 2025

Choose a reason for hiding this comment

fomichev3000 Nov 3, 2025

Choose a reason for hiding this comment

fomichev3000 Nov 3, 2025

Choose a reason for hiding this comment

fomichev3000 Nov 3, 2025

Choose a reason for hiding this comment

Labels

6 participants

github-actions bot commented Oct 31, 2025 •

edited

Loading

github-actions bot commented Oct 31, 2025 •

edited

Loading