Исторический бэкфилл под нагрузкой: что сломается первым
Массовое заполнение старых строк в PostgreSQL может незаметно превратиться в рост задержек, отставание реплик и нехватку диска. Разбираем механику на примере PostgreSQL 16 и показываем, что измерять до запуска.

Запустите обновление миллионов старых строк в PostgreSQL, и первым сигналом проблемы может стать не ошибка базы, а выросший p99 запросов приложения или отставшая реплика. На примере PostgreSQL 16 разберём, почему исторический бэкфилл конкурирует с рабочими запросами, как выбрать размер порций и какие показатели проверить до запуска. Универсальной безопасной скорости нет: её задают ваша нагрузка, диски и запас по задержкам.
Что именно нагружает базу
Возьмём типичный сценарий: в большой таблице появилась новая колонка, например с нормализованным или вычисленным значением, и нужно заполнить её для уже существующих записей. Новые записи при этом продолжают поступать. В PostgreSQL 16 обновление строки не заменяет её на месте: из-за MVCC база создаёт новую версию строки, а старую оставляет доступной для транзакций, которым она ещё нужна.
Это означает, что цена операции — не только чтение и запись нужных значений. Бэкфилл создаёт WAL — журнал, из которого PostgreSQL, в частности, восстанавливает изменения после сбоя и передаёт их репликам. Он также оставляет старые версии строк, которые позже должен убрать VACUUM. Если обновлённая колонка индексируется, меняется и стоимость обслуживания индексов.
На практике первыми часто заметны хвостовые задержки приложения или отставание реплики. Но порядок зависит от системы: узкое место может оказаться в дисковых операциях, записи WAL, блокировках, свободном месте или работе VACUUM.
Бэкфилл — не фоновая задача только потому, что его запустили отдельным процессом. Для базы это обычная запись, конкурирующая за те же ресурсы, что и пользовательские запросы.
Что ломается первым
Задержки и ожидание блокировок
Каждое обновление блокирует изменяемую строку до конца транзакции. Большая транзакция удерживает блокировки дольше и может конфликтовать с рабочими операциями над теми же строками. Она не блокирует автоматически всю таблицу, но короткие конкурентные обновления могут ждать строки, которые уже обрабатывает бэкфилл.
Даже без прямого конфликта запросы приложения конкурируют с массовой записью за процессор и дисковую пропускную способность. Средняя задержка может выглядеть приемлемо, пока p95 и p99 уже выходят за целевые значения. Поэтому одной метрики «запросов в секунду» недостаточно.
WAL, реплика и свободное место
Поток обновлений увеличивает объём WAL. Реплика должна прочитать и применить этот поток; если она не успевает, растёт задержка репликации. Для приложения это может означать устаревшие чтения с реплики, а для эксплуатации — дополнительный риск при переключении на неё.
Параллельно растёт объём данных и временно сохраняются старые версии строк. Если диск заполнится, пострадает не только бэкфилл: база может потерять возможность нормально принимать рабочие записи. Проверьте свободное место не только в каталоге данных, но и там, где хранятся WAL и резервные копии.
VACUUM не успевает убирать старые версии
VACUUM освобождает место, которое занимали версии строк, уже не нужные транзакциям. Долгая транзакция или старый снимок данных могут мешать очистке. Тогда бэкфилл продолжает создавать новые версии, а число мёртвых строк и потребность в дисковом пространстве растут быстрее, чем база успевает их обслуживать.
Мёртвая версия строки — старая копия записи, которая уже не видна новым транзакциям, но пока не может быть удалена физически. Это нормальная часть работы PostgreSQL, а не сама по себе признак повреждения базы.
Три способа запустить заполнение
| Подход | Что выигрываете | Чем платите | Когда подходит |
|---|---|---|---|
| Одна транзакция на всю таблицу | Простая координация; можно откатить весь процесс | Долгие блокировки и большой объём незавершённой работы; сложнее оценить влияние на WAL и очистку старых версий | Для небольшой таблицы после проверки на копии, если время выполнения и отката приемлемо |
| Порции по первичному ключу | Короткие транзакции; можно остановить и продолжить | Нужно хранить прогресс и корректно обрабатывать повторный запуск | Для больших таблиц, когда требуется управлять скоростью и наблюдать влияние по ходу работы |
| Порции с ограничением скорости и паузами | Можно замедляться при росте задержек или лага реплики | Бэкфилл длится дольше; нужна логика управления и контроля состояния | Для систем с жёсткими требованиями к задержкам и репликации |
Для больших таблиц обычно начинают с порций, а не с одной транзакции. Выбирайте устойчивый ключ, например первичный ключ, и условие, которое позволяет пропустить уже заполненные строки. Не полагайтесь на смещение через OFFSET при последовательном проходе по большой таблице: такая схема может повторно просматривать всё больше строк по мере продвижения. Отдельно определите, как обработать строки, которые приложение добавляет или меняет во время заполнения.
Как измерить безопасную скорость
Не существует универсального размера порции в строках или числа записей в секунду. Одна строка может иметь несколько индексов и крупные значения, другая — занимать мало места. Начните с небольшой порции на рабочей системе или репрезентативной копии, затем меняйте только один параметр за раз.
- Зафиксируйте базовую линию. До запуска снимите p95 и p99 ключевых запросов, частоту ошибок, задержку реплики, свободное место и текущую скорость записи. Проверка пройдена, если вы знаете обычные значения за сопоставимый период нагрузки.
- Запустите ограниченную порцию. Записывайте число изменённых строк и длительность транзакции. Проверка пройдена, если порция завершается предсказуемо и не создаёт заметного всплеска ожиданий.
- Смотрите на WAL и реплики. Наблюдайте за объёмом WAL, скоростью его воспроизведения и отставанием реплик. Проверка пройдена, если отставание не растёт от порции к порции и укладывается в ваш эксплуатационный предел.
- Проверьте очистку и диск. Следите за активностью VACUUM, количеством мёртвых строк и свободным местом. Проверка пройдена, если запас диска не сокращается быстрее, чем команда успевает остановить или замедлить процесс.
- Повышайте скорость только при запасе. Если задержки запросов, лаг реплики или ожидания блокировок ухудшаются, уменьшите порцию либо увеличьте паузу. Проверка пройдена, когда показатели возвращаются к приемлемому уровню до следующего шага.
Пределы задавайте по SLO и резерву конкретной системы, а не по чужому примеру. Для сравнения «до и после» сохраняйте условия: тип и объём таблицы, число индексов, профиль входящих запросов, конфигурацию дисков и число одновременно работающих задач. Без этих данных число строк в секунду мало что говорит.
Где подход ломается
Порционное обновление снижает размер одной транзакции, но не делает бэкфилл бесплатным. Оно может ухудшить ситуацию, если одновременно запустить несколько работников, забыть про запросы пользователей или запланировать старт на период пикового трафика.
- Порции слишком крупные. Длительность транзакций и локальная нагрузка растут; уменьшите размер порции и повторно измерьте задержки.
- Слишком много работников. Конкурентные процессы увеличивают нагрузку на диски и WAL. Начните с одного, добавляйте параллелизм только после наблюдений.
- Долгие транзакции мешают очистке. Найдите старые транзакции и снимки данных; не рассчитывайте, что VACUUM сможет убрать всё немедленно.
- Резервное место не учтено. Сверьте свободный объём, рост WAL и требования к резервированию. При тревожном снижении запаса остановите работу до выяснения причин.
Особая граница — конкурирующие изменения той же строки со стороны приложения. Если заполнение вычисляет значение из данных, которые приложение меняет в это время, результат может устареть или затереть более свежую информацию. Сначала определите правило владения полем: кто и когда имеет право его обновлять. Инвалидация кешей и перестройка индексов — отдельные темы; здесь рассматривается только заполнение существующих строк.
Что делать дальше
Перед запуском составьте план остановки: кто следит за метриками, какие показатели требуют паузы и как продолжить с последнего обработанного ключа. Сначала проверьте повторный запуск и поведение при прерывании на тестовом окружении. В production измеряйте не только скорость заполнения, но и цену этой скорости для запросов, репликации и дискового запаса. Для PostgreSQL 16 детали обслуживания и MVCC сверяйте с документацией именно этой версии.
Субтитры и таймкоды: Расшифровка речи и субтитры по правилам читаемости: 42 знака в строке, две строки, минимум секунда на реплику.
Спросить за 40 ₽Источники: PostgreSQL 16: Introduction to MVCC, PostgreSQL 16: Routine Vacuuming
Частые вопросы
Можно ли просто запустить UPDATE на всю таблицу ночью?
Какой размер порции безопасен для PostgreSQL 16?
Что делать, если во время бэкфилла выросло отставание реплики?
Может ли бэкфилл заполнить диск?
Что изменится, если у меня не PostgreSQL 16?
Нужно ли запускать сразу несколько процессов, чтобы закончить быстрее?
Материал носит информационный характер и подготовлен редакцией «Агентуры». Он не является офертой, рекламой или индивидуальной консультацией. Упомянутые продукты, компании и торговые знаки принадлежат их правообладателям. Перед принятием решений, влекущих юридические или финансовые последствия, обратитесь к профильному специалисту.