Подготовка данных к отчёту: что проверить до старта

За 30–60 минут вы сможете подготовить небольшую таблицу из одного-двух источников к отчёту: зафиксировать период и уровень детализации, привести поля к понятным типам и проверить, что строки не потерялись и не задублировались. Если источников много или правила расчёта не согласованы, сначала потребуется договориться о них — очистка данных не исправит разное понимание показателей.

Что подготовить до начала

Понадобятся исходные файлы или доступ к источнику, описание того, на какой вопрос отвечает отчёт, и список полей, которые должны в него попасть. Если данные выгружает другой сотрудник, заранее договоритесь о формате и периодичности выгрузки. Не начинайте с удаления «лишних» строк: сначала сохраните оригинал и выясните, что именно в нём считается лишним.

• Отдельная копия исходных данных, которую не будете редактировать.
• Черновик определения показателей: что означает каждая метрика и как она считается.
• Список ожидаемых полей, единиц измерения, периода и часового пояса.
• Инструмент для просмотра и обработки данных. Конкретная программа здесь не предполагается: шаги описывают проверку, а не меню отдельной версии Excel, Google Sheets или СУБД.

Пошаговая подготовка данных

1. Сформулируйте вопрос отчёта. Запишите, какое решение читатель должен принять и какие показатели ему для этого нужны. Например, «сравнить число оплаченных заказов по неделям» — конкретнее, чем «посмотреть продажи». Определите, что означает «оплаченный»: заказ создан, платёж прошёл или деньги перечислены продавцу.

   Проверка: другой человек может по вашему описанию понять, какие записи включать в расчёт, а какие исключать.

2. Определите период и гранулярность. Гранулярность — уровень детализации одной строки: заказ, товарная позиция, клиент за день или другая сущность.¹ Уточните границы периода и часовой пояс. Если одна строка соответствует позиции заказа, а вы считаете заказы, один заказ с тремя товарами нельзя автоматически считать тремя заказами.

   Проверка: вы можете закончить фразу «одна строка в наборе — это…» и назвать единый период, например календарную неделю в конкретном часовом поясе.

3. Составьте карту источников и полей. Для каждого поля укажите источник, смысл, тип и единицу измерения. Для идентификаторов уточните, уникальны ли они и могут ли повторяться в разных системах. Если сводите два источника, заранее найдите поле или набор полей, по которым записи можно сопоставить.

   Проверка: у каждого показателя есть понятное происхождение, а для объединения таблиц определён ключ. Если ключа нет, не соединяйте данные «по похожим названиям» без отдельного правила.

4. Сохраните исходник и проверьте импорт. Работайте с копией. Убедитесь, что заголовки столбцов не попали в данные, разделитель CSV распознан правильно, а кавычки и символы внутри значений не разрезали строки. Сверьте число строк до и после загрузки. Для CSV форматирование ячеек из таблицы не гарантирует, что даты и числа будут прочитаны так же в другой программе.

   Проверка: количество колонок совпадает с ожидаемым, значения не «переехали» в соседние столбцы, а число записей объяснимо совпадает с исходником.

5. Приведите типы и значения к единому виду. Проверьте, что даты распознаны как даты, суммы — как числа, а идентификаторы не превращаются в числа, если важны ведущие нули. Унифицируйте написание категорий и единиц: например, не смешивайте «Москва», «г. Москва» и «москва» как три разных значения. Отдельно решите, что означает пустое поле: неизвестное значение, неприменимый показатель или ноль — это не одно и то же.

   Проверка: в каждом столбце значения одного смысла и типа; для подозрительных преобразований сохранено исходное значение или описано правило.

6. Проверьте ключи, пропуски и дубли. Посчитайте пустые значения в обязательных полях, проверьте уникальность ключа на выбранном уровне детализации и найдите повторы. Дубликат не всегда ошибка: одна покупка может состоять из нескольких товарных строк. Удалять строки можно только после выяснения причины повторов и того, как они влияют на метрики.

   Проверка: для каждого найденного пропуска или повтора есть решение — оставить, исправить по источнику, исключить с документированным основанием или пометить как проблему.

7. Сверьте итог с источником. Сравните число записей и несколько контрольных сумм: например, общий объём оплат за период или число уникальных заказов. Сравнение должно учитывать одинаковые фильтры, период и правила возвратов. Несовпадение — повод найти причину, а не подогнать итог вручную.

   Проверка: ключевые расхождения объяснены, а формула и фильтры сверки записаны так, чтобы повторить её при следующей выгрузке.

8. Зафиксируйте результат и правила. Сохраните подготовленный набор отдельно от сырого источника. Рядом укажите дату выгрузки, период данных, применённые фильтры, определения метрик и известные ограничения. Если отчёт будет повторяться, сохраните порядок действий и назначьте владельца, который проверяет изменения в исходных данных.

   Проверка: коллега может понять, откуда взялись цифры и что повторить при следующем обновлении без устных пояснений от автора.

Какие поля проверить в первую очередь

Подготовленный набор данных — это не таблица, в которой «всё выглядит аккуратно». Это данные с ясными правилами: понятно, что означает строка, откуда взялось значение и почему его можно включить в расчёт.

Если проверка не проходит

• В CSV появились значения вроде NaN или NULL. Это может быть пропуск, специальное значение или текст из источника. Не заменяйте его нулём автоматически: выясните смысл у владельца данных и запишите принятое правило.
• Часть строк разъехалась по столбцам. Проверьте разделитель и кавычки в CSV, особенно если в значениях встречаются запятые или переносы строк. Повторите импорт на копии и сравните количество колонок и строк с исходником.
• Сумма после очистки стала меньше или больше. Проверьте, не удалили ли дубли, которые на деле являются товарными позициями, и одинаково ли учтены возвраты, скидки и фильтр периода. Сверьте не только общий итог, но и число записей до и после каждого преобразования.
• Показатель меняется после обновления выгрузки. Сравните период, время выгрузки, фильтры и схему полей с предыдущей версией. Источник мог изменить названия колонок, правила статусов или задним числом обновить записи.

Сообщения и способы импорта зависят от выбранной программы и её версии. Если ошибка возникает в конкретном инструменте, сверяйте её точный текст с документацией именно этой версии, а не переносите инструкцию для другой программы.

Что делать дальше

Перед выпуском отчёта сохраните исходную и подготовленную версии отдельно, а затем запишите контрольные значения для следующего обновления: число строк, число уникальных ключей и одну-две контрольные суммы. При повторной сборке сравните их с прошлым запуском. Это быстрее, чем искать расхождение уже после того, как цифры разошлись в презентации или управленческом решении.

¹ Гранулярность — детализация данных, определяющая, что представляет собой одна строка таблицы. От неё зависит, можно ли складывать значения и как считать уникальные сущности.