SnippetBox

Курс по данным и пропуски: почему заполнить всё нулями бывает плохой идеей

Raw URL

Курс по данным и пропуски: почему заполнить всё нулями бывает плохой идеей

В учебной таблице не хватает значений, и студент ставит везде ноль. Файл стал аккуратнее, но смысл данных мог измениться. При выборе обучения работе с данными важно проверить, требуют ли объяснять обработку пропусков.

Возьмите выдуманную таблицу доставок. Нулевая задержка может означать, что заказ приехал вовремя. Пустое поле может означать, что время прибытия неизвестно. Если сделать их одинаковыми, отчёт перестанет различать два разных события.

Сначала опишите значение поля

Кто заполняет его и в какой момент? Какие записи считаются завершёнными? Можно ли восстановить отсутствующее значение из другого источника? Ответ определяет обработку гораздо лучше привычки «почистить данные одной командой».

Сравните итог до и после преобразования. Посчитайте, сколько записей затронуто, и отметьте ограничения вывода. В учебном проекте это нужно показывать рядом с результатом, а не прятать в комментарии к коду.

На странице Big Data курсов KGAM можно выбрать несколько программ. Спросите школы о заданиях с пропусками, спорными форматами и проверкой логики преобразований.

Хорошая практика учит отделять неизвестное значение от настоящего нуля. Это небольшое различие способно изменить весь смысл расчёта. Если преподаватель оценивает только аккуратный файл, уточните, как он проверяет, что данные не стали врать после уборки.