Услуга · Аналитика · Хранилище данных
Для компаний, у которых отчёты по истории продаж, рекламы или событий сайта строятся минутами или обрываются, не дождавшись результата. Проектируем схему таблиц под ваши запросы, переносим историю и настраиваем регулярную загрузку из CRM, Roistat, Метрики и рекламных кабинетов.
Раздел 01 · Показания
Колоночная база нужна, когда упираетесь в объём. Типичные случаи.
Нужно сравнить сезоны за несколько лет по кампаниям и каналам. Выгрузка из кабинетов и CRM не открывается в таблице, запрос к рабочей базе висит.
Интернет-магазин или сервис пишет каждый просмотр и клик. Хранить это в рабочей базе дорого, а старые события удаляют — и вместе с ними когорты.
Графики в DataLens открываются подолгу или отваливаются, когда руководитель выбирает период побольше.
Кластер развернули, но запросы медленные, память заканчивается, а при повторной загрузке появляются дубли.
Раздел 02 · Состав работ
Работа инфраструктурная. Состав под ваши данные фиксируем в смете.
Собираем отчёты, которые должны строиться, и оцениваем, сколько строк прибавляется в месяц. От этого зависят схема и размер кластера.
Yandex Managed для рабочего контура или ваш сервер для пилота и особых требований к данным. Возможен гибрид.
Решаем, какие таблицы развернуть в широкие, чтобы частые отчёты обходились без тяжёлых соединений, и какие справочники оставить отдельно.
Ключ сортировки под фильтры ваших запросов, разбиение по дате, срок хранения сырых событий, компактные типы для статусов и каналов.
Переносим накопленные данные из текущей базы или выгрузок и сверяем количество строк и суммы по периодам.
Забираем новые данные из Postgres, MS SQL, CRM, Roistat, Метрики и рекламных кабинетов. Повторный запуск загрузки не создаёт дублей.
Для отчётов, которые открывают каждый день, считаем итоги заранее материализованными представлениями.
Шифрованные соединения, отдельные роли для загрузки и для чтения, доступ только с разрешённых адресов.
Копии по расписанию, проверка восстановления, уведомление, если загрузка упала или место заканчивается.
Раздел 03 · Протокол
Срок определяют объём истории и число источников. Он указан в смете.
бесплатно
Какие отчёты не строятся, где сейчас лежат данные, есть ли у вас администратор серверов.
от 2 часов
Этапы, их цена и порядок. Этап оплачиваете перед стартом.
до развёртывания
Разбираем запросы, проектируем таблицы, согласуем, где будет жить кластер.
после согласования
Поднимаем кластер, переносим историю, сверяем суммы.
перед сдачей
Включаем регулярную загрузку, прогоняем ваши отчёты, проверяем восстановление из копии.
2 рабочих дня
Запускаете свои запросы и подписываете акт.
Раздел 04 · Стоимость
Смету считаем после разбора ваших запросов и объёма.
Раздел 05 · На что смотрим
Медленный ClickHouse чаще всего упирается в схему. Мощность кластера наращиваем последней.
Ошибка 01
Таблицы скопировали из рабочей базы один в один, и каждый отчёт соединяет несколько крупных таблиц. ClickHouse с этим справляется хуже всего. Модель данных проектируем под отчёты: частые срезы собираем в одну широкую таблицу.
Ошибка 02
Ключ выбран без оглядки на фильтры, разбиения по дате нет, и запрос за неделю читает всю таблицу. Ключ строим из полей, по которым отчёты фильтруют чаще всего, и проверяем планом запроса.
Ошибка 03
Загрузка упала на середине, её перезапустили, и часть событий легла дважды. Выручка в отчёте выросла на пустом месте. Загружаем окнами с перезаписью или таблицами, которые схлопывают повторы по ключу.
Ошибка 04
Статус сделки и канал хранятся как произвольная строка, почти каждое поле допускает пустое значение. Данные раздуваются, память кончается. Для повторяющихся значений берём словарный тип, пустые значения разрешаем только там, где они что-то значат.
Ошибка 05
Дашборд при каждом просмотре суммирует миллионы строк заново. Для ежедневных отчётов итоги считаются в момент загрузки, и дашборд читает уже готовые цифры.
Ошибка 06
О проблеме узнают, когда дашборд показал пустоту или закончился диск. Ставим уведомления на падение загрузки и место, а восстановление из копии проверяем до сдачи.
Раздел 06 · Вопросы
Раздел 07 · Смежные работы
Направление на обратную связь
Расскажите, какие отчёты не строятся и где лежат данные. После созвона пришлём план и смету, а на заявку ответим в течение 2 рабочих часов.