Перейти к основному содержимому
Перейти к основному содержимому

Работа с Parquet в ClickHouse

Parquet — это эффективный формат файла для хранения данных в колонкоориентированном виде. ClickHouse поддерживает как чтение, так и запись файлов Parquet.

подсказка

Когда вы указываете путь к файлу в запросе, откуда ClickHouse пытается читать, будет зависеть от варианта ClickHouse, который вы используете.

Если вы используете clickhouse-local, он будет читать из расположения, относительного места, откуда вы запустили ClickHouse Local. Если вы используете ClickHouse Server или ClickHouse Cloud через clickhouse client, он будет читать из расположения, относительного директории /var/lib/clickhouse/user_files/ на сервере.

Импорт из Parquet​

Перед загрузкой данных мы можем использовать file() функцию для изучения структуры примерного parquet файла:

Мы использовали Parquet в качестве второго аргумента, чтобы ClickHouse знал формат файла. Это выведет столбцы с типами:

Мы также можем изучать файлы перед фактическим импортом данных, используя всю мощь SQL:

подсказка

Мы можем пропустить явную настройку формата для file() и INFILE/OUTFILE. В этом случае ClickHouse автоматически определит формат на основе расширения файла.

Импорт в существующую таблицу​

Давайте создадим таблицу, в которую мы будем импортировать данные Parquet:

Теперь мы можем импортировать данные, используя предложение FROM INFILE:

Обратите внимание, как ClickHouse автоматически преобразовал строки Parquet (в столбце date) в тип Date. Это происходит потому, что ClickHouse автоматически выполняет преобразование типов на основе типов в целевой таблице.

Вставка локального файла на удаленный сервер​

Если вы хотите вставить локальный файл Parquet на удаленный сервер ClickHouse, вы можете сделать это, пропустив содержимое файла в clickhouse-client, как показано ниже:

Создание новых таблиц из файлов Parquet​

Поскольку ClickHouse считывает схему parquet файла, мы можем создавать таблицы на лету:

Это автоматически создаст и заполнит таблицу из данного parquet файла:

По умолчанию ClickHouse строго относится к именам столбцов, типам и значениям. Но иногда мы можем пропустить несуществующие столбцы или неподдерживаемые значения во время импорта. Это можно управлять с помощью настроек Parquet.

Экспорт в формат Parquet​

подсказка

При использовании INTO OUTFILE с ClickHouse Cloud вам нужно будет запускать команды в clickhouse client на машине, где будет записан файл.

Чтобы экспортировать любую таблицу или результат запроса в файл Parquet, мы можем использовать предложение INTO OUTFILE:

Это создаст файл export.parquet в рабочей директории.

Типы данных ClickHouse и Parquet​

Типы данных ClickHouse и Parquet в основном идентичны, но все же немного различаются. Например, ClickHouse будет экспортировать тип DateTime как int64 Parquet. Если мы затем снова импортируем это в ClickHouse, мы увидим числа (файл time.parquet):

В этом случае могут быть использованы преобразования типов:

Дальнейшее чтение​

ClickHouse представляет поддержку множества форматов, как текстовых, так и бинарных, чтобы покрыть различные сценарии и платформы. Исследуйте больше форматов и способов работы с ними в следующих статьях:

Также ознакомьтесь с clickhouse-local — портативным полнофункциональным инструментом для работы с локальными / удаленными файлами без необходимости в сервере Clickhouse.