BSONEachRow
| Ввод | Вывод | Псевдоним |
|---|---|---|
| ✔ | ✔ |
Описание
Формат BSONEachRow разбирает данные как последовательность документов Binary JSON (BSON) без каких-либо разделителей между ними. Каждый ряд оформляется как отдельный документ, а каждый столбец форматируется как отдельное поле документа BSON с именем столбца в качестве ключа.
Соответствие типов данных
Для вывода используется следующее соответствие между типами ClickHouse и типами BSON:
| Тип ClickHouse | Тип BSON |
|---|---|
| Bool | \x08 boolean |
| Int8/UInt8/Enum8 | \x10 int32 |
| Int16/UInt16/Enum16 | \x10 int32 |
| Int32 | \x10 int32 |
| UInt32 | \x12 int64 |
| Int64/UInt64 | \x12 int64 |
| Float32/Float64 | \x01 double |
| Date/Date32 | \x10 int32 |
| DateTime | \x12 int64 |
| DateTime64 | \x09 datetime |
| Decimal32 | \x10 int32 |
| Decimal64 | \x12 int64 |
| Decimal128 | \x05 binary, \x00 binary subtype, size = 16 |
| Decimal256 | \x05 binary, \x00 binary subtype, size = 32 |
| Int128/UInt128 | \x05 binary, \x00 binary subtype, size = 16 |
| Int256/UInt256 | \x05 binary, \x00 binary subtype, size = 32 |
| String/FixedString | \x05 binary, \x00 binary subtype или \x02 string, если параметр output_format_bson_string_as_string включен |
| UUID | \x05 binary, \x04 uuid subtype, size = 16 |
| Array | \x04 array |
| Tuple | \x04 array |
| Named Tuple | \x03 document |
| Map | \x03 document |
| IPv4 | \x10 int32 |
| IPv6 | \x05 binary, \x00 binary subtype |
Для ввода используется следующее соответствие между типами BSON и типами ClickHouse:
| Тип BSON | Тип ClickHouse Type |
|---|---|
\x01 double | Float32/Float64 |
\x02 string | String/FixedString |
\x03 document | Map/Named Tuple |
\x04 array | Array/Tuple |
\x05 binary, \x00 binary subtype | String/FixedString/IPv6 |
\x05 binary, \x02 old binary subtype | String/FixedString |
\x05 binary, \x03 old uuid subtype | UUID |
\x05 binary, \x04 uuid subtype | UUID |
\x07 ObjectId | String/FixedString |
\x08 boolean | Bool |
\x09 datetime | DateTime64 |
\x0A null value | NULL |
\x0D JavaScript code | String/FixedString |
\x0E symbol | String/FixedString |
\x10 int32 | Int32/UInt32/Decimal32/IPv4/Enum8/Enum16 |
\x12 int64 | Int64/UInt64/Decimal64/DateTime64 |
Другие типы BSON не поддерживаются. Кроме того, он выполняет преобразование между различными целочисленными типами. Например, можно вставить значение BSON int32 в ClickHouse как UInt8.
Большие целые числа и десятичные значения, такие как Int128/UInt128/Int256/UInt256/Decimal128/Decimal256, могут быть разобраны из бинарного значения BSON с подтипом \x00. В этом случае формат будет проверять, что размер бинарных данных равен размеру ожидаемого значения.
Этот формат не работает должным образом на платформах с большой эндийнностью.
Пример использования
Настройки формата
| Параметр | Описание | Значение по умолчанию |
|---|---|---|
output_format_bson_string_as_string | Используйте тип строки BSON вместо бинарного для столбцов строк. | false |
input_format_bson_skip_fields_with_unsupported_types_in_schema_inference | Разрешите пропускать столбцы с неподдерживаемыми типами во время вывода схемы для формата BSONEachRow. | false |