Перейти к основному содержимому
Перейти к основному содержимому

Интеграция Confluent Cloud с ClickHouse

Предварительные условия​

Мы предполагаем, что вы знакомы с:

Официальный коннектор Kafka от ClickHouse с Confluent Cloud​

Установка на Confluent Cloud​

Это руководство предназначено для того, чтобы быстро начать работу с ClickHouse Sink Connector на Confluent Cloud. Для получения более подробной информации, пожалуйста, обратитесь к официальной документации Confluent.

Создание темы​

Создание темы в Confluent Cloud довольно просто, и подробные инструкции можно найти здесь.

Важные примечания​

  • Имя темы Kafka должно совпадать с именем таблицы ClickHouse. Способом изменить это является использование трансформера (например, ExtractTopic).
  • Большее количество разделов не всегда означает лучшую производительность - смотрите наше предстоящее руководство для получения более подробной информации и советов по производительности.

Установите коннектор​

Вы можете скачать коннектор из нашего репозитория - не стесняйтесь оставлять комментарии и сообщения об ошибках там!

Перейдите в "Коннектор Плагины" -> "Добавить плагин" и используйте следующие настройки:

Пример:

Соберите свои данные для подключения​

Чтобы подключиться к ClickHouse с помощью HTTP(S), вам нужна следующая информация:

  • ХОСТ и ПОРТ: как правило, порт составляет 8443 при использовании TLS или 8123 при отсутствии TLS.

  • НАЗВАНИЕ БАЗЫ ДАННЫХ: по умолчанию существует база данных с именем default, используйте имя базы данных, к которой вы хотите подключиться.

  • ИМЯ ПОЛЬЗОВАТЕЛЯ и ПАРОЛЬ: по умолчанию имя пользователя равно default. Используйте имя пользователя, соответствующее вашему случаю.

Сведения о вашем ClickHouse Cloud-сервисе доступны в консоли ClickHouse Cloud. Выберите сервис, к которому вы будете подключаться, и нажмите Подключиться:

Выберите HTTPS, и детали доступны в примере команды curl.

Если вы используете самоуправляемый ClickHouse, детали подключения устанавливаются вашим администратором ClickHouse.

Настройте коннектор​

Перейдите в Connectors -> Add Connector и используйте следующие настройки (обратите внимание, что значения указаны только в качестве примера):

Укажите конечные точки подключения​

Вам нужно указать разрешенный список конечных точек, к которым может получить доступ коннектор. Необходимо использовать полное доменное имя (FQDN) при добавлении сетевых исходящих конечных точек. Пример: u57swl97we.eu-west-1.aws.clickhouse.com:8443

примечание

Необходимо указать порт HTTP(S). Коннектор пока не поддерживает нативный протокол.

Читать документацию.

Теперь всё готово к работе!

Известные ограничения​