Перейти к основному содержимому
Перейти к основному содержимому

Исторические метеоданные Тайваня

Этот набор данных содержит исторические метеорологические наблюдения за последние 128 лет. Каждая строка представляет собой измерение для определенной даты и метеорологической станции.

Происхождение этого набора данных доступно здесь, а список номеров метеорологических станций можно найти здесь.

Источники метеорологических наборов данных включают метеорологические станции, созданные Центральной метеорологической администрацией (код станции начинается с C0, C1 и 4), а также агрометеорологические станции, принадлежащие Совету сельского хозяйства (код станции отличается от упомянутых выше):

  • StationId
  • MeasuredDate, время наблюдения
  • StnPres, атмосферное давление на станции
  • SeaPres, давление на уровне моря
  • Td, температура точки росы
  • RH, относительная влажность
  • Другие элементы, если доступны

Загрузка данных​

Предварительно обработанные данные​

Набор данных также был переструктурирован с одной строки на измерение на идентификатор метеорологической станции и измеренную дату, т.е.

Легко выполнять запросы и убедиться, что результирующая таблица менее разреженная и некоторые элементы являются null, поскольку они недоступны для измерения на этой метеорологической станции.

Этот набор данных доступен по следующему адресу Google CloudStorage. Вы можете либо скачать набор данных на свою локальную файловую систему (и вставить его с помощью клиента ClickHouse), либо вставить его непосредственно в ClickHouse (см. Вставка по URL).

Чтобы скачать:

Оригинальные необработанные данные​

Следующие детали касаются шагов по загрузке оригинальных необработанных данных для преобразования и конвертации по вашему желанию.

Загрузка​

Чтобы загрузить оригинальные необработанные данные:

Получить метеорологические станции Тайваня​

Создание схемы таблицы​

Создайте таблицу MergeTree в ClickHouse (из клиента ClickHouse).

Вставка в ClickHouse​

Вставка из локального файла​

Данные можно вставить из локального файла следующим образом (из клиента ClickHouse):

где /path/to представляет собой конкретный путь пользователя к локальному файлу на диске.

Пример ответа после вставки данных в ClickHouse будет следующим:

Вставка по URL​

Чтобы узнать, как ускорить это, пожалуйста, просмотрите наш блог-пост о настройке больших загрузок данных.

Проверка строк и размеров данных​

  1. Давайте посмотрим, сколько строк было вставлено:
  1. Давайте посмотрим, сколько дискового пространства используется для этой таблицы:

Примеры запросов​

Q1: Получить максимальную температуру точки росы для каждой метеорологической станции в определенном году​

Q2: Получение необработанных данных с определенным диапазоном по времени, полями и метеорологической станцией​

Благодарности​

Мы хотели бы поблагодарить Центральную метеорологическую администрацию и Сеть агрометеорологических наблюдений (Станция) Совета сельского хозяйства за подготовку, очистку и распределение этого набора данных. Мы ценим ваши усилия.

Ou, J.-H., Kuo, C.-H., Wu, Y.-F., Lin, G.-C., Lee, M.-H., Chen, R.-K., Chou, H.-P., Wu, H.-Y., Chu, S.-C., Lai, Q.-J., Tsai, Y.-C., Lin, C.-C., Kuo, C.-C., Liao, C.-T., Chen, Y.-N., Chu, Y.-W., Chen, C.-Y., 2023. Приложения-ориентированная модель глубокого обучения для раннего предупреждения о поражении риса на Тайване. Ecological Informatics 73, 101950. https://doi.org/10.1016/j.ecoinf.2022.101950 [13/12/2022]