COVID-19 Open-Data

COVID-19 Open-Data пытается собрать крупнейшую эпидемиологическую базу данных Covid-19, а также мощный набор обширных ковариат. Она включает открытые, публично доступные, лицензированные данные, относящиеся к демографии, экономике, эпидемиологии, географии, здравоохранению, госпитализациям, мобильности, правительственным ответам, погоде и многому другому.

Подробности можно найти на GitHub здесь.

Вставить эти данные в ClickHouse легко...

примечание

Следующие команды были выполнены на Production экземпляре ClickHouse Cloud. Вы можете легко выполнить их и на локальной установке.

1. Давайте посмотрим, как выглядят данные:

CSV файл имеет 10 столбцов:

2. Теперь давайте посмотрим некоторые строки:

Обратите внимание, что функция url легко считывает данные из CSV файла:

3. Теперь мы создадим таблицу, зная, как выглядят данные:

4. Следующая команда вставляет весь набор данных в таблицу covid19:

5. Это происходит довольно быстро - давайте посмотрим, сколько строк было вставлено:

6. Давайте посмотрим, сколько случаев Covid-19 было зарегистрировано:

7. Вы заметите, что данные содержат много 0 по датам - либо выходные, либо дни, когда числа не были сообщены каждый день. Мы можем использовать оконную функцию, чтобы сгладить ежедневные средние значения новых случаев:

8. Этот запрос определяет последние значения для каждого региона. Мы не можем использовать max(date), потому что не все страны сообщали каждый день, поэтому мы берем последнюю строку, используя ROW_NUMBER:

9. Мы можем использовать lagInFrame, чтобы определить LAG новых случаев каждый день. В этом запросе мы фильтруем по региону US_DC:

Ответ выглядит следующим образом:

10. Этот запрос вычисляет процент изменения новых случаев каждый день и включает простой столбец increase или decrease в результирующий набор:

Результаты выглядят так:

примечание

Как упомянуто в репозитории GitHub, набор данных больше не обновляется с 15 сентября 2022 года.