查询最细粒度的人口统计数据集

能够获取广泛且详细的人口数据，对于任何希望与特定人群互动的组织来说，都可能带来巨大的价值。然而，仅仅拥有数据访问权限是不够的，还需要能够利用先进技术来探索和可视化这些数据。

作者：Matti Grotheer，创业爱好者，Kuwala 联合创始人。

有大量用例需要详细的人口数据。例如，详细的人口结构细分是预测房地产价格或寻找理想零售店位置的重要因素。此外，疫苗接种活动或农村电气化计划等人道主义项目也高度依赖良好的人口数据。

在这些用例中，要在全球范围内找到高质量且最新的数据非常具有挑战性。通常，人口普查数据每四年发布一次，这使得这些数据集很快就会过时。可以说，目前最好的人口密度和人口统计数据由 Facebook 在其 Data for Good 倡议下发布。他们将官方人口普查数据与内部数据相结合，并利用图像识别的机器学习算法来确定建筑物的位置和类型。

Facebook Data for Good 和 Kuwala（2021）。

使用这些不同来源，可以提供 1 角秒区块内人口群体的详细统计细分，分辨率约为 30 米。每个方格包含以下人口群体的统计值：

• 总数

• 女性

• 男性

• 岁以下儿童

• 岁青年

• 岁及以上老年人

• – 49 岁育龄女性

Facebook 为每个国家/地区提供每个人口群体的文件，格式为 GeoTIFF 或 CSV。CSV 包含单元格的纬度和经度以及相应的人口值。

这些文件按国家和关键指标存储在 1 角秒区块中。这会导致单个国家/地区产生数 GB 和数百万行数据。如果你想为单个城市制作原型或可视化数据，就需要浏览无穷无尽的文件并解析信息。

这就是为什么我们创建了一个开源包装器，通过包来暴露这些数据。你可以直接通过 CLI 下载整个国家/地区的数据。我们预处理数据，使其易于查询。为此，我们利用了 Uber 的 H3 空间索引的强大能力。

得益于 H3 索引，在数据库之上构建查询变得轻而易举。使用 H3 单元格或坐标对，你可以基于一个点、给定半径或多边形来检索人口数据。此外，例如在邮政编码级别上聚合人口数据也是直接了当的。

Uber H3 和 Kuwala（2021）。

数据集成遵循一个顺序过程。国家和人口特征的 CSV 文件由 Spark 自动加载并链接。数据高效地存储在一个 Parquet 文件中。然后，Parquet 文件被自动加载到 Neo4j 数据库（图数据库）。接着，使用 Cypher，可以针对特定多边形、给定半径的点以及使用 H3 的不同聚合进行查询。对于像德国这样的中等规模国家（约 7-8 GB），数据在本地处理时间不到 30 分钟，即可用于你的空间分析。

选择 Neo4j 作为数据库，是因为它能够直观地连接 Kuwala 生态系统的其他管道。在类似的过程中，来自 OpenStreetMap 的 POI 信息可以被加载，并直接与人口统计数据相关联。更多与地理相关的来源，如 Google Trends、基于位置的城市事件或社交媒体数据，将作为连接器跟进，使你能够对可比较的全球数据集进行快速且全面的查询。

为了快速进行数据探索和可视化，你可以直接创建与 Kepler.gl 或 Unfolded.ai 兼容的数据集，制作精美的地图。我们发布了一个马耳他的示例地图。高人口密度区域和城市中心一目了然。

通过现在可以直接查询 Facebook 的人口数据，创建预测模型或可视化变得快得多，因此数据团队可以将时间花在增值任务上。这也是我们正在为 Kuwala 的第三方数据集成构建开源社区的主要原因。所以，如果你想获得更多这样的连接器，请在 GitHub 上给我们加星，并加入我们的 Slack 社区。

但我们的开源项目不止于此。我们的宏大目标是促进对外部数据源的访问，确保数据质量，并帮助数据科学家快速开发可以纳入其建模的特征。例如，我们正在规划一个 Jupyter notebook，可用于快速操作和观察数据。敬请期待！

• 快速且高效分析大型复杂数据集的秘诀？

• 向你的大数据提出的 3 个关键数据科学问题

• 可视化如何改变探索性数据分析

转载声明：本文为转载整理，原文版权归原作者及原站点所有。

原文来源：KDnuggets

原创地址：https://www.kdnuggets.com/2021/08/querying-granular-demographic-dataset.html#comment-184824