老柯：是的，我们重点再说说数据的采集，交通数据来源繁多， a. 实时交通数据：车辆位置、速度、流量等，这些来源于传感器、监控摄像头、车辆GPS等设备； b. 历史交通数据：过去的交通状况、事故记录等，这些来源于政府数据源、交通管理部门等渠道； c. 天气数据：温度、湿度、降雨量、雪量等，这些来源于气象局或其他气象数据提供商； d. 社会经济数据：人口密度、就业率、产业分布等,这些来源于统计局或其他公开数据源； e. GIS地理信息数据：道路网络、交通设施、地形地貌、行政区划、公共交通设施等，这些来源于政府地理信息部门、卫星影像等。

老王：数据源居然这么多，确实是很复杂，刚才你没列到交通系统特征里，这能算是交通系统的特征吧，复杂的数据来源。

29. 机器学习城堡的建立

老柯：是的，我刚也说了交通系统特征的复杂性远不止这些。现在我们来看看那这些数据都存在我们的哪些城堡里，其实并不是一种类型的数据都只存在一个数据库城堡中，我们来一一分析。

先说实时交通数据，其中实时查询和处理交通数据存(如交通监控和管理)存在OLTP城堡中、支持实时数据处理和分析的数据放在HTAP中、其中存储具有时间序列特征的实时交通数据(如车辆流量随时间变化的趋势)则存入时序数据库城堡；接下来说历史交通数据，由于主要用于统计分析和报表生成，例如分析历史拥堵情况和事故原因，主要存于OLAP城堡；而天气数据具有明显的时间序列特征，更适合被存储在时序数据库城堡中；社会经济数据主要用于深入分析和挖掘，存储在OLAP数据库中；最后说说GIS地理数据，这个不说您也知道，肯定是存在GIS数据库城堡，不过也有部分数据可以存入图数据库城堡，将道路网络结构、交通流量关系等转换为图结构数据，用于路径规划和网络拓扑分析。根据我刚才描述的这些，我总结了一个表格，如下：

老王：老柯，你这么一梳理，我一下子清晰了。其实这些数据都来源于我们各个数据库城堡啊。你的意思是，我们要再建一个机器学习城堡来处理这些数据是吗？

老柯：是的，从当前发展情况来看，我觉得这是有必要的。

老王：那机器学习城堡是要抽取所有的城堡的数据，统一汇聚起来，进行机器学习分析是吗？

老柯：也不总是需要汇聚所有数据。 数据整合与处理在某些场景下是必要的，因为不同城堡的数据可以为问题提供更全面的视角。 但在某些情况下，也可能直接从一个城堡获取所需数据。例如，在交通流量预测场景中，我们可能需要整合历史交通数据、天气数据和社会经济数据等多方面信息。这是因为交通流量受到诸多因素影响，如时间（工作日/周末）、节假日、天气条件、人口密度等。整合这些因素有助于提高预测准确性。而在某些简单的场景中，如实时道路拥堵查询，用户可能只关心当前道路上的交通状况。此时，可以直接从OLTP城堡或者时序数据库城堡获取实时交通数据，无需进行数据整合。当然了，虽然城市交通问题是一个非常复杂的难题，但是我们机器学习城堡建立后，肯定不是只解决这个问题，是要利用这个能力，解决越来越多复杂场景的难题。

老王：这么多数据都已经汇聚到各个城堡中，这事让我很是开心，说明当初咱们的决定是正确的。你说的对，肯定不只是解决城市交通问题，还会有更多的挑战等着我们。努力，等机器学习城堡建成之日，我们开庆功宴。

很快，第七座城堡，机器学习城堡建成了！这个机器学习城堡外观如同机器人，除了大脑袋和身子外，它还有六个手臂，分别指向六个不同的方向。

未完待续...

七座城堡⑧ 困境与应对（上）

公众号：收获不止数据库

微信：ljbyxl1213

系列回顾

ITPub博客

七座城堡⑦机器学习【下】

最新文章