-
编辑 删除
WWW2021：细粒度城市流量预测（附论文链接）
城市流量预测在智慧城市建设中扮演着非常重要的角色，有利于城市交通管理以及保障公共安全。京东城市时空AI团队针对该方向，已提出一系列研究成果[1-9]。然而，目前工作多是围绕粗粒度的预测任务，而面向城市精细化管理需求，需要提供更细粒度的精准流量预测。基于此，京东城市时空AI团队提出一种新型时空AI模型——时空关系网络来预测细粒度的城市流量。相比于传统粗粒度城市流量预测问题，细粒度城市流量预测有两大难...
-
编辑 删除
基于遥感影像及轨迹数据融合的地图自动化生成器
自动化的地图生成对于城市服务及基于位置服务非常重要，现有的工作研究主要利用遥感影像或可以充分反映地图路网情况的车辆轨迹数据生成地图，数据源较为单一，如果能将遥感影像数据及轨迹数据融合起来，地图生成的质量将进一步提高。本文介绍了复旦大学等机构在国际人工智能领域顶会AAAI’20 上发表的论文《DeepDualMapper: A Gated Fusion Network for Automatic M...
-
编辑 删除
WWW2021: AutoSTG面向时空图预测的神经网络结构搜索（附论文链接）
近年来，随着智能城市建设的大力推进，学术界和工业界开始出现大量关于城市时空数据分析与挖掘的研究工作。面向城市中不同时空预测任务（如交通流量预测、区域客流量预测等），京东智能城市时空AI团队也已提出一系列研究成果[1]。然而针对具体应用任务的神经网络设计需要丰富的领域知识和大量的实验验证，人力成本较高，无法高效支撑实际城市项目落地中复杂多样的时空应用。自动化网络结构搜索是针对深度模型网络设计提出的一...
-
编辑 删除
从轨迹中预训练情境时间感知的、用于用户位置预测的地点嵌入
对轨迹数据进行预训练地点嵌入能够用于用户下一个地点预测任务。现有的基于轨迹数据预训练的地点嵌入方法，将一个地点用单一的向量表达。然而在现实世界中，一个地点通常在不同的场景下扮演不同的功能。如果轨迹中的地点嵌入能够准确表达其功能，用户下一个地点预测的性能可以得到提升。本文介绍北京交通大学等机构在国际人工智能领域顶会AAAI’21上发表的论文《Pre-training Context and Time...
-
编辑 删除
如何加快城市路网中最短路径查询效率？
一、介绍最短路查询算法是图论中的经典算法，被广泛地应用在不同场景，例如计算机网络中的路由算法。在时空场景下，最短路算法更是支撑了很多应用，例如在路径规划和推荐中最短路是一种最直接的方案，而目前主流的基于隐马尔科夫模型的轨迹地图匹配算法也会产生大量的最短路查询 [1]。具体如图1所示，在计算相邻两个轨迹点之间可能的匹配路段时，地图匹配算法会首先做一个范围查询确定候选路段，为了计算候选路段之间的转移概...
-
编辑 删除
HBsae与时空索引技术杂谈
一、背景近年来智能城市建设在云计算和大数据技术的推动下，取得了飞跃式的发展，产生了海量可记录的数据，如文本、视频、传感器读数等。每年移动互联网接入流量消费超过711亿GB，其中，80%的数据都与时空相关。北京出租车三个月内产生了远超790万条轨迹数据，NASA卫星数据档案库已经超过500TB。迅速产生的时空数据，背后蕴藏着巨大的对智能城市发展有用的信息。如，根据交通轨迹来优化交通信号灯的时间、实时...
-
编辑 删除
WhereCOVID-19: 全球疫情数据时空可视分析
作者：王少华WhereCOVID-19是面向多尺度时空数据的可视化并预测COVID-19分布特征，同时提供在线空间决策支持系统，可用于识别有风险的人群以指导有针对性的医疗保健干预措施。该平台是UIUC CyberGIS Center与流行病学研究人员以及公共卫生部门合作开发的开放式软件平台，目的在于提供一站式地理空间数据和分析系统，以支持前沿研究和及时决策。WhereCOVID-19 项目是美国伊...
-
编辑 删除
Spark任务中空间数据的序列化
一、引言Spark是目前主流的分布式计算框架，通过利用内存存储中间计算结果的方式，优化了MapReduce框架并不擅长的迭代式计算。同时，Spark使用有向无环图（Directed Acyclic Graph，DAG）统筹和优化整个计算流程。另外，Spark基于弹性分布式数据集RDD（Resilient Distributed Datasets）提供了丰富的数据分析算子，大大简化了分布式计算应用的...
-
编辑 删除
ICDE 2021: 针对具有噪音和低采样率轨迹的时空相似算法(附论文链接)
随着定位技术的发展以及IOT设备的普及，大量的轨迹数据可以被采集分析。轨迹数据一般被表示成位置与其采集时间的序列。了解轨迹之间的相似度，有非常多的应用，例如：密切接触者追踪，伴侣检测，个性化推荐等。然而，实际应用中，轨迹中的位置信息往往是有噪声的；同时，不同轨迹的采样率有所不同，在某些场景中，轨迹的采样率甚至可能很低。这都为轨迹相似度的比较带来很大的挑战。本文将介绍香港科技大学、台湾交通大学、台湾...
-
编辑 删除
JUST技术：轨迹生成算法的基础做法-序列到序列模型
位置数据，是选址、商铺推荐、广告位投放等业务的重要基础。是否可以在保护原始数据不被泄露的情况下，达到相近的业务效果？一种解决思路就是通过真实轨迹学习城市人群的出行分布来生成轨迹。生成轨迹可以代替包含用户隐私信息的真实轨迹，来达到相近数据分析、上层业务建设的效果，且避免原始位置信息外泄。更多关于轨迹生成算法在智慧城市中的应用场景，在笔者往期文章中有讨论。JUST技术：利用迁移学习生成新城市的轨迹JU...
-
编辑 删除
JUST技术：分布式一致性协议概念及Raft协议简介
分布式系统通常由异步网络连接的多个节点构成，每个节点的计算和存储相互独立。分布式一致性指多个节点对某一变量的取值达成一致，一旦达成一致，则变量的本次取值被确定。本文将简单介绍一致性的一些基本概念，以及分布式一致性协议Raft。一、基本概念1.1 副本与数据一致性在分布式系统中，为了保证数据的高可用性，通常会维持数据的多个副本（Replica），这些副本往往会放置在不同的物理机器上。然而，在数据有多...
-
编辑 删除
JUST技术：基于注意力机制恢复细粒度轨迹
随着基于位置服务的大量增长，越来越多的移动数据可以被分析挖掘，以更好地服务人们的生活。然而，与来自出租车等运输系统类的高采样率轨迹数据相比，用户地理服务数据具有严重稀疏性问题，是因为用户不会一直访问移动数据并贡献自己的位置信息（例如微博地址分享，大众点评签到等数据），而数据稀疏性问题不可避免的削弱了其实用价值。如何解决用户移动数据稀疏性，是一个非常具有挑战的问题。本文将介绍清华大学发表在AAAI ...
-
编辑 删除
JUST技术：探查城市中的异常事件
城市在正常运行的过程中，也伴随着一些异常事件的发生，例如某一路段突发的交通拥堵，这些异常事件往往会对我们带来负面影响。2014年12月31日，30多万人涌入上海外滩观看除夕灯光秀，人群的数量远远超出了组织者的预期。过度拥挤导致了一场悲惨的踩踏事件（图1），最终造成36人死亡，49人受伤。图1 2014年外滩踩踏事件对城市中异常事件的及时感知甚至提前预测，能够帮助政府或是相关机构及时应对突发异常，将...
-
编辑 删除
JUST技术：面向时空数据场景的SQL优化器
一、背景介绍随着智能城市建设的不断升温，海量的时空数据也基于现代的智能设备和卫星定位系统不断产生。在这个过程当中，因为传统的技术无法解决海量时空数据的管理问题，所以出现了很多新技术和新方法，Geomesa就是针对时空场景的开源数据引擎的优秀代表。Geomesa在时空数据方面，一方面完全兼容了OGC规范，可以对时空数据进行非常方便的操作，另一方面它能够基于分布式大数据组件来对时空数据进行存储和查询，...
-
编辑 删除
JUST技术：从GPS数据中挖掘用户行为习惯
智能设备（如智能手机、互联可穿戴设备）的使用呈指数级的增长。据统计，80％的互联网用户拥有智能手机[1]，而移动应用程序的使用每年以6％的速度增长，这创造了大量的信息，并带来了大量的研究和商业机会，如智能城市建设、个性化推荐系统等。根据MIT 的技术研究[2]，从手机中收集的GPS位置信息可以洞察出用户的行为习惯，那么我们如何利用这些GPS位置信息去挖掘出用户个体和群体的行为和习惯呢？本文将介绍在...
-
编辑 删除
京东城市时空数据引擎JUST 斩获“2020年度AI生产力创新奖”
近日，由智一科技产业媒体矩阵智东西、车东西、芯东西联手发起的2020年度AI生产力创新奖评选结果揭晓，京东科技集团“智能城市操作系统”时空大数据引擎JUST（JD Urban Spatio-Temporal Data Engine）因在IOT与智慧城市领域的应用成果，斩获“2020年度AI生产力创新奖”。作为智一科技旗下产业媒体矩阵发起的面向中国AI及先进技术产业落地的年度奖项，AI生产力创新奖旨...
-
编辑 删除
GitLab CI出现错误：Could not resolve host: xxxx
背景：自己在VMware上Ubuntu里搭了一个CI服务器，连接公司的git。不知什么情况，突然报了以下错误：但是我在宿主机上ping我的域名，能够ping通：网上说可能是系统更新的问题，设置了代理，实际情况中，我没有设置任何代理，每次更新，系统我也没有让其更新。执行下列的语句，仍然无效：git config --global --unset http.proxy原因分析：因为我的CI采用的是do...
-
编辑 删除
时空AI技术：深度强化学习在智能城市领域应用介绍
深度强化学习是近年来热起来的一项技术。深度强化学习的控制与决策流程必须包含状态，动作，奖励是三要素。在建模过程中，智能体根据环境的当前状态信息输出动作作用于环境，然后接收到下一时刻状态信息和奖励。以众所周知的AlphaGo为例，盘面就是当前的状态，动作就是下一步往哪里落子，奖励就是最终的输赢。整个强化学习过程就是不断与环境交互，在交互的过程中产生数据，并利用这些交互产生的数据来学习的过程。正是在深...
-
编辑 删除
JUST技术：管理海量空间数据的利器-空间填充曲线
现实世界中存在大量的多维空间数据，如加油站位置、河流走向等。为了高效存储和管理海量的空间数据，很多基于Key-Value存储的空间数据库，如开源的空间插件GeoMesa[1]、京东城市自研的时空数据引擎JUST[2]，都使用了空间填充曲线技术。它们能够将多维空间数据转换到一维空间上，并通过转换后的一维空间索引值存储和查询多维数据，因此能够在Key-Value数据库中存储管理海量的时空数据。本文详细...
-
编辑 删除
JUST技术：提升基于GPS轨迹的路网推测精确度
路网数据对于城市中的很多应用，比如车载导航和线路优化等，都非常重要。传统的道路数据采集方法依赖于采集车，消耗大量的人力物力。随着GPS设备的普及，海量轨迹数据在城市里产生，使我们能够用轨迹数据去生成路网。这个问题在近十年中已经有了广泛的研究，但是其中很多方法的精确度（precision）并不高，特别是上下道路，平行道路等地方。由于轨迹数据在城市内并不是均匀分布的，对于那些车辆频繁通行的地方，我们有...
