机器学习科学家李建:时空大数据,你听说过吗?互联网+
时空大数据的特点时空大数据的特点既有时间的属性也有空间的属性,发的这个订单数据就有当时的时间和空间,但是现在深度学习在时空大数据中自动挖掘特征还没有一个非常好的模式。
雷锋网AI科技评论按:6月24日下午,钛媒体和杉数科技主办的2017 AI 大师论坛在京举行,论坛邀请了五位算法优化、机器学习领域的顶尖教授、学者出席并发表学术演讲,雷锋网记者也对论坛进行了跟踪报道。本篇内容根据机器学习领域专家李建的论坛分享实录整理
雷锋网AI科技评论按:6月24日下午,钛媒体和杉数科技主办的2017 AI 大师论坛在京举行,论坛邀请了五位算法优化、机器学习领域的顶尖教授、学者出席并发表学术演讲,雷锋网记者也对论坛进行了跟踪报道。本篇内容根据机器学习领域专家李建的论坛分享实录整理而成。
李建,清华大学交叉信息研究院助理教授、杉树科技科学家,美国马里兰大学博士、国内机器学习领域最顶尖的前沿科学家之一,国际学术会议VLDB 2009和ESA 2010最佳论文奖获得者,清华211基础研究青年人才支持计划以及教育部新世纪人才支持计划青年学者,主要研究方向为算法设计与分析、机器学习与深度学习、随机优化与组合优化等。
清华大学交叉信息研究院:该院于2011年成立,由姚期智院士建立,姚其智院士是我国唯一的图灵奖获得者(图灵奖是计算机科学最高奖)。他在2005年从普林斯顿大学辞去职位,回国全职到清华创立姚班,也就是交叉信息研究院的本科生班,也被称为清华大学计算机科学实验班。
以下为李建在论坛的分享实录,雷锋网(公众号:雷锋网)做了不改动愿意的编辑整理:
什么是时空大数据时空大数据,顾名思义,也全都是大数据,有时间的属性和空间的属性两个维度。比如说,GPS数据,首先有定位点,定位点就是空间的属性,进入的时间就是时间的属性。还有网约车的订单数据,发的这个订单数据就有当时的时间和空间,也是时空大数据典型的例子。
另外库存管理产生的数据页是时空大数据,杉数科技主要的一个业务就是供应链,用来做库存管理。其中包含很多步骤,在线的电商数据,社交网络的数据,也都是典型的时空大数据。
金融数据在某种意义上也是时空大数据。首先有时间的属性,时间序列,另外比如说不同的板块,不同的类型,不同的行业,有不同的空间属性,也是比较典型的时空大数据。
时空大数据的特点时空大数据的特点既有时间的属性也有空间的属性,就像谈到深度学习,经常谈到比如说图像识别,其中很重要一点就是识别图象的空间属性。如果大家对深度学习有一点了解,做图像识别是需要用CNN(卷积神经网络)的,主要挖掘的就是空间的多变性,所以时空大数据是跟图像识别有共通的。在时间上,还有一个时间的属性,RNN,也就是递推神经网络处理序列的数据,这些时空大数据也包含。同时包含时间和空间的这两个属性,就对时空大数据提出很多新的挑战。
同时,另一个时空大数据的特点是有很多类型的数据。要解决一个问题要用到方方面面的信息,比如说预测网约车订单供需量的应用,数据的类型就包含很多种,像GPS,订单的数据,天气的数据还有附近的路况数据,可以用的数据非常多种。这跟原来深度学习所处理的问题不一样,做图像识别只需要图像就够了,要做语音识别,只需要语音就够了,而时空大数据要有各种各样的数据,这些数据都是不同质的,需要组合起来,然后来进行学习和预测。
李建认为目前深度学习在比如说图像识别、语音识别这些领域,都可以说比较成功,也有很成功的商业化模式,但深度学习在时空大数据方面的研究,只是刚刚起步还没有非常成熟的一套方法论。他刚好研究这个方向就做了一系列的工作,相当于是一个初步的尝试,而且也应用到了企业级的应用项目上。其中包含和杉数的一些合作项目。
他认为将深度学习应用在时空大数据的分析上有非常广阔的前景。
基于深度学习的网约车订单预测。网约车订单的问题,是要解决什么样的问题呢?首先想做的事情是预测未来比如说15分钟或者半个小时,在一个指定的区域内会有多少网约车订单。也就是说,你用滴滴发一个订单,这是一个预测目标,有多少的订单,就相当于是我们的需求。另外一个想预测的就是有多少需求不会满足,对滴滴来说也是一个很重要的应用,如果在一个地区预计将来比如说半个小时有很多的订单不会满足的话,就可能会事先派一些车到这个区域或者说经过这个区域,另外还会动态的调价,这对他们预测问题是非常重要的课题。
这个问题的难点就像刚才讲的是时空大数据典型的应用,各种各样的数据页都可以应用在里面,比如说GPS的数据、天气、路况都非常有影响。可以看这个图,红色代表这个地方的需求量特别大,绿色代表需求量不是很大,可以看到不同区域的需求量是非常不一样的。随着时间的变化,它的需求也是非常不一样的,比如上图随着时间从00点到20点,可以看到上班的时候有一个明显的高峰,下班的时候也有明显的高峰,这显然是一个工作的区域。另一个区域就不一样,是一个居民区,下班的时候才会有比较好的高峰。随着时间的变化,周一周二周三周四节假日对这个图也都会有非常大的影响。
如何用深度学习解决这个问题,传统的学习方法是把很多数据源的不同数据挖掘出它们的特征,需要不同的组合、创造力或者说特殊的方法对这些数据挖掘,然后做一些统计量把它们拼到一起放在机器模型里。这个过程通常是要花很多很多的时间,精力和人员的。
现在的想法就是利用深度学习自动的从不同的数据里面挖掘特征。因为深度学习有一个自动的特征挖掘能力。但是现在深度学习在时空大数据中自动挖掘特征还没有一个非常好的模式,我们希望做一个深度学习这样的一个框架,能够从各种不同的数据源挖掘特征,把这些特征组合在一起,然后有这样的一个框架来进行预测。
这是经过一段时间探索得到的深度学习框架,这里面有很多的细节我都没有刻画,但是大致的思想是这样的。首先它是一个弯道模型,经过简单的处理,就可以输入到网络里,而且这个网络可以容纳不同类型的数据,比如说订单数据,天气数据,交通数据。从这个数据里面抓取有用的信息来帮助预测,这是预测的输出。处理每个不同的数据需要不同的网络板块和节奏,简单的说就叫ID模块,想预测不同的区域,这个区域就有一个ID,area ID,把它输入进去,然后想预测什么时间,把时间的ID输进去,然后哪个周,把周输入进去。一般神经网络是处理连续性的数据,不擅于处理离散性数据,这就需要嵌入这样的技术,把离散的变成连续性的,然后再输入下一步神经网络里。
另外构造模块的处理,订单的数据,是复杂的模块,因为订单首先数量非常非常的大。每个订单包含的属性非常多,但是这里面是受到传统的时间序列模型启发。比如说时间序列,如果时间序列模型做一下插分会有更好的预测,在神经网络就有这样的思想,预测经过插分的序列,然后把订单数据整合起来。
1.TMT观察网遵循行业规范,任何转载的稿件都会明确标注作者和来源;
2.TMT观察网的原创文章,请转载时务必注明文章作者和"来源:TMT观察网",不尊重原创的行为TMT观察网或将追究责任;
3.作者投稿可能会经TMT观察网编辑修改或补充。

