雷锋网 AI 科技评论按：想必大家都对前段时间火遍学术圈的 BiCNet 并不陌生，这个 UCL 与阿里巴巴合作的多智能双向协作网络，可在星际争霸中研究多智能体间的协作学习。在今年由中国计算机学会（CCF）主办，雷锋网（公众号：雷锋网）与香港中文大学（深圳

　　雷锋网 AI 科技评论按：想必大家都对前段时间火遍学术圈的 BiCNet 并不陌生，这个 UCL 与阿里巴巴合作的多智能双向协作网络，可在星际争霸中研究多智能体间的协作学习。在今年由中国计算机学会（CCF）主办，雷锋网（公众号：雷锋网）与香港中文大学（深圳）承办的第二届CCF-GAIR全球人工智能与机器人(行情300024,诊股)峰会上，我们荣幸地邀请到了伦敦大学学院（UCL）计算机系教授汪军博士做了主题演讲。

　　汪军教授在题为《A Society of AI Agents》的演讲中，从多智体群体的特征切入，介绍了多智体的强化学习特性。具体表现为：在同一环境下，不同的智体既可以单独处理各自的任务，又可以联合在一起处理优化一个主要的目标方程，而且会根据具体的情况会有不同的变化。此外，汪军教授还以多个例子阐述了强化学习与环境的关系。

　　演讲全文：UCL计算机系教授汪军：如何进行大规模多智体强化学习？| CCF-GAIR 2017

　　汪军教授告诉雷锋网 AI 科技评论，实际上他此前准备的是《Artificial Collective Intelligence》的演讲主题，但近期因为在多智能体领域有了一些新的研究和尝试，因此他在 CCF-GAIR 大会的演讲中所引用的两篇论文也是第一次在公开场合露面。其实他在演讲中想讲的东西还有很多，因此在演讲之后，雷锋网 AI 科技评论与汪军进行了一次对话，雷锋网整理如下：

　　目前学界少有人在多智能体上进行深度学习方法的研究，这是因为大家目前还只关注单个智能体的作用，还是说这个议题本身就非常难？

　　其实多智能体是一个研究领域，也有自成一体的会议，研究的人也很多。但目前将多智能体结合强化学习，特别是深度强化学习，目前还是比较新的一个话题。

　　首先，研究者要解决只有一个智能体的问题，比如说象棋、围棋，等这个问题解决之后，可能就会接着用深度学习去处理更多的智能体。你可以看到，这有一个自然的脉络在其中。所以今年就特别明显，有很多多智能体的问题采用了深度学习的方法去解决，包括 UC 伯克利的一个研究室，做了一个理解语言的研究。在一个给定的场景下，研究者让多智能体们自己去通讯、去交流，但不告诉彼此交流的内容，最终发现慢慢地，语言就有可能在其中产生。因此这个也非常有意思。

　　我们团队可能是从另一个角度出发，想象这些场景在生物学上有没有什么规律，比如有可能会出现 Leader，那么我们可以在这个过程中理解领袖是如何产生的，是不是有些智能体自己就会成为领袖。我们现在所理解的内容就是所谓的「grouping」，也就是在给定一些特定条件下，可能就会认为这些多智能体可以成为一个团队，这与人类最早最原始的状态其实是一样的。最早的时候人需要捕猎，出于安全的考虑可能会组成一个团队。所以我们通过深度学习的方式，可以学习到以前完全学习不到的东西，甚至对人类学可以了解。

　　更进一步地，我们是不是可以学习宗教是如何产生的？宗教到底是什么，因为每个人都可能是自私的，或者每个人都有自己的利益，如果有一个宗教把这些人约束起来，可能这个集团的利益可能会最大化。当然，我现在所说的只是一个假设，现在还没有人去研究这个，我们所做的研究也只是第一步。

　　您在演讲中也提到，目前很少有人研究超过 20 个智能体的协作，但您也提到了比如说像滴滴的调度问题，还有共享单车的问题。实际上 MSRA 的城市计算，或是滴滴研究院的调度系统都有类似的交通系统研究，但它是属于一个系统调动所有的个体，那么将行为个体作为智能体的意义在什么地方？

　　在多智能体的情况下，你有两种设置情况，一种情况是让每个人之间只优化自己的利益，利益之间虽然可能会有些联系，但是每次做决定的时候，双方不需要知道对方所做的决定。

　　还有一种是协作关系，在做决定之前需要相互获取一些信息，最后联合起来做一个决定。这两个情况是不一样的，如果你把它放到一个最特殊的情况，就像你刚才讲的，我有一个大系统，我把所有的多智能体全部一起优化，这时候呢这个多智能体其实就转化成了单智能体，你可以把它当作一个智能体，只不过它的这个输出太多了，每个都要输出一个结果。但这个计算量太大，可能有一百万个，如果每个都要去权衡决策的话，这是不现实的。所以一般来说会选择一种完全独立的，或者中间有双向通讯的方式。

　　那这样是不是也涉及到一个博弈问题？

　　对，博弈有两种，一个是啊就是我们所谓的零和博弈，就像下棋一样，你赢了我就输了，它是一个互相博弈的情况。那么还有一些协作的关系，比如我们俩的目标是一样的，那么会涉及到双方的贡献程度。

　　那么您在演讲中所说的生态系统的例子，其实是希望找到背后的一些生态学规律？这些理论性的内容能够如何被应用呢？

　　其实有两个层面。第一个是，我们想从科学上面理解它背后的规律，要满足我们的好奇心。比如说人工智能体在做出一个群体以后，是不是跟大自然的表现情况是一样的，如果不一样，有什么差别？如果一样，为什么？我们完全不会考虑它可能会有什么（应）用，主要还是满足我们的好奇心。

　　我们当时做环境动态变化研究的出发点在于，在玩游戏的时候，比如说玩王者荣耀，如果你玩游戏的水平比较弱，如果对手设计得太强了，你玩一下就觉得没意思了；如果你的水平很强，但这个游戏对手的难度又很弱，你玩着也没有意思。因此游戏难度的设计，本身也就是优化这个游戏本身的一个过程。

　　但游戏还是在一个虚拟环境下设计的，那么在实际情况和实际应用里，如何进行各种指标的量化？

　　主要有两点，一个是在有些情况下你可以自己设定，那么进行试错就可以了。如果是理论性更加的话，还有一种叫「Inverse Reinforce Learning」的方法，就是说反过来玩，我们有一些最优化的策略作为训练集，然后把它放回强化学习系统里去学习 reward ，然后用获得的 reward 再去解决新问题。

　　其实我看您的近期研究内容与 GAN 的联系非常紧密，包括 SeqGAN、IRGAN 等。你觉得目前 GAN 是一个比较有效的方法吗？还是说，与 GAN 的结合会是未来的一个趋势？

　　我们的 SeqGAN 出来之后，现在是目前唯一一个可以用在离散数据上的有效方法，所以今年你会看到有很多论文用 SeqGAN 去解决文本问题，所以我们那个文章的引用就变得非常高。

　　有研究者采用的是另外一个方法，那个方法理论很好，但是实际数据的表现还不是太好。所以我们现在也在尝试，是不是要在一些标准的数据集上再好好地把效果提上去。

　　那如果引申到您非常擅长的推荐系统与计算化广告领域，您觉得应该如何用深度学习结合起来？