江门声测管厂 机器学习应用中很重要的一步是如何进行状态表达。我们提出一种新的基于对状态空间不同大小的重叠划分的embedding网络结构。可以促进训练中的知识转移，帮助网络学习多层次的抽象特征，同时能解决训练数据分布稀疏不均的问题。例如人学习人工智能，我们会对人工智能领域进行不同的划分比如强化学习、监督学习，或者图像识别，自然语言处理，推荐系统，或者优化，统计，控制，具体的应用相当于训练数据，会同时***其中多个分类，比如派单应用会*** (activate) 强化学习，推荐系统，优化控制等。通过解决不同应用，我们学习掌握到不同类别的知识 (高层次的抽象概念)。当拿到一个新的应用，我们可以很快将这个应用映射到我们掌握的类别上，并利用我们对这些类别的知识来快速地求解这个新的应用，这也就是我们常说的泛化 (generalization) 能力。同样地，我们提出的这个新的网络结构能够提升泛化，形成更丰富的状态表达。

具体在派单中，比如对地理位置的表达，我们使用了大小不同的六边形格子系统对地理空间进行划分，这样具体的地点的状态相当于包含这个地点的多个大小不同的格子对应embedding向量的加总表示。这样学习可以达到两个作用，一是帮助网络学习比经纬度更抽象的概念比如街道，小区，城市等；其次是针对不同区域比如市中心或者郊区网络能自适应学习结合不同分割精度来获得更准确的状态表达。

Lipschitz正则化 (regularization)

在训练中我们提出一种新的结合了Lipschitz正则化的策略估计方法，通过直接控制Lipschitz常量来学习得到一个更光滑的价值函数。价值函数光滑程度的重要性主要体现在增强状态输入之间关联性以及提高非线性价值迭代的收敛性两方面。如下图所示，***跟蓝色分别代表使用了和没有使用Lipschitz正则化的***网络。一开始两个网络的输入分布几乎重合，在对网络参数加入了相等大小的噪声后，蓝色分布发生了剧烈变化，而***分布则体现了对噪声的鲁棒性。