在本文中，作者只对模型进行了训练。由于时间和性能的限制，作者只做了1000代的训练。但在未来，作者想把它推向至少5000代。
4.模型定义和训练过程
深度Q学习的过程核心是具有ReLU激活的双层密集/完全连接网络。它将128维特征映射作为输入状态，并为每个可能的动作输出4个Q值。具有最大预测Q值的动作是根据网络针对给定状态的策略所需采取的行动。
这是执行此代码的起点，但你必须确保FIFA在第二台显示器上以窗口模式运行，并且在技能中：射击菜单下加载了任意球练习模式。确保游戏控件与你在FIFA.py脚本中硬编码的密钥同步。
结果
虽然机器人尚未掌握所有不同类型的任意球，但它已经很好地学习了一些情况。它几乎可以在没有球员的情况下射进球门。然而，在面对少数情况时，它还会不断出错。不过这种情况发生的次数正在下降。
如上图所示，训练1000次后，平均进球率从30%提高到50%。这意味着目前的机器人在其所尝试的任意球中大约有一半得分(作为参考，一个人的平均得分在75%-80%之间)。的确，足球运动有太多不确定的因素，这使得学习变得非常困难。
结语
总的来说，作者认为即使没有达到人类的表现水准，结果也是相当令人满意的。从监督学习到强化学习有助于减轻收集训练数据的痛苦。如果有足够的时间去探索，它将表现得更好。然而，当遇到不熟悉的情况时，它并不能很好的应对。
这使作者相信，将其作为一个回归问题来表述，既不能外推，也不能作为监督学习中的分类问题。也许两者的结合可以解决这两种方法的弱点。也许这就是我们在为游戏构建人工智能的时候看到的最好的结果。
