人类和仿真参与者的选择
为了模拟人类试验，我们进行了100次试验，每次试验均使用了Metropolis-within-Gibbs算法的10迭代从后验分布中取样。样本的可靠性参数和采样间隔也设置为1。尽管与静态奖励模型下的仿真参与者相比，动态奖励模型下的仿真参与者距离假设更远，但在模拟人类数据方面，在线推理方法似乎比静态奖励建模分析的效果更好。动态奖励模型下，有56名人类参与者和54名仿真参与者选择通过节点5（差异为3.4%），而静态奖励模型下，有64名仿真参与者选择通过节点5，（差异为18.5%）。
上面的柱状图将被选路径的第二个节点是节点5的人类和仿真参与者的比例可视化。黑色实线表示在给定空假设时的预期比例，黑色虚线表示第10和第90个百分位。
六、结论
人类似乎会自发地将环境处理成支持分层规划的状态簇问题，从而通过将问题分解为不同抽象级别的子问题，将该问题解决。人们往往是通过这样的分层方式来完成大大小小的任务，从规划一天的行程、组织一场婚礼到获得博士学位等，往往是“旗开得胜”，第一次尝试就顺利完成任务。
我们谈到，最优的层次结构不仅取决于图的结构，还取决于环境的可观察特征，比如奖励的分布。
我们建立了分层的贝叶斯模型来理解状态簇如何催生静态奖励，以及静态和动态奖励如何催生状态簇，并发现，就我们的模型如何近距离捕获人类行为而言，大多数结果都具有统计学意义。所有本文呈现的仿真及实验的数据、代码等文件都可以在GitHub的仓库中找到（链接：https://github.com/agnikumar/chunking）。希望本文所介绍的模型可以为将来研究支持分层规划基本认知能力的神经算法提供帮助。
参考链接：
[1] A. Kumar and S. Yagati, Reward Generalization and Reward-Based Hierarchy Discovery for Planning (2018), MIT
[2] A. Solway, C. Diuk, N. Córdova, D. Yee, A. Barto, Y. Niv, and M. Botvinick, Optimal behavioral hierarchy (2014), PLOS Computational Biology
[3] G. Miller, The magic number seven plus or minus two: Some limits on our capacity for processing information (1956), The Psychological Review
[4] G. Roberts and J. Rosenthal, Examples of Adaptive MCMC (2009), Journal of Computational and Graphical Statistics
[5] J. Balaguer, H. Spiers, D. Hassabis, and C. Summerfield, Neural mechanisms of hierarchical planning in a virtual subway network (2016), Neuron
[6] M. Tomov, S. Yagati, A. Kumar, W. Yang, and S. Gershman, Discovery of hierarchical representations for efficient planning (2020), PLOS Computational Biology
[7] R. Neal, Markov Chain Sampling Methods for Dirichlet Process Mixture Models (2000), Journal of Computational and Graphical Statistics
[8] R. Sutton and A. Barto, Reinforcement Learning: An Introduction (2018), The MIT Press
原文链接：
https://towardsdatascience.com/teaching-ai-to-learn-how-humans-plan-efficiently-1d031c8727b
声明：转载此文是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢。
来源： 人民日报客户端
