关键字: [亚马逊云科技， ResinABA， 自闭症儿童康复训练， 思维链强化学习， 训练方案调整模型， 历史康复记录融合， 模型大小性能平衡]

导读

在这个演讲中，演讲者介绍了一种基于思维链强化学习的自闭症儿童康复训练方案调整模型。该模型利用自闭症儿童的历史康复训练记录，通过结构化的数据融合到提示词中，并使用大型语言模型(如DeepSig 14B)进行微调和强化学习，从而预测下一步的干预策略和难度等级。实验结果显示，该模型在干预策略准确度、难度等级准确度和实际接受程度方面都取得了良好的效果，已被客户投入实际使用。演讲者还探讨了思维链长度、历史记录长度等因素对模型性能的影响，并总结了该模型的最佳实践。

演讲精华

以下是小编为您整理的本次演讲的精华。

在这个视频中，研究人员详细介绍了一种基于思维链强化学习的自闭症儿童康复训练方案调整模型的开发过程和实验结果。让我们一步步来理解和总结这个过程。

首先，研究人员从客户那里获取了约1万条高质量的ABA康复训练记录，其中包含自闭症儿童在康复治疗过程中的训练情况。他们将300条记录用作测试数据，剩余的9，700条记录用作训练数据。每条数据中都融合了一个治疗方案调整规则，作为模型的人设和任务目标。数据包含了自闭症儿童的基本信息(经过匿名处理)、过去的康复训练表现、上一次的干预策略和难度等级，以及调整后的干预策略和难度等级。调整后的干预策略和难度等级就是需要学习和预测的目标，研究人员使用调整后策略的准确率和召回率来评估模型的效果。

接下来，视频展示了实验结果。首先从整体上看，加入COT(Chain of Thought，思维链)数据后，所有模型的准确率都有明显提高。例如，在不加入COT数据时，14B参数的DiffSilk模型准确率为52%，而加入COT数据后准确率提升到59%。这表明DPSIC类型的模型对于复杂语言结构的理解能力更强。其次，更大的模型尺寸带来了更高的准确率，但也增加了推理时间和资源消耗。例如，32B参数的DPC模型在加入COT数据后准确率高达64.3%，明显优于7B模型的56%，但推理时间从14.5秒增加到41.3秒。因此，研究人员最终推荐使用DPC 14B模型，在部署和延迟方面达到了较好的平衡。

第三，融合更长的历史康复记录能够提高模型的准确率。无论是否加入COT数据，更长的历史记录都能带来准确率的稳定上升。在加入COT数据的情况下，准确率从单条记录的59%大幅提升到十条记录时的69.3%，准确率能够达到将近70%。这表明模型能够从更长的历史记录中学习到儿童的学习能力变化趋势，从而做出更好的预测。同时，研究人员设计了一种结构化的启示词，将关键数据表现融合成数据点，从而避免了增加历史数据导致token长度显著增加的问题。增加一条历史数据大约只增加80个token，这是完全可以接受的。

第四，在监督微调后，研究人员进一步进行了GRPO(Guided Reinforcement Policy Optimization，指导强化策略优化)强化学习，以提高模型的策略准确率。以DeepSig 14B模型为例，策略准确率从69.3%进一步提升到72.7%，召回率也从80.2%提升到81.4%。由于研究人员没有针对难度等级设计reward function，因此难度等级准确率保持不变，并没有出现下降的趋势。这样，研究人员很好地对策略准确率进行了进一步提升。

最后，研究人员探讨了思维链长度对督导老师接受程度的影响。实验表明，500个token左右的COT解释对督导老师来说是完全够用的，而1，000个token的输出反而会适得其反。在500个token的输出长度时，整体接受程度达到94.9%，被拒绝的只占到了6.6%。也就是说，在所有的答案里面，只有6%的答案督导老师认为是不合理的，这些答案不会被接受，而剩下的94%的答案都会被接受。这表明研究人员在可解释性和输出长度之间达到了一个很好的平衡。

研究人员在实验中使用了多种亚马逊云科技服务和特性。他们使用了Claude 3.7模型来推理思维过程，并利用了该模型的token budget控制功能，可以约束输出结果中sinking budget占用的token数量，从而控制输出的COT数据长度。研究人员还使用了7B和14B参数量的模型，并将生成的COT数据蒸馏到这些模型中。在模型选择方面，研究人员评估了不同基座模型，如DiffSilk、DPC(DeepSig)等，并最终推荐使用DPC 14B模型，因为它在准确率和推理效率之间达到了较好的平衡。

总的来说，研究人员提出了一个最佳实践流程，涉及多种亚马逊云科技服务和功能:使用Claude 3.7模型生成512个token的COT数据;将COT数据蒸馏到7B或14B参数的模型中;在数据中拼接10次康复记录的历史表现;选择DPC 14B模型作为基座模型进行微调。最终，该模型在干预策略准确度达到72.7%，难度等级准确度达到94.7%，实际线上接受程度达到93.4%，客户对这一效果非常满意，并已真正投入线上使用。

通过这一系列的实验探索，研究人员成功开发出了一种基于思维链强化学习的自闭症儿童康复训练方案调整模型。该模型能够从自闭症儿童的历史康复记录中学习其学习能力的变化趋势，并根据当前的干预策略和难度等级，预测出调整后的最佳干预策略和难度等级。模型不仅在准确性方面取得了优异的成绩，而且在推理效率和可解释性方面也达到了一个很好的平衡，完全满足了实际应用的需求。这一成果为自闭症儿童的康复训练提供了有力的技术支持，必将为改善自闭症儿童的康复效果做出重要贡献。

下面是一些演讲现场的精彩瞬间：

实验结果显示，500个token左右的COT解释对督导老师来说是完全够用的，接受度高达93.4%，只有6.6%的答案被认为不合理。

通过实验观测，将孩子过去10次康复记录的表现融入prompt，使用DFC 14B基座模型能够平衡准确率和推理效率，取得最佳效果。

总结

在自闭症儿童康复训练中，调整干预策略和难度等级是一项关键挑战。本研究旨在开发一种基于思维链强化学习的模型，以优化康复训练方案的调整。研究人员收集了10，000条高质量的ABA康复训练记录，其中包含儿童的基本信息、过去训练表现、上次干预策略和难度等级，以及调整后的策略和难度等级。

首先，研究人员探索了不同模型基座、模型大小以及是否引入思维链数据对模型性能的影响。结果表明，引入思维链数据能显著提高模型的准确率、召回率和难度等级准确率。此外，更大的模型尺寸带来更好的性能，但也增加了推理时间和资源消耗。最终，研究人员推荐使用DeepSig 14B模型，能够在性能和效率之间达到较好的平衡。

其次，研究人员发现融入更长的历史康复记录能够提高模型对儿童学习能力变化趋势的理解，从而做出更准确的预测。同时，通过结构化的启示词设计，增加历史记录不会显著增加token长度。

第三，在监督微调后，研究人员进一步采用GRPO强化学习，将DeepSig 14B模型的干预策略准确率从69.3%提升至72.7%，召回率从80.2%提升至81.4%。

最后，研究人员探讨了思维链长度对督导老师接受程度的影响，发现500个token左右的解释被广泛接受，而1，000个token的解释反而不太合理。综合实验结果，研究人员提出了一套最佳实践，包括数据处理、模型选择、微调和强化学习等步骤，最终实现了93.4%的线上接受程度，满足了客户需求。

我们正处在Agentic AI爆发前夜。2025亚马逊云科技中国峰会提出，企业要从“成本优化”转向“创新驱动”，通过完善的数据战略和AI云服务，把握全球化机遇。亚马逊将投入1000亿美元在AI算力、云基础设施等领域，通过领先的技术实力和帮助“中国企业出海“和”服务中国客户创新“的丰富经验，助力企业在AI时代突破。