近兩年機器智能取得重大突破，像圍棋九段高手李世石敗北Alpha Go，DeepMind團隊研發的機器人在Atari多項游戲上超越人類水平。這些突破主要得益于從基于深度學習的視覺、語音、語義感知到動作反饋的激勵懲罰強化訓練模式。本文從概念上分析深度強化學習的要點，部分摘于ICML 2016 Tutorial里的Deep Reinforcement Learning[1]的報告。
強化學習，即機器人根據環境里動作得到的懲罰和激勵去自動調整策略。通過訓練，機器人學到一組策略：在環境狀態S下應采取動作A，（可）能獲得最大累積獎勵V。
強化學習有豐富的交叉學科背景，包括經濟學、工程學、神經科學里的博弈論、優化控制，條件反射系統。
深度學習，使用深度神經網絡實現機器人的記憶，視覺感知，語音語義理解和生成。
深度強化學習以深度學習做感知，強化學習訓練策略，并且以深度神經網絡作為策略載體。相比于傳統的多模塊組合，深度強化學習實現了從感知到控制的端到端直接訓練，減少了模塊間信息損失。
最近兩年在學術理論上，GoogleDeepMind團隊在連續性動作控制[2]，異步訓練[3]，訓練框架[4]，分布式訓練[5]等都有重要突破，為智能機器人的研發奠定理論和實踐基礎。
在特定任務的應用上，深度增強學習已有廣泛實踐嘗試，例如流水線機器人。
在集成應用上，深度強化學習在自動駕駛，聊天機器人[6][7]都有良好的前景。例如，使用分布式訓練或異步訓練，自動駕駛汽車可以多輛同時在各種環境學習，并且相互交換知識，加速學習過程。聊天機器人可以通過對話過程中用戶的反饋來調整自己的語言表達，逐步成長。
深度強化學習為智能機器人提供了新的計算范式：提供環境、激勵和懲罰、神經網絡結構即可訓練得到最大化獎勵的智能機器人。
