深度強化學習(Deep Reinforcement Learning)的資源
Google的Deep Mind團隊2013年在NIPS上發表了一篇牛x閃閃的文章,亮瞎了好多人眼睛,不幸的是我也在其中。前一段時間收集了好多關於這方面的資料,一直躺在收藏夾中,目前正在做一些相關的工作(希望有小夥伴一起交流)。
一、相關文章 關於DRL,這方面的工作基本應該是隨著深度學習的爆紅最近才興起的,做這方面的研究的一般都是人工智慧領域的大牛。最早(待定)的一篇可以追溯到2010年,Lange[1]做的相關工作。 提出了Deep auto-encoder用於基於視覺的相關控制,和目前的架構其實已經很相似了。接下來,在2011年,Cuccu等人[2](Jurgen Schmidhuber課題組的),做了還有很多很多就不一一列舉了。
三、相關程式碼
這部分應該是大家最關心的,我想大部分看到文章的第一想法是程式碼呢!擦,其實我也是這麼想的,誰叫自己的coding能力不夠呢!沒辦法,本人在網上(github.com)深挖了好久,沒想到大牛真的好多好多啊!
- 排在第一的當然是google自己公佈的程式碼啊!真是業界良心啊!https://sites.google.com/a/deepmind.com/dqn/ 。可惜註釋好少。。。。。是基於Torch 7的程式碼,本人又硬著頭皮學了lua。話說我這幾個月我就在和各種指令碼語言打交道,都是淚啊!備註,deep mind的git地址https://github.com/deepmind 。話說沒有GPU的電腦真心不要跑了,我跑了13個小時才跑了大概1/20~~~建議在ubuntu下面跑,最好版本高一些;
- 然後就是各路人馬(大牛們)的逆向工程。https://github.com/spragunr/deep_q_rl ,作者Spragunr公佈的基於python各種工具的程式碼,這位大牛利用外界工具的能力真實吊炸天,好多工具啊!opencv、cython、rl-glue、theano等等。我表示在ubuntu14.04LTS上面配置了好久,發現電腦沒有GPU,跑不起來,整個人都不好了,還有一個貌似是其學生的https://github.com/brian473/neural_rl ,裡面也需要配置python的庫,theano之類的,步驟比較多~不過大牛的學生都是大牛。
- https://github.com/kristjankorjus/Replicating-DeepMind ,這裡Kristjankorjus大牛基於convnet的東東,釋出了這一程式碼,也是基於python的,我表示沒有跑過,不清楚狀況,貌似也要GPU,也要配置一堆庫。
- 還有一些基本都是他們的fork出來改進的,讀者自己去挖吧!
基本上重要的就是這麼多了,然後外圍的關於Torch 7和其他東西的安裝就不提了。
三、論壇這是google上的一個小組,裡面有不少人討論DQN的演算法以及程式碼使用心得,有興趣的可以加入。
PS:歡迎各位大小牛牛補充~~~
[1]S. Lange and M. Riedmiller, "Deep auto-encoder neural networks in reinforcement learning," in IJCNN, 2010, pp. 1-8.
[2]G. Cuccu, M. Luciw, J. Schmidhuber, and F. Gomez, "Intrinsically motivated neuroevolution for vision-based reinforcement learning," in Development and Learning (ICDL), 2011 IEEE International Conference on, 2011, pp. 1-7.
[3]F. Abtahi and I. Fasel, "Deep belief nets as function approximators for reinforcement learning," RBM, vol. 2, p. h3, 2011.
[4]S. Lange, M. Riedmiller, and A. Voigtlander, "Autonomous reinforcement learning on raw visual input data in a real world application," in Neural Networks (IJCNN), The 2012 International Joint Conference on, 2012, pp. 1-8.
[5]I. Arel, "Deep Reinforcement Learning as Foundation for Artificial General Intelligence," in Theoretical Foundations of Artificial General Intelligence, ed: Springer, 2012, pp. 89-102.
[6]V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, et al., "Playing Atari with deep reinforcement learning," arXiv preprint arXiv:1312.5602, 2013.
[7]V. Mnih, K. Kavukcuoglu, D. Silver, A. A. Rusu, J. Veness, M. G. Bellemare, et al., "Human-level control through deep reinforcement learning," Nature, vol. 518(7540), pp. 529-533, 2015.
來自:http://wanghaitao8118.blog.163.com/blog/static/13986977220153811210319/