1、官網連線

英文：https://spinningup.openai.com/en/latest/

中文：https://spinningup.qiwihui.com/zh_CN/latest/index.html

2、遇到的問題

在安裝mujoco之前不會遇到任何問題，安裝mujoco遇到問題解決方法。具體步驟如下：1、註冊獲得key。2、mujoco下載。3、安裝mujoco-py

2.1、問題1，mujoco的license

license網站連線：https://www.roboti.us/license.html

如果是學生郵箱的話可以申請個人版的，沒有就只有30天的時間。總體流程如下：

填寫名字，郵件，電腦ID，電腦ID是通過右邊的系統選擇，本文選擇Linux，然後下載到getid_linux檔案，檔案操作如下：

$ chmod a+x getid_linux
$ ./getid_linux

然後出現電腦ID，將電腦ID輸入後，遞交。

一段時間或者一天後，就有了mjkey.txt，將給檔案下載下來。

2.2、問題2，mujoco版本下載

目前我下載的版本是mjpro150 linux，先開始試了一下mujoco200 linux不可行。然後才換成了mjpro150 linux，注意版本匹配問題，下面開始下載配置mujoco。

將名字為mjpro150的檔案放入.mujoco資料夾下
$ mkdir ~/.mujoco
將檔案複製到.mujoco下
$ cp mjpro150_linux.zip ~/.mujoco/
進入.mujoco資料夾下，解壓檔案
$ 
 
unzip mjpro150_linux.zip
將mjkey.txt檔案複製到.mujoco資料夾下
$ cp mjkey.txt ~/.mujoco/
將mjkey.txt檔案複製到.mujoco/mjpro150/bin/下
$ cp mjkey.txt ~/.mujoco/mjpro150/bin/
$ sudo gedit ~/.bashrc
在檔案中加入以下內容
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/sqp/.mujoco/mjpro150/bin
更新一下環境變數
$ source ~/.bashrc
測試一下是否安裝成功
$ cd ~/.mujoco/mjpro150/bin
$ ./simulate ../model/humanoid.xml
如果正常出來一個小人，說明安裝成功

2.3、問題3，mujoco-py安裝

mujoco安裝的時候，一定要確定版本，本文使用的mjpro150版本，所以對應的命令如下

這些都是在spinningup的conda虛擬環境下進行安裝，部分參考：https://www.jianshu.com/p/869254fd3e21
$ conda activate spinningup
安裝patchelf
$ sudo -s
$ curl -o /usr/local/bin/patchelf https://s3-us-west-2.amazonaws.com/openai-sci-artifacts/manual-builds/patchelf_0.9_amd64.elf
$ chmod +x /usr/local/bin/patchelf
下載mujoco-py，開始安裝mujoco-py
$ git clone https://github.com/openai/mujoco-py.git
$ cd mujoco-py
$ pip3 install -U 'mujoco-py<1.50.2,>=1.50.1'

2.4、問題4，安裝gym

如果前面安裝很順利，這一步就不會有任何問題。下面就可開始你的spinningup強化學習之旅。

$ pip3 install gym[mujoco,robotics]
$ python -m spinup.run ppo --hid "[32,32]" --env Walker2d-v2 --exp_name mujocotest