覚え書きブログ

Pythonによる機械学習6(強化学習の基礎 補足)

<< Pythonによる機械学習6(強化学習の基礎 3/3)

Pythonによる機械学習6(強化学習の基礎 補足)の目次】

参考書

本ブログの内容の詳細は、「機械学習スタートアップシリーズ ゼロからつくるPython機械学習プログラミング入門」に掲載されています。
機械学習に必要な数学の復習から、機械学習アルゴリズムの導出およびPythonの基本ライブラリのみを用いた実装方法まで学びたい方は、本書籍をご活用ください。
bookclub.kodansha.co.jp

WindowsのAnacondaへのOpenAI Gymのインストール手順

1)コマンドプロンプト上で、pipを用いて以下のパッケージをインストール
pip install gym

2) 動作確認
以下のように、pythonインタラクティブモードで、mountaincarの環境を読み込み、render()を実行しxmingでmountaincarが表示されるかどうか確認します。

> python
>>> import gym
>>> agent= gym.make('MountainCar-v0')
>>> agent.reset()
array([-0.44697984,  0.        ])
>>> agent.render()
>>> agent.close()

その他のgymの実行例

【Acrobotの場合】

import gym

agent = gym.make('Acrobot-v1')
agent.reset()

for i in range(500):
    agent.step(agent.action_space.sample())
    agent.env.render()

agent.close()

倒立振子の場合】

mport gym

agent = gym.make('CartPole-v0')
agent.reset()

for i in range(500):
    agent.step(agent.action_space.sample())
    agent.env.render()

agent.close()

Windows subsystem for LinuxへのOpenAI Gymのインストール手順

1) windows subsystem for Linux(WSL)の設定とUbuntuのインストール
Qiitaのページhttps://qiita.com/Aruneko/items/c79810b0b015bebf30bbを参考にして、windows subsystem for Linuxの設定を行い、Ubuntuをインストールします。

2) Anacondaのインストール
hirotaka-hachiya.hatenablog.com
を参考に、wgetでAnacondaのLinux版「Anaconda3-5.0.1-Linux-x86_64.sh」をwgetでダウンロードし、実行してインストールします。

> wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh

~/.bashrcにインストールしたAnaconda3のパスを設定し、「source ~/.bashrc」を実行します。

export PATH=export PATH="/home/hachiya/anaconda3/bin:$PATH


3) WindowsのXサーバXmingのインストール
インストールしたUbuntuにはGUIがないので、別途Xserverを用意する必要があります。フリーでも便利なXserver「Xming」をインストールします。具体的には、Xming-6-9-0-31-setup.exeを、https://ja.osdn.net/projects/sfnet_xming/releases/からダウンロードし実行してインストールします。

次に、~/.bashrcにDISPLAYの設定をし、「source ~/.bashrc」を実行します。

export DISPLAY=localhost:0.0

4) OpenAI Gymのインストール
以下の手順でopen AI gym、ubuntuのパッケージおよびATARIのインストールをします。

  • gymのインストール
> pip install gym
  • 基本パッケージのインストール
> sudo apt-get install -y cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev libboost-all-dev libsdl2-dev swig
  • 基本パッケージのインストール(ubuntu 18.04LTSの場合)
> sudo apt-get install -y cmake zlib1g-dev libjpeg-dev xvfb ffmpeg xorg-dev libboost-all-dev libsdl2-dev swig
  • Atari社のGameおよびその他の環境ライブラリのインストール
> pip install 'gym[atari]'
> pip install 'gym[all]'


5) 動作確認
以下のように、pythonインタラクティブモードで、mountaincarの環境を読み込み、render()を実行しxmingでmountaincarが表示されるかどうか確認します。

> python
>>> import gym
>>> agent= gym.make('MountainCar-v0')
>>> agent.reset()
array([-0.44697984,  0.        ])
>>> agent.render()
>>> agent.close()

f:id:hirotaka_hachiya:20180528184959p:plain