2016年3月に、グーグル・ディープマインド社の囲碁の人工知能「アルファ碁」が、世界で最も強い棋士である韓国の李セドル氏に4勝1敗の大差で勝利した。このニュースは、人工知能・機械学習分野に限らず多くのメディアでも取り上げられていたので、一般の人で…

前回のCaffenetのblobの可視化に続き、filterを可視化してみた。 hirotaka-hachiya.hatenablog.comCaffeのNetクラスには、blobsの他にparamsメソッドがあり、 pythonからは、重み係数とバイアスとにそれぞれ、次のようにアクセスできる。 >>> net.params['co…

PFNがChainerという新しいDeep Learningのフレームワークを公開したので、早速インストールしてみた。 http://chainer.org/chainer.orgインストールは、git cloneを使えば簡単にできる。 > git clone https://github.com/pfnet/chainer.git 次に、MNISTのサ…

多階層のニューラルネットワークの勾配法を用いた教師あり学習では、下位層のパラメータは出力までにシグモイド関数が何重にもかかるため、勾配がほぼ０になってしまう問題がある。この問題は、最近ではGradient vanishing「勾配消滅」問題と呼ばれている。…

Caffeのprototxtで設定されているネットワーク構造を可視化してみた。 以下のサイトを参考にした。 http://iamrobotandproud.hatenablog.com/まず、pipでgraphvizとpydotモジュールをインストール。 > sudo pip install graphviz > sudo pip install pydot次…

前回CUDA7が無事インストール出来たので、今回はCaffe本体をインストールする。hirotaka-hachiya.hatenablog.comまずは、BLASをインストールする。 > sudo apt-get install libatlas-base-dev 次に、Caffeに関連するパッケージをインストールする。 > sudo a…

先日導入したGTX980マシンに、CUDAをインストールしてみた。OSはUbuntu14.04である。現在開催されているGTC(GPU Technology Conference) 2015に合わせて、先日NVIDIAがCUDA7をリリースした。また、CaffeのページでもCUDA7が推奨されているので、最新バージョ…

Deep learningなどの機械学習アルゴリズムの実験をするために、ビデオボードGTX980を搭載したデスクトップPCを購入した。スペックは、以下の通り。 CPU: Core i7-4790（3.6GHZ、8Mキャッシュ、8コア、Haswell-Refresh） メモリ: 16GB ハードディスク: 2TB GP…

Caffenetの学習済みモデル（bvlc_reference_caffenet.caffemodel）を、Flickrの画像を使ってfine-tuningしてみた。基本的には、caffeのチュートリアルを参考にした。まずは、Flickrから画像をダウンロード。 > python examples/finetune_flickr_style/assemb…

CaffenetによるIrish terrier（アイリッシュ・テリア）の分類時の各層の特徴マップを可視化してみた。 まず、http://nbviewer.ipython.org/github/everpeace/caffe/blob/master/examples/cifar10_full.ipynbを参考にし、関数plot_imagesを次のように定義する…

今回は、Caffenetで、画像分類をしてみる。Caffenetとは、ImageNet Large Scale Visual Recognition Challenge 2012で分類タスクで優勝したAlexNetに、normalizationとpoolingの順番を変えるなどの変更を加えたものである。まず、ImageNet2012の訓練データで…

Deep Learningの開発環境の主流となっているCaffeをインストールした。 Caffeは、Google ResearchのYangqing Jia博士がUniversity of California, Berkeley在学時に開発し、下記のサイトにて提供されている。C++のcaffeライブラリに加え、PythonとMatlabのイ…

Deep Learningは、日本語では深層学習と呼ばれている機械学習の研究分野の一つで、データを高次に抽象化するための多階層なモデルを学習する技術の総称である。機械学習の枠組みには、大きく分けて教師あり学習、教師なし学習、半教師あり学習および強化学習…

DQN論文をPlaying Atari with Deep Reinforcement Learning, V. Mnih, K. Kavukcuogl et al.を読んでみた。 http://arxiv.org/pdf/1312.5602.pdf DQNは、行動価値関数（Q関数）を、Convolutional Neural Network(CNN)によりモデル化し、強化学習の反復アルゴ…

機械学習のトップレベルの国際会議NIPS（Neural Information Processing Systems）が、2014年12月8日から11日まで、カナダのモントリオールで開催される。NIPSは、「Neural」という単語から始まるだけあって、昨今何かと話題のDeep Learningに関連の論文が多…

最近何かと話題のdeep learningのpython用ライブラリtheanoをインストールし、MNISTデータセットを用いてテストしてみた。 基本的には、Theanoのインストールガイドhttp://deeplearning.net/software/theano/install.htmlに従ったが、GPUがないのでだいぶ省…