覚え書きブログ

ディープラーニング

シーケンスGAN(generatorのマルチタスク学習)

以前覚え書きに書いたシーケンスGANだが、いろいろなバージョンがでているようだ。 hirotaka-hachiya.hatenablog.com以下のgithubレポジトリに上がっているのは、割引報酬和と真の報酬との二乗誤差の最小化と、報酬の最大化をマルチタスク学習で、generator…

Faster R-CNNの拡張

続々と出てくるFaster R-CNNの改良の論文のなかから、面白いものを挙げていく。 Mask R-CNN, Kaiming He et., al arxiv2017 https://arxiv.org/pdf/1703.06870.pdf Subcategory-aware Convolutional Neural Networks for Object Proposals and Detection, Yu…

word2vec

一時話題になったword2vecのリンク一覧を簡単に作ってみた。 googleによるword2vecのtoolkit https://code.google.com/archive/p/word2vec/ skip-gramを、図を用いてわかりやすく解説 http://qiita.com/Hironsan/items/11b388575a058dc8a46a cBOWとskip-gram…

Progressive Networks

Progressive Neural Networks, A. A.Rusu et al., arxiv2016 https://arxiv.org/pdf/1606.04671.pdf ソースタスクごとにNeural Networksを学習し、下位のレイヤーをカスケード的に統合次のタスクへと統合していく方法。新しいタスクに対して強化学習でpolicy…

群衆カウントの覚え書き

Cross-sceneCrowdCountingviaDeepConvolutionalNeuralNetworks, C. Zhang et al., CVPR2015 Xiaogang Wang先生のグループの論文。perspective mapを学習データセットごとに用意しておいて、ターゲットのperspetive mapを手動(自動?)で求めて、ターゲット…

Faster R-CNN関連の資料

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, S. Ren et al., arxiv2015 https://arxiv.org/abs/1506.01497 Fast R-CNN Object detection with Caffe http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-detectio…

Deep Learning覚え書き(独自データでFasater R-CNNを学習)

hirotaka-hachiya.hatenablog.com 前回導入したFaster R-CNNを、つくばチャレンジの看板検出用に学習してみた。以下の「独自のデータでの学習」を参考にした。 https://www.cs.gunma-u.ac.jp/~nagai/wiki/index.php?py-faster-rcnn%20%B3%D0%A4%A8%BD%F1%A4%…

Jetson TX1の覚え書き(R-CNN)

今回は、Jetson TX1上のCaffeを用いて物体検出をしてみる。まず、caffeのexamples/detection.ipybにて用いられているdetect.pyを試してみる。 1)RCNNのモデルをダウンロードする > ./scripts/download_model_binary.py models/bvlc_reference_rcnn_ilsvrc1…

Jetson TX1の覚え書き(Caffeのipythonサンプル)

最近のCaffeは、ipythonのサンプルコードが用意されている。 ipythonを実行するためには、以下のパッケージをインストールする。 > sudo apt-get install ipython > sudo apt-get install ipython-notebook そして、ipythonを実行し、ブラウザ上でcaffe/exam…

Jetson TX1の覚え書き(Caffeのインストール)

今回は、先日のJetson TX1にCaffeをインストールした。 hirotaka-hachiya.hatenablog.com以下の2つのサイトを参考にした。 http://robotics4society.com/2017/04/03/jetson-caffe/ http://hirotaka-hachiya.hatenablog.com/entry/2015/03/20/2122471)依存…

Jetson TX1の覚え書き(JetPackを用いたセットアップ)

研究室でJetsonTX1のセットアップを始めた。 まずは、電源、キーボード、マウス、モニターを繋いで、一度JetsonTX1を起動してみた。 以下のようにセットアップ方法が表示されたので、内容に従ってセットアップスクリプトを実行し、再起動したところ普通にUbu…

One Shot Learning

Hierarchcal Bayesian Program Learning (HBPL)というLake、Salakhutdinovらにより提案された階層的な(文字で言うと、サブストローク、ストローク、ストローク間の関係から構成される)同時分布を用いたone-shot learningが主流な方式である。Human-level c…

Adversarial examples

Adversarial examplesという、入力画像に意図的に妨害するノイズを入れることにより、DNNの認識を失敗させる方法が研究されている。 Explaining and Harnessing Adversarial Examples, Goodfellow et al., arxiv2015 入力画像に、DNNのロス関数のに関する勾…

CGデータを用いたDeep Neural Networkの学習

最近、Deep Learningを学習するためにCGデータを活用するための研究が注目を集めている。単にCGデータを生成して学習に使うのではなく、学習にとって有用なデータを生成するために、CGのパラメータを適応的に調整するのが特徴である。以下は最近の論文の簡単…

Tensorflow v1.0.0への移行

Tensorflow v1で、v0.12で書いたコードを実行すると下記のようなモジュールにpackが無いとか、Splitのsplit_dimの入力がおかしいなどのエラーがでる。 AttributeError: 'module' object has no attribute 'pack' TypeError: Input 'split_dim' of 'Split' Op…

シーケンスGAN

AAAI-17にて、Lantao YuらによるGAN(Generative Adversarial Net)のフレームワークで、強化学習のpolicy gradientを学習し、テキストや音楽などのシーケンスを生成する方法に関する論文が発表される。 SeqGAN: Sequence Generative Adversarial Nets with …

Deep Learning覚え書き(TensorflowのWindows版0.12rc1のインストール)

前回インストールしたWindows版のTensorflow0.12rc0では、tensorboardが正しく動かない(ブラウザからアクセスするとwebcomponentsjsがnot found)問題があった。その後リリースされた0.12rc1ではTensorboardの問題が解消されているらしいので早速インストー…

Deep Learning覚え書き(TensorflowのWindows版インストール)

ついに、Tensorflowのバージョン0.12.0rc0でWindowsに対応したので、早速インストールしてみた。 https://www.tensorflow.org/versions/r0.12/get_started/os_setup.html#pip-installation-on-windows 1)まず、CUDA8(cuda_8.0.44_win10.exe)とCUDNN5.1を…

Deep Learning覚え書き(WindowsでTensorflow GPU編)

前回はwindowsでCPU用のdockerでTensorflowを動かしてみた。 hirotaka-hachiya.hatenablog.com今回は、GPU上でTensorflowを動かすために、GPU版のイメージを使ってdockerコンテナを起動する。 > docker run -it gcr.io/tensorflow/tensorflow:latest-devel-g…

Deep Learning覚え書き(WindowsでTensorflow)

前回インストールしたDocker上でTensorflowをインストールしてみた。Tensorflowでは、4種類のDocker用のイメージを提供している。 gcr.io/tensorflow/tensorflow: CPU版イメージ gcr.io/tensorflow/tensorflow:latest-devel: CPU版イメージ+ソースコード g…

Deep Learning覚え書き(Binary化)

Deep Learningのパラメータをバイナリ―化(-1と1にエンコード)することにより、必要なメモリ容量を抑え検出を高速化する方法がある。 有名なバイナリ―化方法としては、下記の2つが知られている。1)BinaryConnect:パラメータ自体は連続値で持っておいて、…

Deep Learning覚え書き(Batch Normalization)

Deep Learningの各階層の入力データの分布は、学習の過程において、下位層のパラメータが更新されることにより変化する。各階層の勾配は、ミニバッチ内で平均をとることにより推定しているが、この分布の変化により推定に、ミニバッチごとに異なるバイアスが…

Deep Learning覚え書き(Chainerで複数ネットワークの切り替え)

chainer1.9.1のMNISTのサンプルコードに、回帰およびCNNのネットワーク構造を追加し、引数で切り替えられるようにしてみた。 現時点での最新のChainerのバージョンは、1.12.0で、MNISTのサンプルコードは大分変っている。Chainer1.9.1は下記からダウンロード…

Deep Learning覚え書き(chainerでネットワーク構造の可視化)

ChainerのMNISTのサンプルコード(examples\mnist\train_mnist.py)を実行すると、第1epochの第1ミニバッチでネットワーク構造をgraph.dotファイルに出力(下記のスクリプト)する。 if epoch == 1 and i == 0: with open('graph.dot', 'w') as o: variabl…

Deep Learning覚え書き(convolutionとpoolingの出力サイズ)

初歩的なことだが、convolution層とpooling層の出力サイズについてメモっておく。 Caffeのprototxtでは、各層の定義において前の層を設定すれば、自動的に入力数が決定するようになっていたが、Chainerでは各層の入力数を手動で設定しなければならない。つま…

Deep Learning覚え書き(WindowsへのChainerのインストール)

前回、CUDA7.5をインストールしたWindowsに、chainerをインストールしてみた。 hirotaka-hachiya.hatenablog.com環境としては、 Windows10 64bit + GTX980 CUDA Toolkit 7.5 Anaconda 2.4.1 (Python 2.7.11) である。とりあえず、pipでchainerをインストール…

CUDA7.5+cuDNNのインストール

Windows10にCUDA7.5をインストールしようとしたら、下記のようなエラーがでた。 サポートしているVisual Studioが入っていないとのこと、2015 communityおよび2013 expressが入っているが駄目なようだ。。。 調べてみたところ、CUDA7.5は、VS2010、2012、201…

Deep Learning覚え書き(ChainerでDQN)

以前インストールしたChainerで、Deep Q Network(DQN)を動かしてみたのでメモっておく。 hirotaka-hachiya.hatenablog.com DQNの論文については、以下参照。 hirotaka-hachiya.hatenablog.com以下、ATARIでDQNを学習するまでの手順である。 1)RL-Glueの…

強化学習の覚え書き(アルファ碁と入門書)

2016年3月に、グーグル・ディープマインド社の囲碁の人工知能「アルファ碁」が、世界で最も強い棋士である韓国の李セドル氏に4勝1敗の大差で勝利した。このニュースは、人工知能・機械学習分野に限らず多くのメディアでも取り上げられていたので、一般の人で…

Deep Learning覚え書き(フィルタの可視化編)

前回のCaffenetのblobの可視化に続き、filterを可視化してみた。 hirotaka-hachiya.hatenablog.comCaffeのNetクラスには、blobsの他にparamsメソッドがあり、 pythonからは、重み係数とバイアスとにそれぞれ、次のようにアクセスできる。 >>> net.params['co…