覚え書きブログ

ディープラーニング

Pythonによるデータ解析3(1/3)

前回のロジスティック回帰の構成を2階層のニューラルネットワークと解釈したのち、中間層を導入し非線形な表現が可能な3階層のニューラルネットワークを実装していきます。【Pythonによるデータ解析3(1/3)の目次】 ロジスティック回帰の構成 3階層の…

Pythonによるデータ解析2(3/3)

Pythonによるデータ解析2(2/3)の続きここでは、ロジスティック回帰のテンプレートで、まだ未実装の最急降下法(updateメソッド)と交差エントロピー(lossメソッド)を実装し、完成させていきます。【Pythonによるデータ解析2(3/3)の目次】 演習…

Pythonによるデータ解析2(2/3)

Pythonによるデータ解析2(1/3)の続き【Pythonによるデータ解析2(2/3)の目次】 人工データの取得 ロジスティック回帰のテンプレート ロジスティック回帰のテンプレートの実行 人工データの取得 ロジスティック回帰などの機械学習の分類アルゴリズ…

Pythonによるデータ解析2(1/3)

今回は、まず、人工知能(3セメ)で学んだロジスティックモデル(2階層のニューラルネットワーク)を簡単に復習し、モデルのパラメータの勾配を手計算で求めます。 そして、ソフトマックス、交差エントロピー、事後確率および最急降下法のメソッドを持つ2階…

Pythonによるデータ解析1(4/4)

Pythonによるデータ解析1(3/4)からの続き 【Pythonによるデータ解析1(4/4)の目次】 オブジェクト指向のPythonスクリプトの例 宿題 オブジェクト指向のPythonスクリプトの例 Pythonでは、関数とクラスの定義を以下のような形式で記述します。 def…

Pythonによるデータ解析1(3/4)

Pythonによるデータ解析1(3/4)からの続き 【Pythonによるデータ解析1(3/4)の目次】 リスト内包表記のPythonスクリプトの例 演習3 リスト内包表記のPythonスクリプトの例 pythonには、C言語と類似の記述をするfor文とif文がありますが、さらに、…

Pythonによるデータ解析1(2/4)

Pythonによるデータ解析1(1/4)からの続き 【Pythonによるデータ解析1(2/4)の目次】 numpyの数値演算のスクリプトの例 pdbを用いたデバッグ 演習2 numpyの数値演算のスクリプトの例 以下は、数値計算用のライブライrnumpyを用いた行列とベクトル…

人工知能の講義資料

難しすぎると不評だった人工知能の講義資料。来年度は、表面的な簡単な内容に改変し、さらに強化学習を追加する予定。人工知能 第10回 線形サポートベクトルマシンによる学習を理解する 人工知能10 サポートベクトルマシン from Hirotaka Hachiya www.slides…

Pythonによるデータ解析1(1/4)

データ解析を題材に、Pythonを用いた機械学習アルゴリズムの実装の演習を行います。本演習では、scikit-learn、tensorflow, caffe, chanierなどの機械学習のライブラリの整備が進むなか、あえてそれらの機械学習ライブラリは使わずに3階層のニューラルネット…

Tensorflowの覚え書き(RNNのサンプルコードを実行するまで)

Windowsにて、TensorflowをインストールしてRNNのサンプルコードを実行してみる。1)Anaconda 3系をインストールする。 https://www.continuum.io/downloads2)pipを用いてtensorflowをインストールする。 > pip install tensorflow Anacondaのインストー…

tensor flowの覚え書き(よく使う関数のサンプルコード)

以下、よく使うtensorflowの関数のリファレンスと、サンプルコードを簡単にまとめておく。 tf.one_hot https://www.tensorflow.org/api_docs/python/tf/one_hotサンプルコード:one_hot.py(https://tyfkda.github.io/blog/2016/09/03/one-hot.htmlを参照) …

Overleafの日本語化

以下、overleafで、日本語を扱うためのリンク一覧: http://doratex.hatenablog.jp/entry/20150903/1441252705 https://qiita.com/suigin/items/b583b681c386d9339bfc http://adhara.hatenadiary.jp/entry/2016/12/11/142011

gensim(word2vec)のインストール

word2vecを使うために、python3.5.2(Anaconda 4.2.0)のgensimモジュールをインストールする。 > pip install gensim 簡単にインストールできたので、早速word2vecをimport出きるかどうか確認してみたところ、以下のようなMKLのエラーがでて落ちてしまった。…

Maximum Mean Discrepancy (MMD)

MMD(Maximum Mean Discrepancy)は、カーネル平均場を用いたノンパラメトリックな分布間距離を表し、検定に用いられる。 以下、リファレンス。 Shengjia Zhao MMD variational Auto encoder http://szhao.me/2017/06/10/a-tutorial-on-mmd-variational-autoe…

Mecabのインストール

形態素解析システムのMecabをインストールしてみた。 https://www.mlab.im.dendai.ac.jp/~yamada/ir/MorphologicalAnalyzer/MeCab.htmlインストール手順は、以下のサイトを参考にした。 https://qiita.com/elm200/items/2c2aa2093e670036bb30 mecab関連のパ…

Unity ML Agents

強化学習の研究者に朗報。ついに、Unityが公式に機械学習エージェント用のAPIを発表しました。 まだ、ベータ版ですが、Unity Machine Learning Agentsというものです。 github.com以下実装の例を紹介しているサイト。 https://blogs.unity3d.com/jp/2017/09/…

Zero-shot Learning

Zero-shot Learningの論文 Pedro Morgado Nuno Vasconcelos, Semantically Consistent Regularization for Zero-Shot Recognition https://arxiv.org/pdf/1704.03039.pdf word2vec embeddingを用いて、補助情報(auxiliary information)であるテキストアノ…

シーケンスGAN(generatorのマルチタスク学習)

以前覚え書きに書いたシーケンスGANだが、いろいろなバージョンがでているようだ。 hirotaka-hachiya.hatenablog.com以下のgithubレポジトリに上がっているのは、割引報酬和と真の報酬との二乗誤差の最小化と、報酬の最大化をマルチタスク学習で、generator…

Faster R-CNNの拡張

続々と出てくるFaster R-CNNの改良の論文のなかから、面白いものを挙げていく。 Mask R-CNN, Kaiming He et., al arxiv2017 https://arxiv.org/pdf/1703.06870.pdf Subcategory-aware Convolutional Neural Networks for Object Proposals and Detection, Yu…

word2vec

一時話題になったword2vecのリンク一覧を簡単に作ってみた。 googleによるword2vecのtoolkit https://code.google.com/archive/p/word2vec/ skip-gramを、図を用いてわかりやすく解説 http://qiita.com/Hironsan/items/11b388575a058dc8a46a cBOWとskip-gram…

Progressive Networks

Progressive Neural Networks, A. A.Rusu et al., arxiv2016 https://arxiv.org/pdf/1606.04671.pdf ソースタスクごとにNeural Networksを学習し、下位のレイヤーをカスケード的に統合次のタスクへと統合していく方法。新しいタスクに対して強化学習でpolicy…

群衆カウントの覚え書き

Cross-sceneCrowdCountingviaDeepConvolutionalNeuralNetworks, C. Zhang et al., CVPR2015 Xiaogang Wang先生のグループの論文。perspective mapを学習データセットごとに用意しておいて、ターゲットのperspetive mapを手動(自動?)で求めて、ターゲット…

Faster R-CNN関連の資料

Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, S. Ren et al., arxiv2015 https://arxiv.org/abs/1506.01497 Fast R-CNN Object detection with Caffe http://tutorial.caffe.berkeleyvision.org/caffe-cvpr15-detectio…

Deep Learning覚え書き(独自データでFasater R-CNNを学習)

hirotaka-hachiya.hatenablog.com 前回導入したFaster R-CNNを、つくばチャレンジの看板検出用に学習してみた。以下の「独自のデータでの学習」を参考にした。 https://www.cs.gunma-u.ac.jp/~nagai/wiki/index.php?py-faster-rcnn%20%B3%D0%A4%A8%BD%F1%A4%…

Jetson TX1の覚え書き(R-CNN)

今回は、Jetson TX1上のCaffeを用いて物体検出をしてみる。まず、caffeのexamples/detection.ipybにて用いられているdetect.pyを試してみる。 1)RCNNのモデルをダウンロードする > ./scripts/download_model_binary.py models/bvlc_reference_rcnn_ilsvrc1…

Jetson TX1の覚え書き(Caffeのipythonサンプル)

最近のCaffeは、ipythonのサンプルコードが用意されている。 ipythonを実行するためには、以下のパッケージをインストールする。 > sudo apt-get install ipython > sudo apt-get install ipython-notebook そして、ipythonを実行し、ブラウザ上でcaffe/exam…

Jetson TX1の覚え書き(Caffeのインストール)

今回は、先日のJetson TX1にCaffeをインストールした。 hirotaka-hachiya.hatenablog.com以下の2つのサイトを参考にした。 http://robotics4society.com/2017/04/03/jetson-caffe/ http://hirotaka-hachiya.hatenablog.com/entry/2015/03/20/2122471)依存…

Jetson TX1の覚え書き(JetPackを用いたセットアップ)

研究室でJetsonTX1のセットアップを始めた。 まずは、電源、キーボード、マウス、モニターを繋いで、一度JetsonTX1を起動してみた。 以下のようにセットアップ方法が表示されたので、内容に従ってセットアップスクリプトを実行し、再起動したところ普通にUbu…

One Shot Learning

Hierarchcal Bayesian Program Learning (HBPL)というLake、Salakhutdinovらにより提案された階層的な(文字で言うと、サブストローク、ストローク、ストローク間の関係から構成される)同時分布を用いたone-shot learningが主流な方式である。Human-level c…

Adversarial examples

Adversarial examplesという、入力画像に意図的に妨害するノイズを入れることにより、DNNの認識を失敗させる方法が研究されている。 Explaining and Harnessing Adversarial Examples, Goodfellow et al., arxiv2015 入力画像に、DNNのロス関数のに関する勾…