pythonでpycaffeを実行すると、実際にcaffe内でconvやfc層の値やパラメータがどうなっているのかが見えにくいときがある。そんなときは、以下のように、self.solver.step(1)前後でpdbで止めて、self.solverを参照して中身を見ることができる。 import pdb pd…

Faster R-CNNを、Ubuntu16.04+CUDA8.0+CUDNN5.1にインストールした。 手順は以下の通り。１）py-faster-rcnnのレポジトリをclone > git clone --recursive https://github.com/rbgirshick/py-faster-rcnn.git ２）最新のcaffeをmerge 以下のコメントを参考に…

以下のnn_ops.pyのconv1_transpose（1D deconv）を使いたく、最新版のtensorflowをソースからビルドしてみた。なお、現時点（2017/12/30）でpipでインストール可能なtensorflow v1.4.1は、まだconv1d_transposeは対応していない。 https://github.com/tensor…

久しぶりにPCのセットアップを行ったのでメモっておく。 ubuntu16.04LTSのインストール nomodesetを設定してインストール CUDA8とCUDNN6のインストール Anaconda3のインストール tensorflowのインストール GALLERIA ZZの有線LANドライバのインストール 今回…

python2系とpython3系が共存する環境で、pipを使ってtensorflowのgpu版をインストールしようとすると以下のようなエラーがでた。 > sudo pip install tensorflow-gpu Requirement already satisfied (use --upgrade to upgrade): tensorflow-gpu in /usr/loc…

<< Pythonによる機械学習１０（１／４）【Pythonによる機械学習１０（２／４）の目次】 参考書 本ブログの内容の詳細は、「機械学習スタートアップシリーズ ゼロからつくるPython機械学習プログラミング入門」に掲載されています。 機械学習に必要な数学の復…

【Pythonによる機械学習１０（１／４）の目次】 参考書 本ブログの内容の詳細は、「機械学習スタートアップシリーズ ゼロからつくるPython機械学習プログラミング入門」に掲載されています。 機械学習に必要な数学の復習から、機械学習のアルゴリズムの導出…

<< Pythonによるデータ解析４（ニューラルネット応用 ３／４）【Pythonによる機械学習４（ニューラルネット応用 ４／４）の目次】 演習３ 画像分類ニューラルネットワークの学習と評価 画像分類の結果の可視化 宿題 演習３ 以下の内容に従い、data.MNISTを用…

<< Pythonによるデータ解析４（ニューラルネット応用 ２／４）【Pythonによる機械学習４（ニューラルネット応用 ３／４）の目次】 手書き文字画像の分類 画像特徴量の抽出 学習と評価データの準備 手書き文字画像の分類 画像分類の題材として、手書き文字画…

<< Pythonによるデータ解析４（ニューラルネット応用 １／４）【Pythonによる機械学習４（ニューラルネット応用 ２／４）の目次】 TF-IDF特徴量の抽出 演習２ ニューラルネットワークの学習と評価 感情分類の結果の可視化 TF-IDF特徴量の抽出 今回は、比較的…

前回までは、ロジスティック回帰とニューラルネットワークを題材に、機械学習のアルゴリズムの開発を経験しました。機械学習のアルゴリズムの開発は、高校・大学で学んだ微積分、線形代数、確率、情報理論およびプログラム言語を駆使して、以下のような手順…

<< Pythonによる機械学習３（ニューラルネット ２／３）【Pythonによる機械学習３（ニューラルネット ３／３）の目次】 演習4（難しいデータに対するニューラルネットワーク） ニューラルネットワークの実行例 中間層のノード数と交差エントロピー損失の関係…

<< Pythonによるデータ解析３（ニューラルネット １／３）【Pythonによる機械学習３（ニューラルネット ２／３）の目次】 演習2（難しいデータに対するロジスティック回帰） ニューラルネットワークのテンプレート 演習3（最適化対象のパラメータ数） 演習2…

前回のロジスティック回帰の構成を２階層のニューラルネットワークと解釈できました。今回は、中間層を導入し非線形な表現が可能な３階層のニューラルネットワークを実装していきます。 参考書 本ブログの内容の詳細は、「機械学習スタートアップシリーズ ゼ…

<< Pythonによる機械学習２（３／４）さて、ロジスティック回帰のテンプレートで、まだ未実装の交差エントロピー（lossメソッド）を実装し、完成させていきます。【Pythonによる機械学習２（ロジスティック回帰 ４／４）の目次】 演習４ ロジスティック回帰…

<< Pythonによる機械学習２（ロジスティック回帰 ２／４）【Pythonによる機械学習２（ロジスティック回帰 ３／４）の目次】 ロジスティック回帰のテンプレート ロジスティック回帰のテンプレートの実行 演習３ ロジスティック回帰のテンプレート 人工データ…

<< Pythonによる機械学習２（ロジスティック回帰 １／４）【Pythonによる機械学習２（ロジスティック回帰 ２／４）の目次】 学習データの構造 人工データの取得 演習2 学習データの構造 本講義では、学習データを、以下のような行列構造で表現します。 ※教科…

今回は、まず、人工知能（3セメ）で学んだロジスティックモデル（2階層のニューラルネットワーク）を簡単に復習し、モデルのパラメータの勾配を手計算で求めます。 そして、ソフトマックス、交差エントロピー、事後確率および最急降下法のメソッドを持つ2階…

【Pythonによる機械学習１（Pythonの基礎 補足）の目次】 jupyter notebookを用いたインタラクティブ開発 streamlitを用いた開発 dataframeを用いた簡単なデータ分析 seabornを用いたデータの可視化 jupyter notebookを用いたインタラクティブ開発 jupyter n…

【Pythonによる機械学習１（Pythonの基礎 ４／４）の目次】 matplotlib.pylabを用いたプロット plotlyを用いたプロット オブジェクト指向のPythonスクリプトの例 宿題2 matplotlib.pylabを用いたプロット Pythonでは、グラフのプロットにmatplotlibライブラ…

【Pythonによる機械学習１（Pythonの基礎 ３／４）の目次】 for文とIf文とリスト内包表記 演習問題３ for文とIf文とリスト内包表記 pythonのfor文とif文には、C言語と類似の記述をする通常のものと、リストの括弧[]内に記述するリスト内包表記があります。【…

【Pythonによる機械学習１（Pythonの基礎 ２／４）の目次】 数値演算のスクリプトの例 pdbを用いたデバッグ 演習2 宿題1 数値演算のスクリプトの例 以下は、数値計算用のライブライnumpyを用いた線形代数の行列演算を実行するスクリプトの例です。 具体的に…

難しすぎると不評だった人工知能の講義資料。来年度は、表面的な簡単な内容に改変し、さらに強化学習を追加する予定。人工知能 第10回 線形サポートベクトルマシンによる学習を理解する 人工知能10 サポートベクトルマシン from Hirotaka Hachiya www.slides…

データ解析を題材に、Pythonを用いた機械学習アルゴリズムの実装の演習を行います。本演習では、最近の機械学習ライブラリの普及によりブラックボックス化され、かえって理解が困難になった機械学習アルゴリズムの基礎的な部分の理解を深めることを目的とし…

Windowsにて、TensorflowをインストールしてRNNのサンプルコードを実行してみる。１）Anaconda 3系をインストールする。 https://www.continuum.io/downloads２）pipを用いてtensorflowをインストールする。 > pip install tensorflow Anacondaのインストー…

以下、よく使うtensorflowの関数のリファレンスと、サンプルコードを簡単にまとめておく。 tf.shape & tf.unstack:各次元の大きさを取得 サンプルコード: x = tf.constant([[1,2,3],[4,5,6]]) z= tf.shape(x) z1,z2=tf.unstack(tf.shape(x)) out = sess.run(…

以下、overleafで、日本語を扱うためのリンク一覧： http://doratex.hatenablog.jp/entry/20150903/1441252705 https://qiita.com/suigin/items/b583b681c386d9339bfc http://adhara.hatenadiary.jp/entry/2016/12/11/142011

word2vecを使うために、python3.5.2（Anaconda 4.2.0)のgensimモジュールをインストールする。 > pip install gensim 簡単にインストールできたので、早速word2vecをimport出きるかどうか確認してみたところ、以下のようなMKLのエラーがでて落ちてしまった。…

MMD(Maximum Mean Discrepancy）は、カーネル平均場を用いたノンパラメトリックな分布間距離を表し、検定に用いられる。 以下、リファレンス。 Shengjia Zhao MMD variational Auto encoder http://szhao.me/2017/06/10/a-tutorial-on-mmd-variational-autoe…

形態素解析システムのMecabをインストールしてみた。 https://www.mlab.im.dendai.ac.jp/~yamada/ir/MorphologicalAnalyzer/MeCab.htmlインストール手順は、以下のサイトを参考にした。 https://qiita.com/elm200/items/2c2aa2093e670036bb30 mecab関連のパ…