覚え書きブログ

データ解析

Tokyo Deep Learning Workshop2018

今日から4日間Tokyo Deep Learning Workshopに参加している。発表を聞いて気になったところをメモる。 http://www.ms.k.u-tokyo.ac.jp/TDLW2018/ Jun Zhu先生の発表 Bayesian Deep LearningのツールZhusuanの紹介.Tensorflow上で動く. http://zhusuan.rea…

Pythonの覚え書き(よく使い方を忘れる関数のメモ)

複数のグラフのプロット fig, figInds = plt.subplots(nrows=2, ncols=2) figInds[0,0].plot(xxx) figInds[0,0].set_title('xxx') figInds[0,1].plot(yyy) figInds[0,1].set_title('yyy') figInds[1,0].plot(zzz) figInds[1,0].set_title('zzz') figInds[1,1…

kitti関連の覚え書き

kittiのメインページ http://www.cvlibs.net/datasets/kitti/ kittiデータセットに関する論文 http://ww.cvlibs.net/publications/Geiger2013IJRR.pdf kittiのアノテーションのフォーマット github.com https://github.com/NVIDIA/DIGITS/issues/866以下フォ…

tensorflowのソースからのビルド

以下のnn_ops.pyのconv1_transpose(1D deconv)を使いたく、最新版のtensorflowをソースからビルドしてみた。なお、現時点(2017/12/30)でpipでインストール可能なtensorflow v1.4.1は、まだconv1d_transposeは対応していない。 https://github.com/tensor…

ubunt16.04のインストール(DELL precision tower, GALLERIA ZZ + GTX1080ti)

久しぶりにPCのセットアップを行ったのでメモっておく。 ubuntu16.04LTSのインストール nomodesetを設定してインストール CUDA8とCUDNN6のインストール Anaconda3のインストール tensorflowのインストール GALLERIA ZZの有線LANドライバのインストール 今回…

The 3rd Big Data Analysis Contest

経済産業省が主催している太陽光発電所の発電量予測コンテストに、研究室の学生の勉強を目的に参加した。 昨日が締め切りだったのだが、131人中23位だった。学生たちは、今回が初めてのデータ解析だったので、なかなか良い結果だったと思う。今後に期待。

Pythonによる機械学習6(2/4)

<< Pythonによる機械学習6(1/4)【Pythonによる機械学習6(2/4)の目次】 線形回帰のテンプレート 演習2 行列演算による高速化 演習3 線形回帰の実行例 線形回帰のテンプレート intelligentSystemTrainingフォルダ下の線形回帰のテンプレートregres…

Pythonによる機械学習6(1/4)

【Pythonによる機械学習6(1/4)の目次】 回帰問題とは 線形回帰問題の定式化 最小二乗法によるモデルパラメータの最適化 線形回帰モデルのデータの準備 学習データの構造 演習1 回帰問題とは 線形回帰問題の定式化 最小二乗法によるモデルパラメータの…

Pythonによる機械学習4(4/4)

<< Pythonによるデータ解析4(3/4)【Pythonによる機械学習4(4/4)の目次】 画像分類ニューラルネットワークの学習と評価 画像分類の結果の可視化 演習2 演習&宿題 その他の分類課題の例 データセットの提供サイト 画像分類ニューラルネットワー…

Pythonによる機械学習4(3/4)

<< Pythonによるデータ解析4(2/4)【Pythonによる機械学習4(3/4)の目次】 手書き文字画像の分類 画像特徴量の抽出 学習と評価データの準備 手書き文字画像の分類 画像分類の題材として、手書き文字画像のMNISTを用います。MNISTにおける課題は、…

Pythonによる機械学習4(2/4)

<< Pythonによるデータ解析4(1/4)【Pythonによる機械学習4(2/4)の目次】 TF-IDF特徴量の抽出 ニューラルネットワークの学習と評価 感情分類の結果の可視化 演習1 TF-IDF特徴量の抽出 今回は、比較的実装が容易なTF-IDF特徴量を用います。なお、…

Pythonによる機械学習4(1/3)

前回までは、ロジスティック回帰とニューラルネットワークを題材に、機械学習のアルゴリズムの開発を経験しました。機械学習のアルゴリズムの開発は、高校・大学で学んだ微積分、線形代数、確率、情報理論およびプログラム言語を駆使して、以下のような手順…

Pythonによる機械学習3(3/3)

<< Pythonによる機械学習3(2/3)【Pythonによる機械学習3(3/3)の目次】 演習2 演習3 ニューラルネットワークの実行例 中間層のノード数と交差エントロピー損失の関係 宿題 演習2 以下の【シグモイド関数の計算】を実装し、lossとsigmoidメソッド…

Pythonによる機械学習3(2/3)

<< Pythonによるデータ解析3(1/3)【Pythonによる機械学習3(2/3)の目次】 難しいデータに対するロジスティック回帰 ニューラルネットワークのテンプレート 難しいデータに対するロジスティック回帰 前回作成したロジスティック回帰を、多峰性のあ…

Pythonによる機械学習3(1/3)

前回のロジスティック回帰の構成を2階層のニューラルネットワークと解釈したのち、中間層を導入し非線形な表現が可能な3階層のニューラルネットワークを実装していきます。【Pythonによる機械学習3(1/3)の目次】 ロジスティック回帰の構成 3階層のニ…

Pythonによる機械学習2(4/4)

<< Pythonによる機械学習2(3/4)ここでは、ロジスティック回帰のテンプレートで、まだ未実装の最急降下法(updateメソッド)と交差エントロピー(lossメソッド)を実装し、完成させていきます。【Pythonによる機械学習2(4/4)の目次】 演習2 演習…

Pythonによる機械学習2(3/4)

<< Pythonによる機械学習2(2/4)【Pythonによる機械学習2(3/4)の目次】 ロジスティック回帰のテンプレート ロジスティック回帰のテンプレートの実行 ロジスティック回帰のテンプレート 人工データの準備が整ったので、次はロジスティック回帰の実…

Pythonによる機械学習2(2/4)

<< Pythonによる機械学習2(1/4)【Pythonによる機械学習2(2/4)の目次】 学習データの構造 人工データの取得 学習データの構造 ロジスティック回帰などの機械学習アルゴリズムの実装では、学習データを、よく以下のような行列構造で表現します。 …

Pythonによる機械学習2(1/4)

今回は、まず、人工知能(3セメ)で学んだロジスティックモデル(2階層のニューラルネットワーク)を簡単に復習し、モデルのパラメータの勾配を手計算で求めます。 そして、ソフトマックス、交差エントロピー、事後確率および最急降下法のメソッドを持つ2階…

Pythonによる機械学習1(4/4)

【Pythonによる機械学習1(4/4)の目次】 matplotlib.pylabを用いたプロット オブジェクト指向のPythonスクリプトの例 宿題 matplotlib.pylabを用いたプロット Pythonでは、グラフのプロットにmatplotlibライブラリが用いられます。 以下は、matplotlib…

Pythonによる機械学習1(3/4)

【Pythonによる機械学習1(3/4)の目次】 for文とIf文とリスト内包表記 演習3 for文とIf文とリスト内包表記 pythonのfor文とif文には、C言語と類似の記述をする通常のものと、リストの括弧[]内に記述するリスト内包表記があります。【通常のfor文とif文…

Pythonによる機械学習1(2/4)

【Pythonによる機械学習1(2/4)の目次】 数値演算のスクリプトの例 pdbを用いたデバッグ 演習2 数値演算のスクリプトの例 以下は、数値計算用のライブライrnumpyを用いた線形代数の行列演算を実行するスクリプトの例です。 具体的には、3x3の行列WHお…

人工知能の講義資料

難しすぎると不評だった人工知能の講義資料。来年度は、表面的な簡単な内容に改変し、さらに強化学習を追加する予定。人工知能 第10回 線形サポートベクトルマシンによる学習を理解する 人工知能10 サポートベクトルマシン from Hirotaka Hachiya www.slides…

Pythonによる機械学習1(Pythonの基礎 1/4)

データ解析を題材に、Pythonを用いた機械学習アルゴリズムの実装の演習を行います。本演習では、scikit-learn、tensorflow, caffe, chanierなどの機械学習のライブラリの整備が進むなか、あえてそれらの機械学習ライブラリは使わずに3階層のニューラルネット…

Tensorflowの覚え書き(RNNのサンプルコードを実行するまで)

Windowsにて、TensorflowをインストールしてRNNのサンプルコードを実行してみる。1)Anaconda 3系をインストールする。 https://www.continuum.io/downloads2)pipを用いてtensorflowをインストールする。 > pip install tensorflow Anacondaのインストー…

tensor flowの覚え書き(よく使う関数のサンプルコード)

以下、よく使うtensorflowの関数のリファレンスと、サンプルコードを簡単にまとめておく。 tf.shape & tf.unstack:各次元の大きさを取得 サンプルコード: x = tf.constant([[1,2,3],[4,5,6]]) z= tf.shape(x) z1,z2=tf.unstack(tf.shape(x)) out = sess.run(…

gensim(word2vec)のインストール

word2vecを使うために、python3.5.2(Anaconda 4.2.0)のgensimモジュールをインストールする。 > pip install gensim 簡単にインストールできたので、早速word2vecをimport出きるかどうか確認してみたところ、以下のようなMKLのエラーがでて落ちてしまった。…

Maximum Mean Discrepancy (MMD)

MMD(Maximum Mean Discrepancy)は、カーネル平均場を用いたノンパラメトリックな分布間距離を表し、検定に用いられる。 以下、リファレンス。 Shengjia Zhao MMD variational Auto encoder http://szhao.me/2017/06/10/a-tutorial-on-mmd-variational-autoe…

Mecabのインストール

形態素解析システムのMecabをインストールしてみた。 https://www.mlab.im.dendai.ac.jp/~yamada/ir/MorphologicalAnalyzer/MeCab.htmlインストール手順は、以下のサイトを参考にした。 https://qiita.com/elm200/items/2c2aa2093e670036bb30 mecab関連のパ…

Unity ML Agents

強化学習の研究者に朗報。ついに、Unityが公式に機械学習エージェント用のAPIを発表しました。 まだ、ベータ版ですが、Unity Machine Learning Agentsというものです。 github.com以下実装の例を紹介しているサイト。 https://blogs.unity3d.com/jp/2017/09/…