覚え書きブログ

Tokyo Deep Learning Workshop2018

今日から4日間Tokyo Deep Learning Workshopに参加している。発表を聞いて気になったところをメモる。
http://www.ms.k.u-tokyo.ac.jp/TDLW2018/

  • Jun Zhu先生の発表

Bayesian Deep LearningのツールZhusuanの紹介.Tensorflow上で動く.
http://zhusuan.readthedocs.io/en/latest/

  • Emtiyaz Khan先生の発表

RMSpropやAdamでの勾配の計算は,variational inferenceの場合複雑になるが、natural gradientを導入すると簡単になるとのこと.
詳細は、以下の論文を参照.
Conjugate-Computation Variational Inference - Emtiyaz Khan
https://emtiyaz.github.io/papers/ism_talk.pdf
https://arxiv.org/abs/1712.01038
https://emtiyaz.github.io/papers/vprop_poster.pdf

  • klaus-robert mueller先生の発表

LRP: What makes a car a car
http://iphome.hhi.de/samek/pdf/BinICISA16.pdf

Deep Taylor Decomposition
http://heatmapping.org/deeptaylor/

  • Tom Schaul先生の発表

cumulant c: 報酬のことrewardとは言わないみたい
Markov: (c, \gamma, \pi)

Universal value function approximators (UVFA)
http://proceedings.mlr.press/v37/schaul15.pdf

universal value function V(s, f): 入力が状態sだけではなく、Forecast fの表現方法もある
sとvをそれぞれtwo streamで学習して、統合する方法などがある
forecastは、質問に対応してる。例えば、Questions about reaching goal directions

  • kevin murphy先生の発表

Neural Architecture Search (NAS)
learning transferable architecures for scalable image recognition
https://arxiv.org/pdf/1707.07012.pdf

Progressive neural architecture search
https://arxiv.org/abs/1712.00559

  • 甘利先生

ニューラルネットワークを解析するために,ランダム(正規分布に従う)に接続したネットワークを考える
各レイヤーのニューロンが多いという仮定
ネットワークのフィッシャー情報行列は,対角ブロッグ行列で表せる。各ブロックはレイヤーに対応し、
ブロック内の要素はレイヤーのノードに対応している
フィッシャー情報行列は、ブロック行列とバイアスの接続を考慮すると3つの項の和の形に分解することができる。また、その逆行列も同じ形となり、解析的に求められる
この解析的求めた逆行列を用いて、勾配を計算する

  • Pradeep Ravikumar先生

destructive approach

  • Watanabe Sumio先生

Leverage sample point: a sample point that affects the statistical estimation result strongly
Widely Applicable Information Criterion (WAIC)
E[G] = E[W] + O(1/n^2)
E[W] = d/n
AICの拡張
Gは,損失関数

cross valication requires that {Xi, Yi} is independent
AIC and WAIC do that {Yi|Xi} is independent

  • Le Song先生

fc層をkernel modelに置き換える
Algorithm: structured composition of manually designed operation
Embedded algorithm is flexible yet structured
モデルのノードをベクトル化(Embedding)

1. Identify structure
2. define graphical model
3. Embed inference algorithm
4. Link mebedding to target
5. Train

  • Li Erran Li先生

3D Object Detection: recent Advances
N=H x W pixel image has O(N^2) windows

prior, anchor
Focal loss to handle extreme foreground-vs-background class imbalance
F-pointnet
3D Point Cloud Data: 3D点群データ
PointNet
Unordered Input

  • Harada先生

Between Class Learning
複数カテゴリのデータを、ある割合でまぜて、NNにその割合を予測させる
BC Learning for Image: 異なるカテゴリの画像を合成する。その際にwaveformを用いる
少ないでデータのときに、精度が改善する、なぜ?
Fisher's criterionを用いて説明する。通常の分類問題はsmall Fisher criterionなので簡単すぎるが、
BC Learning for Imageを用いると、問題を難しくすることができる。

Domain Adaptation:
1) Maximize discrepancy by learning classifiers of categories in source domain
2) Minimize discrepancy by learning features
を繰り返す

GTA5で学習したモデルを実写のsemantic segmentationに応用

Alexaの覚え書き(設定と簡単なテスト)

まず、初期設定はスマートフォンアプリの「Amazon Alexa」を用いて行う。
アプリを開き、メニューから「設定」を選択して、「新しいデバイスをセットアップ」ボタンを押す。
以下のような画面が出るので、デバイス(今回はEcho Dot)を選択し、あとはガイドに従って設定をすればよい。
f:id:hirotaka_hachiya:20180221172241j:plain:w150

Amazon関連のスキル(いわゆるアプリ)はデフォルトで入っているが、それ以外にも様々なスキルが提供されている。
Amazon以外のスキルは、上記Amazon Alexaのメニューから「スキル」を選択して、以下のような画面を表示して好きなものをインストールする。
f:id:hirotaka_hachiya:20180221172746j:plain:w150

radikoクックパッドなどが人気があるようだ。
https://robotstart.info/2018/02/20/alexa-ranking-201801.html


以下は、Amazon musicで音楽を聴きながら、Alexにいろいろ聞いてみた例。
youtu.be

スキルを独自に開発するためには、AWSAWSデベロッパーへの登録が必要となる。
AWS
https://aws.amazon.com/jp/

AWSデベロッパー:
https://developer.amazon.com/ja/

それぞれ右上にある「コンソール」をクリックして新規にアカウントの登録すればよい。
AWSの登録にはクレジットカードが必要になるが、「Free」アカウントとして登録すれば特にお金はかからない(はず?)。

G360+Theta S

Feiyu-techの360度カメラ用のジンバルG360に、Theta Sを取り付けて動画を撮影してみた。

撮影した動画をyoutubeにアップするためには、以下の手順に従って動画を変換する必要がある。
theta360.com

1)Windows上でソフトウェア「RICOH THETA」を起動し、Theta Sで撮影した動画をドラッグアンドドロップし、変換(2眼画像の結合)する。
2)次にGoogleが提供している「Spatial Media Metadata Injector」を実行し読み込み、Youtubeに投稿用のメタデータを付加する
github.com

あとは通常通りYoutubeにアップするだけ。以下は試し撮りした動画。

【G360のパンをロックした場合】
www.youtube.com

【G360のパンを追従モードにした場合】
www.youtube.com