今日から４日間Tokyo Deep Learning Workshopに参加している。発表を聞いて気になったところをメモる。
http://www.ms.k.u-tokyo.ac.jp/TDLW2018/
- Jun Zhu先生の発表
Bayesian Deep LearningのツールZhusuanの紹介．Tensorflow上で動く．
http://zhusuan.readthedocs.io/en/latest/
- Emtiyaz Khan先生の発表
RMSpropやAdamでの勾配の計算は，variational inferenceの場合複雑になるが、natural gradientを導入すると簡単になるとのこと．
詳細は、以下の論文を参照．
Conjugate-Computation Variational Inference - Emtiyaz Khan
https://emtiyaz.github.io/papers/ism_talk.pdf
https://arxiv.org/abs/1712.01038
https://emtiyaz.github.io/papers/vprop_poster.pdf
- klaus-robert mueller先生の発表
LRP: What makes a car a car
http://iphome.hhi.de/samek/pdf/BinICISA16.pdf
Deep Taylor Decomposition
http://heatmapping.org/deeptaylor/
- Tom Schaul先生の発表
cumulant c: 報酬のことrewardとは言わないみたい
Markov: (c, \gamma, \pi)
Universal value function approximators (UVFA)
http://proceedings.mlr.press/v37/schaul15.pdf
universal value function V(s, f): 入力が状態sだけではなく、Forecast fの表現方法もある
sとvをそれぞれtwo streamで学習して、統合する方法などがある
forecastは、質問に対応してる。例えば、Questions about reaching goal directions
- kevin murphy先生の発表
Neural Architecture Search (NAS)
learning transferable architecures for scalable image recognition
https://arxiv.org/pdf/1707.07012.pdf
Progressive neural architecture search
https://arxiv.org/abs/1712.00559
- 甘利先生
ニューラルネットワークを解析するために，ランダム（正規分布に従う）に接続したネットワークを考える
各レイヤーのニューロンが多いという仮定
ネットワークのフィッシャー情報行列は，対角ブロッグ行列で表せる。各ブロックはレイヤーに対応し、
ブロック内の要素はレイヤーのノードに対応している
フィッシャー情報行列は、ブロック行列とバイアスの接続を考慮すると３つの項の和の形に分解することができる。また、その逆行列も同じ形となり、解析的に求められる
この解析的求めた逆行列を用いて、勾配を計算する
- Pradeep Ravikumar先生
destructive approach
- Watanabe Sumio先生
Leverage sample point: a sample point that affects the statistical estimation result strongly
Widely Applicable Information Criterion (WAIC)
E[G] = E[W] + O(1/n^2)
E[W] = d/n
AICの拡張
Gは，損失関数
cross valication requires that {Xi, Yi} is independent
AIC and WAIC do that {Yi|Xi} is independent
- Le Song先生
fc層をkernel modelに置き換える
Algorithm: structured composition of manually designed operation
Embedded algorithm is flexible yet structured
モデルのノードをベクトル化（Embedding)
1. Identify structure
2. define graphical model
3. Embed inference algorithm
4. Link mebedding to target
5. Train
- Li Erran Li先生
3D Object Detection: recent Advances
N=H x W pixel image has O(N^2) windows
prior, anchor
Focal loss to handle extreme foreground-vs-background class imbalance
F-pointnet
3D Point Cloud Data: 3D点群データ
PointNet
Unordered Input
- Harada先生
Between Class Learning
複数カテゴリのデータを、ある割合でまぜて、NNにその割合を予測させる
BC Learning for Image: 異なるカテゴリの画像を合成する。その際にwaveformを用いる
少ないでデータのときに、精度が改善する、なぜ？
Fisher's criterionを用いて説明する。通常の分類問題はsmall Fisher criterionなので簡単すぎるが、
BC Learning for Imageを用いると、問題を難しくすることができる。
Domain Adaptation:
1) Maximize discrepancy by learning classifiers of categories in source domain
2) Minimize discrepancy by learning features
を繰り返す
GTA5で学習したモデルを実写のsemantic segmentationに応用
