Context-Aware Visual Compatibility Prediction

[kacky24]

short summary

GCNを、ファッションアイテム間のcompatibility予測に適用した論文。
単一のアイテム画像からの特徴量だけではなく、それに適合するアイテムを周辺ノードとしてエッジを貼ってGCNで考慮することで、精度を大きく向上。

Encoderでは、GCNの層を積むことで特徴抽出を行うが、この際、ランダムにエッジをサンプリングすることで、構造の変化や、エッジが少ない、存在しないアイテムに対してもロバストになる。
Decoderでは、以下の式で対象のcompatibilityを計算

結果

FITBとoutfit compatibilityでSOTA。（下図はpolyvoreの例）

contextを変えると結果も変わる

ただ、すでにcompatibilityが他アイテムと計算されている（すでにコーディネートで使われている、購入の共起があるなど）ことを前提としているため、完全に新商品同士とかだとそのままは使えないはず。

author

Guillem Cucurull
Element AI
gcucurull@elementai.com
Perouz Taslakian
Element AI
perouz@elementai.com
David Vazquez
Element AI
dvazquez@elementai.com

URL

https://arxiv.org/pdf/1902.03646.pdf

year

2019