012$,-#3$&')2.3-.3)fodava.gatech.edu/files/review2010/umass_fodava2010_part1.pdf ·...
TRANSCRIPT
!"#$%&'()*'$+#,-#.)&%) ) ))/$+012$,-#3$&#"')2"."3-.3)
4536)78$(0"8)!"0"(-9"#:);<$)="#+))
>'"?-)@&3.-8:)*8,$.")A"B&'$:)4-.-8)A8"C:))D0"#+)="#+)E5>!);-3-"8F0G))
)2-H"8.,-#.)&%)D&,H<.-8)7F$-#F-)
I#$9-83$.J)&%)!"33"F0<3-K3:)*,0-83.)
L<.'$#-)
• 48&B'-,6).8"#3%-8)'-"8#$#+)"F8&33)(&,"$#3)– /&M).&).8"#3%-8)?#&M'-(+-)"F8&33)."3?3N)
• 7&'<O))– @$#(),"#$%&'(1B"3-()H8&P-FO)&%)&8$+$#"')("."))– *'$+#)H8&P-F.-()(".")$#)'&M-81($,-#3$&#"')3H"F-)
• *HH'$F"O$)– D8&33)'$#+<"')5;:)"FO9$.J)8-F&+#$O&#:)8-$#%&8F-,-#.)'-"8#$#+)
• *FF-'-8"O&#)<3$#+)Q4I)
RS",H'-6)D8&331T$#+<"');-.8$-9"')
7$+#&8")48-3$(-#.-:)$#.-89-#+&)H-8)<#"),&U$&#-)(V&8($#-WD&,-)"98X)'-K&)3<$)+$&8#"'$)&)3-#O.&)"''").-'-9$3$&#-:)$#)78$)T"#?")3$)3&#&)9-8$YF"O)#<,-8&3$)"33"33$#$$)-()-3H'&3$&#$)($)&8($+#$W
!"(",)48-3$(-#.:)&#)")H&$#.)&%)&8(-8W)Z&<)M$'')B-)"M"8-)%8&,).0-)H8-33)"#().-'-9$3$&#).0".).0-8-)0"9-)B--#)")#<,B-8)&%)B&,B)-SH'&3$)"#()?$''$#+3)$#)78$)T"#?"W
Englishdocuments
Italiandocuments
@8"<)48[3$(-#O#:)U<8)Q-3F0[\3&8(#<#+W)=$-)7$-)3$F0-8)"<3)(-8)48-33-)<#()(-,)@-8#3-0-#)M$33-#:)+"B)-3)$#)78$)T"#?"),-08-8-)>&,B-#-SH'&3$&#-#),$.)U"0'8-$F0-#)]&.-#W
Germandocuments
;&3-K")7.&#-)
D"89-()$#)^_`)>D))2$3F&9-8-()$#))^a__)*2))4"9-().0-)M"J).&))(-F$H0-8,-#.)&%))0$-8&+'JH0$F3)
R+JHO"#))0$-8&+'JH0$F3)
2-,&OF)
Q8--?)
A#&M'-(+-)]8"#3%-8)
flowers, grass, tiger, water!
TEXT
AUDIO
LATENT SPACE
A#&M'-(+-)]8"#3%-8)$#);-$#%&8F-,-#.)T-"8#$#+)
=0J)$3)]8"#3%-8)2$bF<'.)
• 2".")$3)<3<"''J)0$+01($,-#3$&#"')Ec^dd:ddd)($,-#3$)&8),&8-G)
• ]0-)3&<8F-)"#()."8+-.)(&,"$#3),"J)0"9-)($3O#F.)%-".<8-3)
• D&88-3H&#(-#F-3)$#).0-)&8$+$#"')3H"F-)"8-)($bF<'.).&)Y#()(<-).&).0-)0$+0)($,-#3$&#"'$.J)
D'"33$F"')7&'<O).&)*'$+#,-#.)
• D"#&#$F"')D&88-'"O&#"')*#"'J3$3)E/&.-''$#+G)– *#"'&+&<3).&)4D*)"F8&33).M&)(".")3-.3)– @$#()")'$#-"8)H8&P-FO&#)&%)-"F0)(&,"$#).0".),"S$,$U-3)F&88-'"O&#)"F8&33)(&,"$#3)
• 2J#",$F)]$,-)="8H$#+)Ee<"#+G)– I3-()$#)"'$+#$#+)O,-)3-8$-3)(".")– >"3-()&#)(J#",$F)H8&+8",,$#+)
• L<8)"HH8&"F06)Y#()"'$+#,-#.3)BJ)-SH'$F$.'J),&(-'$#+).0-)<#(-8'J$#+)("."),"#$%&'()
!"#$%&'()*'$+#,-#.)
X2
F1
g
X1
F2
Two-step alignment Example: Procrustes alignment
(Wang and Mahadevan, ICML 2008)
X2X1
F1
Latent Space
X3
F1+ F2
F2+
F3 F3+
One-step alignment Example: Manifold Projections
(Wang and Mahadevan, IJCAI 2009)
*)7H-F.8<,)&%)!"#$%&'()*'$+#,-#.)*HH8&"F0-3)
Given correspondences
Given labels
Unsupervised alignment
Preserve Local geometry
Preserve Global geometry
One-step alignment
Two-step alignment
Feature-level
Instance-level
)))))))!"#$"%&'(&)*+,-./(.'))))))))))))))))) ) )0*.,1#+2)!"#3($4#.&)50!6))))))))))))))) )78'(.&,#.&)#1)0!)
@-".<8-1'-9-')!"#$%&'()48&P-FO&#)
],1[for
],,...,[
.],,...,[
1
1
liyx
RyyyY
RxxxX
ii
qjn
pim
!"
!=
!=
1 11 1ß
a
!"#$%&'()48&P-FO&#)"#()*'$+#,-#.)
],1[for
],,...,[
.],,...,[
1
1
liyx
RyyyY
RxxxX
ii
qjn
pim
!"
!=
!=
!"#$%&'()48&P-FO&#)"#()*'$+#,-#.)
!!!! "+"+"=ji
jiyj
Ti
T
ji
jixj
Ti
T
i
jij
Ti
T
j
WyyWxxWyxC
C
,
,2
,
,2,2 )(5.0)(5.0)(),(
where,),(function cost theminimize to, functions mapping find want toWe
##$$#$µ#$
#$#$
],1[for
],,...,[
.],,...,[
1
1
liyx
RyyyY
RxxxX
ii
qjn
pim
!"
!=
!=
!"#$%&'()48&P-FO&#)"#()*'$+#,-#.)
!!!! "+"+"=ji
jiyj
Ti
T
ji
jixj
Ti
T
i
jij
Ti
T
j
WyyWxxWyxC
C
,
,2
,
,2,2 )(5.0)(5.0)(),(
where,),(function cost theminimize to, functions mapping find want toWe
##$$#$µ#$
#$#$
The first term encourages the corresponding instances from different domains to be projected to similar locations. Wi,j=1, when xi and yj are in correspondence; 0, otherwise.
],1[for
],,...,[
.],,...,[
1
1
liyx
RyyyY
RxxxX
ii
qjn
pim
!"
!=
!=
!"#$%&'()48&P-FO&#)"#()*'$+#,-#.)
- When 1:1 correspondence is given (xi!"yi for i<=l):
- When many:many correspondence is given, set corresponding entries to 1.
- When nothing is given, we can use local geometry information to fill in this matrix. (IJCAI 2009)
!!!! "+"+"=ji
jiyj
Ti
T
ji
jixj
Ti
T
i
jij
Ti
T
j
WyyWxxWyxC
C
,
,2
,
,2,2 )(5.0)(5.0)(),(
where,),(function cost theminimize to, functions mapping find want toWe
##$$#$µ#$
#$#$
The first term encourages the corresponding instances from different domains to be projected to similar locations. Wi,j=1, when xi and yj are in correspondence; 0, otherwise.
!!!!!!!!!!
"
#
$$$$$$$$$$
%
&
=
0...
00
1...
11
W
],1[for
],,...,[
.],,...,[
1
1
liyx
RyyyY
RxxxX
ii
qjn
pim
!"
!=
!=
!"#$%&'()48&P-FO&#)"#()*'$+#,-#.
The second and third terms encourage the neighborhood relationship within X and Y to be preserved in the mappings. Wx
i,j: similarity of xi and xj in the original space. Wy
i,j: similarity of yi and yj in the original space.
],1[for
],,...,[
.],,...,[
1
1
liyx
RyyyY
RxxxX
ii
qjn
pim
!"
!=
!=
!!!! "+"+"=ji
jiyj
Ti
T
ji
jixj
Ti
T
i
jij
Ti
T
j
WyyWxxWyxC
C
,
,2
,
,2,2 )(5.0)(5.0)(),(
where,),(function cost theminimize to, functions mapping find want toWe
##$$#$µ#$
#$#$
D&,H"8$3&#)M$.0)D"#&#$F"')D&88-'"O&#)*#"'J3$3)EDD*G
],1[for
],,...,[
.],,...,[
1
1
liyx
RyyyY
RxxxX
ii
qjn
pim
!"
!=
!=
!!!! "+"+"=ji
jiyj
Ti
T
ji
jixj
Ti
T
i
jij
Ti
T
j
WyyWxxWyxC
C
,
,2
,
,2,2 )(5.0)(5.0)(),(
where,),(function cost theminimize to, functions mapping find want toWe
##$$#$µ#$
#$#$
)/&M).&)F&,H<.-)H8&P-FON
!!)
Optimal Solution:
/&M).&)F&,H<.-)H8&P-FON)
!!)
Optimal Solution: (1) Construct Z, L, D using X, Y and W (the correspondences).
Create a joint domain. ( use correspondences if available)
)/&M).&)F&,H<.-)H8&P-FO)
!!)
Optimal Solution: (1) Construct Z, L, D using X, Y and W (the correspondences).
of seigenvalue smallestthe toing correspond rseigenvectothe by givenare minimize to :1 Theorem (2)
.
),(,
!"!
#$#$
TT ZDZZLZ
C
=
Create a joint domain. ( use correspondences if available)
Project the joint domain to a lower dimensional space.
/&M).&)F&,H<.-)H8&P-FON
!!)
.reigenvecto minimum theis where],,...,[ )3( 1th
id i!!!"
#=$
%
&'(
)
Optimal Solution: (1) Construct Z, L, D using X, Y and W (the correspondences).
of seigenvalue smallestthe toing correspond rseigenvectothe by givenare minimize to :1 Theorem (2)
.
),(,
!"!
#$#$
TT ZDZZLZ
C
=
Create a joint domain. ( use correspondences if available)
Project the joint domain to a lower dimensional space.
48&.-$#)*'$+#,-#.)
YX
T
T
],,[
],,[
321
321
!!!
"""
YX
T
T
],[
],[
21
21
!!
""Y
XT
T
1
1
!
"
YX
Q-#-8"')@8",-M&8?)%&8)"#$%&'()!*+',-./'$!
• 5#3."#F-1'-9-')
01 .206)T"H'"F$"#)-$+-#,"H3)E>-'?$#:)f$J&+$:)gddhG)31 .234!53204!6#47)$3)"#)$(-#O.J),".8$S6)7-,$13<H-89$3-()"'$+#,-#.)E/",:)-.W)"'W)gddiG)81 .234!53294!6#47)$3)"#)$(-#O.J),".8$S6)f'$#-"8)D"#&#$F"')D&88-'"O&#)*#"'J3$3):1 ;;!
• @-".<8-1'-9-')
01 .206)T&F"'$.J)48-3-89$#+)48&P-FO)E/-:)f$J&+$:)gddhG)31 .234!53294!6#47)$3)"#)$(-#O.J),".8$S6)D"#&#$F"')D&88-'"O&#)*#"'J3$3)E/&.-''$#+:)^_h`G)81 <$=>?-+@%=-)!A#$%&'()!#(%B$A-$C)E="#+:)!"0"(-9"#:)5eD*5)d_G):1 .234!53204!6#47)$3)")3J,,-.8$F),".8$S)D1 .E36)!<'OH'-),"#$%&'()"'$+#,-#.)F1 111111!
j="#+)"#()!"0"(-9"#:)***5)@"'')7J,H&3$<,)gdd_k)5eD*5)gdd_l))
R<8&H-"#)4"8'$",-#.)4"8"''-')D&8H<3)• !"#"$%%• ) &'()*+)R#+'$3015."'$"#1Q-8,"#)(&F<,-#.).8$H'-3W) ))• ) ]0&3-)(&F<,-#.3)0"9-)m),&'('''(''')M&8(3W))
• -."#/0.1$%• ) 2,$)R#+'$30)(&F<,-#.3)"8-)8-H8-3-#.-()BJ).0-),&3.)F&,,&#'J)<3-()3(*''%4567819%:;0<1W))
• ) 23$)5."'$"#)(&F<,-#.3)"8-)8-H8-3-#.-()BJ).0-),&3.)F&,,&#'J)<3-()3(*''%=#"78"5%:;0<1W)
• % 2>$)Q-8,"#)(&F<,-#.3)"8-)8-H8-3-#.-()BJ).0-),&3.)F&,,&#'J)<3-()3(*''%?.0@"5%:;0<1W
RI)4"8"''-')D&8H<36);-3<'.3
RI)4"8"''-')D&8H<3)• 5#.-8H8-."O&#)&%),"HH$#+)%<#FO$))
)9:;<=:)=>)?=>@@AB)>C@@D>@@)/*'",8))9>;<E:)E>)?E>@@AB)>C@@D>@@)/*'",8)
)))))9F;<G:)G>)?G>@@AB)>C@@D>@@)/*'",8))
X2X1
F1
Latent Space
X3
F1+ F2
F2+
F3 F3+
5
4
3
2
1
!
!
!
!
!
5
4
3
2
1
!
!
!
!
!
5
4
3
2
1
!
!
!
!
!
]0-)5#(<3)7F8$H. ) ))Egidd)>DG)
• !"#"$%%• ) ,*)+)n(&F<,-#.3o)p)($q-8-#.)3-"'3)• ) &''')nM&8(3o)p)3J,B&'3)&#).0-)3-"'3)E>&&)<#$r<-G)• !"#J)F&,H-O#+)$#F$3.-#.)F'"$,3)&%)(-F$H0-8-,-#.)• 53).0$3)")'"#+<"+-)E;"&)-.)"'W:)7F$-#F-:)4f*7G)
• A9"77.56.1$%• ) =-)0"9-)#&)H"8"''-')F&8H<3:)#&);&3-K")7.&#-)• ) ]0-)(&F<,-#.13J,B&'),".8$S)$3)3H"83-)• % !"#J)&%).0-)(&F<,-#.3)"8-)9-8J)30&8.
!"#$%&'()*'$+#,-#.)&9-8)O,-)
• D!I)!<'O,&("')"FO9$.J)("."3-.)– ?$.F0-#WF3WF,<W-(<)
• !-"3<8-)0<,"#)"FO9$.J)M0$'-)F&&?$#+)– g`)3<BP-F.3)– i)($q-8-#.)8-F$H-3)
• !"#J)3-#3&836)– D",-8"3)– ;@52)– *<($&)– e&$#.)"#+'-3)
]-,H&8"')*'$+#,-#.)&%)*FO9$O-3)
7F"'$#+).&);-"''J)T"8+-)48&B'-,3)
• 2"."),$#$#+)"),$''$&#)B&&?3s)– f7@)T"8+-)557)48&P-F.6)e",-3)*''"#:)45:)IW!"33)
• ]8"#3%-8)'-"8#$#+)$#);-$#%&8F-,-#.)T-"8#$#+)– >"F?+",,&#)E^dgd)3.".-3sG:)Q&)E^d^ad)3.".-3ssG)
• D!I)!<'O1,&("')"FO9$.J)("."3-.)– !"#J)3-#3&8),&("'$O-3:)0$+0)%8",-)8".-)