s_Page_01
s_Page_02
s_Page_02
s_Page_03
s_Page_03
s_Page_04
 3 multiply
s_Page_05
 2 multiply
 3 multiply
s_Page_06
s_Page_07
s_Page_08
s_Page_09
s_Page_09
s_Page_09
s_Page_09
s_Page_09
s_Page_09
s_Page_09
s_Page_09
s_Page_09
s_Page_10
s_Page_10
s_Page_10
s_Page_10
s_Page_11
s_Page_11
s_Page_11
s_Page_11
s_Page_12
s_Page_12
s_Page_13
prediction
s_Page_13
prediction
s_Page_13
prediction
s_Page_14
s_Page_15
s_Page_15
s_Page_15
s_Page_15
s_Page_2
1.Define a bucket (variable) eliminationorder with the target variable c at theend.  e.g. g, e, b, a, f, d, c
2.“Fill bucket” : put each factor into thebucket that appears first in the order
gp(g|d,e)
ep(e)
bp(d|a,b) p(b)
ap(a)p(c|a)
fp(f|c,d)
d
c
Bucket Elimination to find P(c)
1.Define a bucket (variable) eliminationorder with the target variable c at theend.  e.g. g, e, b, a, f, d, c
2.“Fill bucket” : put each factor into thebucket that appears first in the order
gp(g|d,e)
ep(e)
bp(d|a,b) p(b)
ap(a)p(c|a)
fp(f|c,d)
d
c
Bucket Elimination to find P(c)
gp(g|d,e)
ep(e)
bp(d|a,b)p(b)
ap(a)p(c|a)
fp(f|c,d)
d
c
3.Marginalize the first bucket. Since theresult is 1, no new factor created.
1= 𝑔  𝑝(𝑔|𝑑,𝑒)
Bucket Elimination to find P(C)
gp(g|d,e)
ep(e)
bp(d|a,b) p(b)
ap(a)p(c|a) b(a,d)
fp(f|c,d)
d
c
4.Next bucket also marginalizes to 1.Continue to marginalize b and create anew factor b(a,d). Insert this factor tothe first appeared bucket.
 𝛾 𝑏 (𝑎,𝑑)= 𝑏  𝑝 𝑑 𝑎,𝑏 𝑝(𝑏)
Bucket Elimination to find P(C)
gp(g|d,e)
ep(e)
bp(d|a,b) p(b)
ap(a)p(c|a) b(a,d)
fp(f|c,d)
da(c,d)
c
5.Eliminate a and create new factor
 𝛾 𝑎 (𝑐,𝑑)= 𝑎  𝑝 𝑎 𝑝(𝑐|𝑎) 𝛾 𝑏 (𝑎,𝑑)
Bucket Elimination to find P(C)
gp(g|d,e)
ep(e)
bp(d|a,b) p(b)
ap(a)p(c|a) b(a,d)
fp(f|c,d)
da(c,d)
cd(c)
6.Eliminating f does not create any newfactor. Eliminating d adds a new factorback to bucket c, and eliminating ccompletes the process
1= 𝑓  𝑝 (𝑓|𝑐,𝑑) 
 𝛾 𝑑 (𝑐)= 𝑑   𝛾 𝑎 (𝑐,𝑑) 
𝑝(𝑐)∝ 𝛾 𝑑 (𝑐)
Bucket Elimination to find P(C)
In the previous order, the message is neverbigger than a 2-variable function. But if weeliminate d first, we will be in serioustrouble…
 𝛾 𝑑 (𝑎,𝑏,𝑐,𝑓,𝑔,𝑒)= 𝑑  𝑝 𝑑 𝑎,𝑏 𝑝 𝑓 𝑑,𝑐 𝑝(𝑔|𝑒,𝑑)
Elimination Order is to the Key to Complexity
In the previous order, the message is neverbigger than a 2-variable function. But if weeliminate d first, we will be in serioustrouble…
Elimination Order is to the Key to Complexity
Reconstituted graph:add edges to allneighbors in amoralized graph afterthe removal of a node
 𝛾 𝑑 (𝑎,𝑏,𝑐,𝑓,𝑔,𝑒)= 𝑑  𝑝 𝑑 𝑎,𝑏 𝑝 𝑓 𝑑,𝑐 𝑝(𝑔|𝑒,𝑑)
In the previous order, the message is neverbigger than a 2-variable function. But if weeliminate d first, we will be in serioustrouble…
Elimination Order is to the Key to Complexity
Reconstituted graph:add edges to allneighbors in amoralized graph afterthe removal of a node
It’s NP hard tominimize the size ofcliques in thereconstituted graph!
 𝛾 𝑑 (𝑎,𝑏,𝑐,𝑓,𝑔,𝑒)= 𝑑  𝑝 𝑑 𝑎,𝑏 𝑝 𝑓 𝑑,𝑐 𝑝(𝑔|𝑒,𝑑)
s_Page_3
s_Page_3
s_Page_3
s_Page_4
s_Page_4
s_Page_5
(<5)
s_Page_5
(<5)
s_Page_5
(<5)
s_Page_5
(<5)
s_Page_6
s_Page_6
s_Page_6
s_Page_6
s_Page_6
s_Page_7
s_Page_7
s_Page_7
s_Page_7
s_Page_8
s_Page_8