preventing the unnecessary propagation of bgp withdraws · v. van den schrieck - networking 2009...

Networking 2009, May 13th

Preventing the unnecessary propagation

of BGP withdraws

V. Van den Schrieck, P. François, C. Pelsser, O.Bonaventurehttp://inl.info.ucl.ac.be

http://inl.info.ucl.ac.be


V. Van den Schrieck - Networking 2009

Agenda

• Introduction

• Presentation and evaluation of iBGP-caused withdraws

• Preventing iBGP-caused withdraws

✓ Advertising more than one path in iBGP (IETF)

✓ Our proposal : Advertising the availability of alternate paths in iBGP

2


Agenda

• Introduction





3


BGP, the glue of the Internet

• Border Gateway Protocol - Interdomain routing protocol used in the Internet

• Exchange paths to destinations between Autonomous Systems (AS)

✓ Each router advertises its best path to its BGP peers

✓ Selection process : Several rules

• A path is described by the AS Path, i.e. the sequence of AS that leads to the path destination

4


BGP

5

P

AS1

AS3

AS4

AS2

AS5

AS6


BGP

5

P

AS1

AS3

AS4

AS2

AS5

AS6> P : local


BGP

5

P

AS1

AS3

AS4

AS2

AS5

AS6

P : 1

P : 1

> P : local


BGP

5

P

AS1

AS3

AS4

AS2

AS5

AS6> P : local

> P : 1

> P : 1


BGP

5

P

AS1

AS3

AS4

AS2

AS5

AS6> P : local

P : 3 1 > P : 1

> P : 1

P : 2 1


BGP

5

P

AS1

AS3

AS4

AS2

AS5

AS6> P : local

> P : 3 1> P : 1

> P : 1

> P : 2 1


BGP

5

P

AS1

AS3

AS4

AS2

AS5

AS6> P : local

> P : 3 1> P : 1

> P : 1

> P : 2 1 P : 4 3 1

P : 5 2 1

P : 5 2 1


BGP

5

P

AS1

AS3

AS4

AS2

AS5

AS6> P : local

> P : 3 1> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 3 1 P : 5 4 3 1


iBGP vs eBGP

• An Autonomous System has several routers

• All routers of an AS need to learn the paths to all destination advertised to the AS

✓ BGP sessions between routers of the AS : iBGP

- Specific iBGP rule : Do not advertise an iBGP-received path on an iBGP session

- Exception : Route Reflectors

✓ BGP sessions between routers of different AS : eBGP

6


iBGP vs eBGP

7

AS1

AS3

AS4

AS2AS6

AS5R1

R2

eBGP sessioniBGP session


Agenda

• Introduction





8


BGP Churn

• Churn is one of today’s BGP issues

• Churn : High number of unnecessary BGP messages

✓ Unnecessary : Do not impact the final routing state

• Consequences :

✓ Load on router’s CPU

✓ Transient losses of reachability

9


BGP Churn

10

http://bgpupdates.potaroo.net/instability/bgpupd.html

• Average daily number of BGP updates : 400.000




Origin of BGP churn

• Path exploration during BGP convergence

• Flapping prefixes

• Bad iBGP propagation

✓ Routers without path diversity could send unnecessary BGP withdraws in case of failure

✓ Even tough alternate paths exist in the AS

11


Bad iBGP propagation

12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1

2 paths

1 path


Origins of bad iBGP propagation

• Only best path announced on iBGP sessions

• One path preferred over all others => alternate paths are never propagated

✓ Path quality (AS path length)

✓ BGP policies (Local preference)

• Complex iBGP organizations

✓ Paths hidden by Route Reflectors

13


Withdraw Propagation when alternate path exists

14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1

> P : 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1

W(P)

> P : 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1

> P : 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1

W(P)

W(P)

> P : 2 1

> P : 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1

W(P)

W(P)

> P : 2 1

> P : 1> P : 5 2 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1

> P : 1> P : 5 2 1

> P : 2 1 P : 4 3 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1

> P : 1> P : 5 2 1

> P : 2 1 P : 4 3 1 P : 2 1 > P : 4 3 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1

> P : 1> P : 5 2 1

> P : 2 1 P : 4 3 1 P : 2 1 > P : 4 3 1

P : 4 3 1

W(P)



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1

> P : 1> P : 5 2 1

> P : 2 1 P : 4 3 1 P : 2 1 > P : 4 3 1

P : 2 1> P : 4 3 1

> P : 3 1 P : 5 2 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1

> P : 1> P : 5 2 1

> P : 2 1 P : 4 3 1 P : 2 1 > P : 4 3 1

P : 2 1> P : 4 3 1

P : 5 4 3 1

> P : 3 1 P : 5 2 1



14

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1

> P : 1> P : 5 2 1

> P : 2 1 P : 4 3 1 P : 2 1 > P : 4 3 1

P : 2 1> P : 4 3 1

P : 5 4 3 1

> P : 5 4 3 1

> P : 3 1 P : 5 2 1


Quantification of unnecessary iBGP-caused Withdraws

• RouteViews Dataset : BGP feeds of parallel sessions (2 sessions with the same AS)

• Withdraw defined as iBGP-caused if the destination is withdrawn on one session, but stay stable on the other during 30 seconds before and after

• Withdraw is unnecessary because an alternate path exists in the AS

AS X

RouteView Collector

W (D)

15


Detecting unnecessary iBGP-caused withdraws

16

RouteView Collector

R2R1

AS2

AS1

AS3

AS4

> P : 2 P : 3 4> P : 2



16

RouteView Collector

R2R1

AS2

AS1

AS3

AS4

> P : 2 P : 3 4> P : 2> P : 2



16

RouteView Collector

R2R1

AS2

AS1

AS3

AS4

> P : 2 P : 3 4> P : 2> P : 2 W(P)

W(P)



16

RouteView Collector

R2R1

AS2

AS1

AS3

AS4

> P : 2 P : 3 4> P : 2> P : 2 W(P)

W(P)

Withdraw detected=> start timer



16

RouteView Collector

R2R1

AS2

AS1

AS3

AS4

> P : 2 P : 3 4> P : 2> P : 2

Withdraw detected

P : 2> P : 3 4



16

RouteView Collector

R2R1

AS2

AS1

AS3

AS4

> P : 2 P : 3 4> P : 2> P : 2

Withdraw detected

P : 2> P : 3 4

P : 1 3 4

P : 3 4



16

RouteView Collector

R2R1

AS2

AS1

AS3

AS4

> P : 2 P : 3 4> P : 2> P : 2

Withdraw detected

P : 2> P : 3 4 P : 2

> P : 3 4



16

RouteView Collector

R2R1

AS2

AS1

AS3

AS4

> P : 2 P : 3 4> P : 2> P : 2

Withdraw detected

P : 2> P : 3 4 P : 2

> P : 3 4

P : 1 3 4



16

RouteView Collector

R2R1

AS2

AS1

AS3

AS4

> P : 2 P : 3 4> P : 2> P : 2

Withdraw detected

P : 2> P : 3 4 P : 2

> P : 3 4

P : 1 3 4

Timer expiredNo withdraw from R2

MATCH


Quantification of iBGP-caused withdraws on RouteViews sessions

17

0

5000

10000

15000

20000

25000

30000

35000

40000

01-10-2008

02-10-2008

03-10-2008

04-10-2008

05-10-2008

06-10-2008

07-10-2008

08-10-2008

09-10-2008

10-10-2008

11-10-2008

12-10-2008

13-10-2008

14-10-2008

Num

ber

of w

ithdra

ws

Days


Agenda

• Introduction





18


Advertising multiple paths in iBGP

19

12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1



19

12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1

P : 2 1P : 4 3 1



19

12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1 P : 4 3 1



19

12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1 P : 4 3 1

> P : 1



19

12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1 P : 4 3 1

W(P)

> P : 1



19

12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1 P : 4 3 1

P : 5 4 3 1

P : 2 1 > P : 4 3 1

W(P)

> P : 1



19

12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1> P : 2 1 P : 4 3 1

P : 5 4 3 1

P : 2 1 > P : 4 3 1

W(P)

> P : 5 4 3 1

P : 2 1 > P : 4 3 1

> P : 1



• Very promising solution, but :

✓ Need to modify the BGP protocol to support advertisement of multiple paths for a prefix

✓ All the routers of an AS need to be upgraded accordingly

20


Agenda

• Introduction





21


How to prevent iBGP-caused withdraws? (2)

• Instead of advertising alternate paths, advertise the availability of alternate paths

• BGP Community attribute used to tag this information to the path : DIVERSITY_AVAILABLE

• Lighter solution than the previous one, can be incrementally deployed

✓ No modification to BGP protocol

✓ DIVERSITY_AVAILABLE BGP community is simply not considered by legacy routers

22


Advertising the availability of alternate paths

• Principle :

✓ A router knowing an alternate path

- Tags the community DIVERSITY_AVAILABLE to the primary path

- Then, it re-advertises the primary path to all its iBGP peers

23

V. Van den Schrieck - Networking 2009 24

12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1



12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1

P : 2 1 - DIV_AV



12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1 P : 5 2 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

P : 2 1 - DIV_AV

> P : 2 1 - DIV_AV




25

• When the primary path fails :

• Routers without an alternate path check the community

✓ If present : Wait for the alternate path before sending withdraws on eBGP

✓ Otherwise : send the withdraw on eBGP sessions immediately


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 3 1 P : 5 2 1


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 1

> P : 3 1 P : 5 2 1


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


W(P)

> P : 1

> P : 3 1 P : 5 2 1


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 1

> P : 2 1 - DIV_AV

> P : 3 1 P : 5 2 1


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 1

> P : 2 1 - DIV_AV

No eBGP WithdrawWait alternate path

> P : 3 1 P : 5 2 1


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 1

> P : 2 1 - DIV_AV

W(P)No eBGP WithdrawWait alternate path

> P : 3 1 P : 5 2 1


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 1

> P : 2 1 - DIV_AV

P : 2 1 > P : 4 3 1


> P : 3 1 P : 5 2 1


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 1

> P : 2 1 - DIV_AV

P : 2 1 > P : 4 3 1

P : 4 3 1


> P : 3 1 P : 5 2 1

W(P)


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 1

> P : 2 1 - DIV_AV

P : 2 1 > P : 4 3 1

P : 4 3 1

P : 2 1 - DIV_AV> P : 4 3 1


> P : 3 1 P : 5 2 1

W(P)> P : 3 1 P : 5 2 1


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 1

> P : 2 1 - DIV_AV

P : 2 1 > P : 4 3 1

P : 2 1 - DIV_AV> P : 4 3 1

P : 5 4 3 1

> P : 3 1 P : 5 2 1> P : 3 1 P : 5 2 1


12

AS1

AS3

AS4

AS2AS6

AS5R1

R2


> P : local

> P : 3 1

> P : 1

> P : 1

> P : 2 1 P : 4 3 1

> P : 5 2 1

> P : 2 1 - DIV_AV


> P : 1

> P : 2 1 - DIV_AV

P : 2 1 > P : 4 3 1

P : 2 1 - DIV_AV> P : 4 3 1

P : 5 4 3 1

> P : 5 4 3 1

> P : 3 1 P : 5 2 1> P : 3 1 P : 5 2 1


Policy-equivalent paths

• In practice : due to policies, alternate paths can still trigger eBGP withdraws

✓ Use two communities instead of one

27


Conclusion

• We highlighted the contribution of iBGP-caused withdraws to BGP churn

• Two solutions to prevent this unnecessary withdraw propagation :

✓ Add-Paths (IETF)

✓ Our proposal : Diversity communities

• Work in progress : Evaluate the reduction of churn resulting from using our solution

✓ Simulations on generated Internet topologies

28


Questions?

• More information on : http://inl.info.ucl.ac.be

29



preventing the unnecessary propagation of bgp withdraws · v. van den schrieck - networking 2009...

Documents