Emergent Computing with Swarm Intelligent Systems

R  Ryan  McCune  Advised  by  Greg  Madey  

 Department  of  Computer  Science  &  Engineering,  University  of  Notre  Dame  2014  Center  for  Advanced  Modeling  Graduate  Workshop  

Johns  Hopkins  University,  BalKmore,  Maryland,  USA  July  10-­‐11,  2014  

 

Overview OBJECTIVE:  Agent-­‐based  modeling  for  Big  Data  •  What  is  Big  Data?  •  Why  agent-­‐based  modeling?  •  Emergent  behavior  in  distributed  compuKng  •  Ant  foraging  applicaKon  •  Future  direcKon  

1

What is Big Data? •  ExponenKal  increase  in  data  volume  and  velocity  

•  80%  of  world’s  data  from  last  2  years  

•  Challenges  centralized  computaKonal  methods  

•  Data  analysis  is  now  a  system  – Not  a  program  

2

“Think Like a Vertex” Programs •  Graphs  (networks)  prevalent  in              Big  Data  •  Typical  graph  processing  not  easily  parallelized  –  E.g.  graph-­‐as-­‐matrix  operaKons  

•  Instead,  execute  funcKon  on  each  vertex  –  UKlize  vertex-­‐local  informaKon  –  Interact  w/adjacent  verKces  

•  Easily  distributed  (right)  –  Low  inter-­‐machine  communicaKon  

3

Machine  1   2  

3   4  

4

3 6 2 1

3 2 1 1

2 1 1 1

1 1 1 1

1 1 1 1

STEP  0  

1  

2  

3  

4  

AcKve  

Halt  

Min  Value  

Agents for Big Data?

Big  Data  Challenges  •  Scalability  •  Inflexible  •  ComputaKonally  expensive  

Agent-­‐based  Strengths  •  Distributed  •  Adaptable  •  Simple  behaviors  generate  global  result  

5

Mobile Agent Computing •  Autonomous  agent(s)  traverse  a  network  •  Local  behavior  achieves  global  result  – Vertex-­‐oriented  perspecKve  

•  Network  environment  – Problems  

•  ExploraKon,  mapping,  rendezvous  

– ProperKes  •  Vertex  labeling,  agent  communicaKon,  synchronicity  

•  QuanKfiable  and  verifiable  6

Swarm Intelligence •  Biologically  inspired  – Ant  colonies,  flocks  of  birds,  fish  

•  Emergent  phenomena  –  Simple,  local  behavior  of  agents  –  Complex,  global  behavior  of  system  

•  Self-­‐organizaKon  – Decentralized  

•  Emergent  behavior  solves  problems  

7

8

Distributed  CompuKng  Systems  

Swarm  Intelligent  Systems  

Emergent  CompuKng  

Ant Foraging

9

•  Ants  search  for  food  to  bring  back  to  nest  

•  Randomly  search  environment  •  Deposit  pheromones  while  searching  – Likely  to  follow  high  pheromone  – Random  AcKon  Probability  (RAP)  

•  Shortest  path  emerges  

RAP  =  ρ  

1  –  ρ  Follow  highest  pheromone    

ρ  Random  direcKon  

Ant Foraging - An Implementation[1] •  Ants  deposit  2  pheromones  – Green  lead  to  home,  deposit  while  foraging  – Blue  lead  to  food,  deposit  while  returning  home  

 

10

[1]  Panait,  Liviu,  and  Sean  Luke.  "A  pheromone-­‐based  uKlity  model  for  collaboraKve  foraging."  Proceedings  of  the  Third  InternaKonal  Joint  Conference  on  Autonomous  Agents  and  MulKagent  Systems-­‐Volume  1.  IEEE  Computer  Society,  2004.  

11

[1]  Panait,  Liviu,  and  Sean  Luke.  "A  pheromone-­‐based  uKlity  model  for  collaboraKve  foraging."  Proceedings  of  the  Third  InternaKonal  Joint  Conference  on  Autonomous  Agents  and  MulKagent  Systems-­‐Volume  1.  IEEE  Computer  Society,  2004.  

Ant  Hill  

Food  

How to Apply? •  Ant  foraging  computes  shortest  path  •  Network  environment  –  Convert  grid  to  network  –  Sojware  “ant”  agents  

•  How  to  implement  pheromones?  –  Each  node  stores  value  –  Can’t  read  adjacent  pheromone  values  – Use  “think-­‐like-­‐a-­‐vertex”  (TLAV)  program!  •  Share  pheromone  value  with  neighbors   12

13

.7   .6  

.5  

.3   .2   .1  

vID    pheromone      2                      .6      4                      .1  

vID    pheromone      1                      .7      3                      .5  

vID  4  

vID  3  

vID  1   vID  2  

RAP  =  ρ    

Implications •  Shortest  path  emerges  from  two  simple  programs  

•  Verifiable  –  But  expensive  and  requires  whole  network  in  memory  

•  QuanKfiable          Emergent  bvr.  =    Agent  bvr.  +  TLAV  bvr.                  O(n  log  n)          =              O(  1  )          +        O(  1  )    +  m  agents  

                                 +  k  rounds  

•  Not  necessarily  faster  –  But  adaptable!  

14

MACADAM •  Mobile  agents  traverse  a  network  where  nodes  execute  “think-­‐like-­‐a-­‐vertex”  program  – Share  variables  

•  Feasible  validaKon  •  QuanKfiable  emergence  •  Trade-­‐Offs  •  HypercomputaKon  

15

Future Work •  Development  of  model  – TLAV  framework  – Graph  streaming  capabiliKes  

•  Explore  other  behaviors  – MACADAM  framework  

•  Empirical  MAC  results  •  TheoreKcal  foundaKon  •  WSN  applicaKon   16

Conclusions •  Big  Data  and  Swarm  Intelligence  •  Emergent  computaKon  for  Big  Data  •  Ant  foraging  applicaKon  for  networks  •  Mobile  agents  traverse  a  network  that  runs  “think-­‐like-­‐a-­‐vertex”  programs  

17

Acknowledgements •  Air  Force  Office  of  ScienKfic  Research  (AFOSR)  DDDAS  program  award  #  FA9550-­‐11-­‐1-­‐0351  

•  GAANN  Fellowship  provided  by  the  Department  of  EducaKon  – Managed  by  the  University  of  Notre  Dame  Computer  Science  Department  

18