ann fk ai och hjärnliknande teknologi? - kth...• biochip • molekylära beräkningar • …...

1

ANN ANN fkfk

Hjärnliknande beräkningar och ANN

Anders Lansner

April 12, 2007 ANN fk F8 ALa 2

SynopsisSynopsis

• AI och hjärnliknande teknologi?• Hjärnbarken ett attraktornät?• Invariant representation i ANN och

hjärnan• ANS (”Artificial brain”) implementation

• Klusterdator• Digital/Analog VLSI• Biochip• Molekylära beräkningar?


HjHjäärnliknande teknologi rnliknande teknologi --fföörutsrutsäättningarttningar

• I: att vi i förstår hjärnans funktionsprinciper

• II: att vi kan implementera dessa effektivt• Realtid• Kompakt• Energisnålt• Billigt

• ”Singulariteten” nära?April 12, 2007 ANN fk F8 ALa 4

0,1

1

1010

010

0010

0001E

+051E

+061E

+071E

+081E

+091E

+10

1980 1985 1990 1995 2000 2005 2010 2015 2020 2025

Utveckling av berUtveckling av berääkningskraftkningskraftMooreMoore’’ss lawlaw supersuper--MooreMoore

year

GFL

OP

100 ops/synapse/ms

IBM BlueGene/L 64K nodes

Sony,Toshiba,

IBM”Cell”

250 GFLOP


Framtidens AIFramtidens AI--system?system?

• hjärnliknande ”artificiella nervsystem”

• ... eller ngn annan typ av lärande system?


FFöörstrståå hjhjäärnan?rnan?• Framsteg de senaste 30 åren

• ”Pruning” av hypoteser• En handfull kvar …

• ANN Modellering och datorsimulering• Biofysikaliskt detaljerade modeller• Neuroforskning +syntetisk/teoretisk komponent• Verktyg för förståelse, försöksplanering• Abstrakta modeller

• Konnektionistiska == ANN• EU, Japan, USA• KTH/CBN

• Attraktormodeller av hjärnbarken• Abstrakta varianter

• Fullskalemodeller!

2


AttraktorminnenAttraktorminnen och hjoch hjäärnbarkenrnbarken

• Biologiska attraktorminnen• Luktsystemet, Hippocampus

• Rekurrent konnektivitet• Hela neocortex…?• …

• Synaptisk plasticitet• Allt minne i synapserna!• LTP, STP, STDP …


HebbskaHebbska synapser och cellgruppersynapser och cellgrupper

”LTP”Bliss and Lömo, 1973Levy and Steward, 1978

Hebb D O, 1949: The Organization of Behavior

• Cellgrupp = mentalt objekt

• Gestalt perception• Figur-bakgrund separation• Perceptuell komplettering• Perceptuell rivalitet

• Efteraktivitet ≈ 500 ms• Associationskedjor


Vad motsvarar enheterna i ett ANN?Vad motsvarar enheterna i ett ANN?

Kortikalminicolumn

Hypercolumn/Macrocolumn

ANN



• • •Cm gL

EL

gNa

ENa

gK

EK

rC

Biofysikaliskt detaljerad cellmodell

Hodgkin-Huxley formalismNa, K, KCa, Ca-channelsCaAP and CaNMDA pools

Fast synaptic transmission:Glutamatergic (50/50 AMPA-NMDA)GABA-ergic

Mostly data from McCormick et al.SPLIT simulator


SynapsegenskaperSynapsegenskaper

• Realistisk amplitud hos PSP:s i största nätverksmodellen

• Asymmetrisk cell-cell konnektivitet• 2D geometri ⇒ fördröjningar, 1m/s

Tsodyks, Uziel, Markram 2000

Local basket cell

Localpyramidal

LocalRSNP

Distant pyramidal

3


I

II/III

IV

V/VI

Lager 2/3 modell Lager 2/3 modell –– kolumnkolumnäärr strukturstruktur

• Synaptisk “lager 4” input


A

B

5 Hz

C

50 mV

1 s

DUPSTATES!


Network layoutNetwork layout

• 1x1 mm patch• 9 hypercolumns• Each hypercolumn

• 100 minicolumns• 100 basket cells

• 100 patternsstored

• 29700 neurons• 15 million

synapses


9 hypercolumns9 hypercolumns

• 1x1 mm patch• 9 hypercolumns• Each hypercolumn

• 100 minicolumns• 100 basket cells

• 100 patternsstored

• 29700 neurons• 15 million

synapses


100 hypercolumns100 hypercolumns

≈ 4x4 mm• 330000

neurons• 161 million

synapses


8 rack BG/L simulation8 rack BG/L simulation

• 22x22 mm cortical patch• 22 million cells, 11 billion synapses

• 8K nodes, co-processor mode• used 360 MB memory/node

• Setup time = 6927 s• Simulation time = 1 s in 5942 s• >29000 cpu hours• 77 % estimated speedup

• Point-point communication slows (?)• Currently (inofficial) world record!

4


HjHjäärnbarkens funktionella arkitekturrnbarkens funktionella arkitektur

L2&3-L5

L4

L2&3-L5

L4

Sensor

Thalamus

L2&3-L5

L4

L2&3-L5

L4

L2&3-L5

L4

Sensor

Thalamus

L2&3-L5

L4

L2&3-L5

L4

L2&3-L5

L4

Olf epith

Olf bulb

L2&3

Sensor fusionAssociativt minneHebbsk inlärning

Top-down expektansUppmärksamhetHebbsk inlärning

Feature extraktionKompetitivinlärning

Piriform cortex

LUKT

V1

VISION


Ytterligare funktionalitet!Ytterligare funktionalitet!

• Långtids- och korttidsminne• Två tävlande hypoteser

• Featureextraction (Lager 4)• Lager 5…• Sekvensiell association, inlärning

• Avancerad motorik, timing• Cerebellum

• Rytmiska rörelser – lägre centra• Beslutsfattande, beteendeval

• Basala ganglierna• Invariant igenkänning


Invariant Invariant igenkigenkäänningnning

• Transformationer• Bilder

• Translation, storlek, rotation 2D,3D• Belysning t ex ljusets färg

• Ljud• Frekvensinterfall, tempo

• Ej inbyggt i ANN• ”ikonisk” representation saknar

invarians…


InvariansInvarians??

FANTASTMYTOMAN


InvariansInvarians??

FANTASTMYTOMAN


TvTvåå ssäätt att uppntt att uppnååinvariant igenkinvariant igenkäänningnning

• Haykin 29ff• Inbyggd, genom struktur, invarianta särdrag

(”features”)• T ex 30o 60o 90o hörn oberoende av position,

orientering, storlek + Featurehistogram• Spegling i mittlinjen

• Genom träning• Lär karakteristiska ”vyer”• Interpolation mellan dessa• T ex flygplan ur olika vinklar• ”Slow feature analysis”, SFA

• Wiscott L. and Sejnowski, T. 2002• Slow Feature Analysis: Unsupervised Learning of Invariances, Neural

Computation 14, 715 - 770

• Sekvensinlärning (utnyttja korrelationer i tiden) från kontinuerlig observation

5


Hur bygga ett ANS?Hur bygga ett ANS?

• CCortex, Numenta, IBM, …• Klusterdator

• Miljontals kärnor• –

• ANN hårdvara - dedicerat kisel• Digital/Analog

• Biochip• Molekylära beräkningar• …


Skalbar Skalbar parallellimplementationparallellimplementation• På klusterdatorer• Krav på

• Minne• Minnesbandbredd• Beräkningar• Kommunikation

• MPI• Address Event Representation (AER)• EJ begränsande

• 1,5 milj enheter, 200 miljarder kopplingar• På 256 noder på PDC/Lenngren• Realtid! Inlärning/recall ca 0.5 sek/mönster• Mkt effektiv kod


ANN hANN håårdvara rdvara –– utgutgåångspunktngspunkt

• Varför?• Realtidsfunktion, kompakthet,

effektsnålhet• Förutsättningar

• Inneboende massiv parallellism• Lokalitet i beräkningar• Tolerans mot hårdvarufel• Tolerans mot brus i indata och

komponenter• Hur?


Tidig Tidig ANNANN--hhåårdvarardvara• Då var det 1977...

• 12 neuron, 36 synapser


VLSI teknologiVLSI teknologi

• Acceleratorkort - signalprocessor• Multiply-add + ickelinjär

överföringsfunktion• Cellprocessorn?

• Kisel• Digital VLSI

• Fixpunktsaritmetik, få bits• FPGA• Analog VLSI


Analog VLSI?Analog VLSI?• Hög hastighet, kompakt, effektsnål• Kopplas direkt på sensor/aktuator

• Behöver ej A/D och D/A omvandling

• Effektiv implementation av specifika biologiska strukturer• Carver Mead, Caltech• Cochlea• Retina• Synaptics Touchpad• Optisk mus

• För snabb…!

• Brustolerans hos ANN viktig!• krympning av dimensioner

6


Analog VLSI Analog VLSI -- egenskaperegenskaper

• Olika kategorier• Ingen inlärning (ex Si retina)• Off-chip inlärning, nedladdning av W• On-chip inlärning, snabb, kontinuerlig inlärning

• Standard BP ej lämplig• Stokastisk gradient-decent (pga låg precision),

obeprövad dock

• Problem• Temperaturvariationer inverkar på beräkningen• ”Zero offset”, ej över 10% av signalnivån (kräver

noggrann design och fabrikation)• Hög design- och testkostnad• Minneshieararki, off-chip minne fungerar ej• Långsam off-chip kommunikation (FACETS)


Alternativ fAlternativ föör r implementationimplementation IIII

Kvantdator...

Cellkultur på chip• Implantat!

Neuron culture on a chip

CMOLHybrid CMOS och molekylära kretsar”nanoprinting”stokastiska beräkningar


EU/IST/FET/Bioi3/FACETSEU/IST/FET/Bioi3/FACETS

• ”… reverse engineering of the brain …”• Hjärnbarken• (Storskaliga) simuleringar• Digital&Analog (”mixed signal”) VLSI

• Wafer scale integration• 15 forskargrupper• 100 MSEK/4 år


Simulator Simulator –– VLSI VLSI –– CortexCortex

10-11

10-1

10-5

1010

107

HjärnbarkSimulatorBlue Gene/L

10-1510-1010-12Area/synapse (m2)

10-1610-1510-8Joule/synapse/update

10-1410-910-12Synapse update time (sec)

10141071011|W|

1010104106 (108)|N|

Human cortexFACETS wafer(analog VLSI)

ANN simulatorBlue Gene/L

FACETS Stage I chip


Att komma ihAtt komma ihååg!g!

• Dagens ANN är användbara• … men ≠ Hjärnan• Fullskaliga hjärnsimuleringar• Datorkapacitet motsvarande

hjärnan ca 2015-2025• Framtidens ANS …Singulariteten?• Dedikerad ANN hårdvara, hur?


NeocognitronenNeocognitronenK FukushimaK Fukushima

7


MultipelMultipel--vy baserad inlvy baserad inläärningrning

[Riesenhuber and Poggio, 2000]

ann fk ai och hjärnliknande teknologi? - kth...• biochip • molekylära beräkningar • …...

Documents