interferenznetzwerke als modell mentaler präsentationen
DESCRIPTION
Interferenznetzwerke als Modell mentaler Präsentationen. Dr. Gerd Heinz Gesellschaft zur Förderung angewandter Informatik e.V. 2. Sounddesignforum Berlin 3.+ 4.11.2010 GFaI Berlin-Adlershof http://www.sounddesignforum.de/. Sensor- und Motorhomunculus. Natural History Museum, London. - PowerPoint PPT PresentationTRANSCRIPT
ww
w.gfai.de/~
heinzw
ww
.gfai.de/~heinz
Interferenznetzwerke als Modell mentaler Präsentationen
Dr. Gerd Heinz Gesellschaft zur Förderung angewandter Informatik e.V
2. Sounddesignforum Berlin3.+ 4.11.2010GFaI Berlin-Adlershof
http://www.sounddesignforum.de/Sensor- und Motorhomunculus.
Natural History Museum, London
ww
w.gfai.de/~
heinzw
ww
.gfai.de/~heinz
Inhalt
GrundlagenSynchrone KausalitätZeitfunktion und WelleInterferenzintegral als Vereinigung von Hören und Sehen
SelbstinterferenzintegralProjektion/Rekonstruktion
FremdinterferenzintegralFrequenzkarte
Interaktion von KartenMentale Modelle
32.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Synchronous Causality*
To be in the same time (synchronous) At the same place (locality)-> synchronous causality (syncausality)
Examples Chemical ingredients/reaction Traffic accident (airplane-heli crash) Informations and signals
*cau
sa (
lat.)
Urs
ache
/rea
son
42.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Synchrone Kausalität in der Signaltheorie
Es existieren Wissensrichtungen, die identische Physik mit sehr unterschiedlichen Termini interpretieren:
Signal-processing: Filter theory (FIR, IIR) Optical lense systems Supersonic Arrays A, B, M – Methods Beam forming (acoustics) Global Positioning System (GPS) RADAR, SONAR Radio Telescopes
Superimposition of I² (images) - VLA Superimposition of time functions – SKA
Artifical Neural Nets Binäre Logik und Algebra IntegraltransformationenExistiert eine verallgemeinernde Signaltheorie?Ist diese geeignet, Nervennetze zu interpretieren?
I²: Interference Integral
52.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Weights contra Delays
NetworkNetwork
HebbsHebbs rule interpreted rule interpreted by weightsby weights
-> Artifical Neural Nets-> Artifical Neural Nets
Non-mirroredNon-mirrored maps maps
JeffressJeffress rule interpreted rule interpreted by delaysby delays
-> Interference network-> Interference network
MirroredMirrored maps maps
(We find (We find mirrored mapsmirrored maps everywhere in cortex) everywhere in cortex)
62.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Synkausalität bei Integral-Transformationen
Quelle: Hz, Kap.07_funkt.sam
Integraltransformationen arbeiten auf max. zwei (Zeit-) Funktionen
Was passiert, wenn wir n Zeitfunktionen nutzen?
An average pyramidal-neuron (PN) has 7400 connections, cortex has 40.000.000.000 PN
72.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Assumptions about Time Functions
Information flow between any points has a non-infinite partial velocity or speed, it is always delayed
delay = distance / partialvelocity = r / v Damping/attenuation along lines is mostly negligible Geometrical wave length (wave peak to wave peak)
geowavlen = pulspause * partialvelocity = v
Time series assumption with time parameter t and delay
f(t-)f(t+)
delay delay
Verzögert um verfrüht (negativ verzögert)
t
f(t)
82.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Zeitfunktion als Welle
welle(vt-x)
welle(x-vt)
welle(vt+x)
welle(-x-vt)
Man beachte Laufrichtung und Schweif!
gauss(u) = exp(-(u)^2)
welle(u) = gauss(u) - .3*gauss(u-2)
dxxtgxftgf )( )()( )*(
Analogie:
92.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Waves on Nerves Thumb Experiment
(Griepentrog/Heinz 1992) Waves can be inspected with NLG
(EEG) Wave front direction changes
Interpretation:Interpretation:
Arrangement:Arrangement: Result:Result:
102.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Wave Character of Time Functions in 2D/3D
Form: f(vt - r)
If we run the time parameter t over a delaying field:
Time functions become waves"Waves on wires""Timefunction-waves"
Wave flow direction is orthogonal to wave front
All points on a wave have equal delay to the source point
Different waves can meet at certain locations (see movie)
Huygens wave-expansion principle is valid
velocity v
delay
f(t)f(t)
f(t-f(t-))
All points on circle have the same to origin
112.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Waves on a Nerve System Interference Net Example Exitement of chromatophor cells of
squids (Tintenfische) Details seewww.gfai.de/~heinz/historic/biomodel/squids/squids.htm
Wave deletion
Packard, A.: Organization of cephalopod chromatophore systems: a neuromuscular image-generator. In: Abbott, N.J., Williamson, R., Maddock, L., Cephalopod Neurobiology, Oxford University Press, 1995, pp. 331-367
Wave front re-direction
122.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Interference Integral (I²) "to Hear is to See"
// Scilab-fct-definition ('neuname','function')
deff('y=gauss(u)','y=exp(-(u)^2)'); // mit negativem Schwanz
deff('z=welle(w)','z=gauss(w)-.3*gauss(w-2)');
(a) Wave red f1
(b) Wave green f2
(c) Multiplication of wavesf2 * f1
(d) Interference integralI (f2 * f1) dx
Download Scilab sources:
www.gfai.de/~heinz/publications/animations
"sound"
"image"
Scilab-Sources siehe http://www.gfai.de/~heinz/publications/animations/index.htm
132.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Moving Interference Integral (I²) by Delay
// Scilab-fct-definition ('neuname','function')
deff('y=gauss(u)','y=exp(-(u)^2)'); // mit negativem Schwanz
deff('z=welle(w)','z=gauss(w)-.3*gauss(w-2)');
(a) Wave red f1
(b) Delayed wave green f2
(c) Multiplication of wavesf2 * f1
(d) Interference integralI (f2 * f1) dx
Download Scilab sources:
www.gfai.de/~heinz/publications/animations
142.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Example of a Moving I² in 2-dim. Space one channel is delayed with dt
generator time functions image
152.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Example of a Zooming I² in 2-dim. Space Variation of background velocity v
generator time functions image
162.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Example Wave Field –> Interference Integral
Linear superimposition Homogeneous velocity No wave deletion Reconstruction
Interference Integral (I²):
30 channel simulation
(G.Heinz/ S.Höfs 1995)
172.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
drawing: d. doebler
Gespiegelter Interferenzort
Tyto albaTyto alba
Konishi, Mazakazu: Die Schallortung der Schleiereule. Spektrum der Wissenschaft, Juni 1993, S. 58 ff.; (Biologe, Caltech Pasadena)
Jeffres L. A.: A place theory of sound localization. J. Comp. Physiol. Psychol. 41 [1948]: 35-39
interference projection interference projection (mirrored) (mirrored)
right
left
Schallraum
_____
Nervennetz
Ohr
182.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Akustisches I²
Wellenfeld -> Rekonstruktruktion der
Zeitfunktionen fi(t) für jedes Pixel i des Bildes (x*y)
Leitgeschwindigkeit 340 m/s
32 Kanäle
Interferenzintegral -> Zeitliche Integration über
die Zeitfunktion fi(t) jedes Pixels
Hohe Effektivwerte entstehen nur an Trefforten der Wellen (Gleichzeitigkeit), umgangssprachlich "Interferenzorten"Aufnahme 13.12.2000 gh
192.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Abbildungsgleichung (Maske, Verzögerungsvektor) Verzögerungsvektor (Maske) T codiert Ort bzw.
Adresse Sendemaske T, Empfangsmaske T* Leitungsmaske L ist vernachlässigt
n
T
...1
nn
T
......*
11
.* constTLT
T
TT *
Annahme A-A' = B-B' = C-C' = D-D' = 0
)( 1
)( 1
1
1
2
3
4
)( 2
)( 3 )( 4
2
34
)( 2 )( 3
Sende- maske
T
Empfangs-maske
T*
T*
L
0...1
Ln
L
L
Hier:
202.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Akustische Verzögerungszeitdifferenzen
xz
y
Mikrofonarray Vorlage istvirtuelles Bildfeld
Mikrofon
Pixel(xi,yi,zi)
Jeder Bildpunkt (Pixel) hat eine eigene Sendemaske T in Relation zu n Mikrofonen:
n
T
...1
Pixelkoordinaten werden über den Öffnungswinkel der Kamera und den Abstand des Bildfeldes berechnet
212.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
t0 t0
Interference Reconstruction
dtptp ii )(
1)(~
/2
/2-
2
n
kikki tp
ntp
1
)(1
)(
Time function of pixel i:
Integration e.g.:p(t)
i1
+ 1/n
t
n channels
plus!plus!
t0 t0
negative delay compensationminus!minus!
i2
i3
i4
Pixel i pixel i
kp
n: channel number
k: channel index
i: pixel index
i1
i2
i3
i4
i1
i2
i3
i4
222.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
RechenintervalRecheninterval
Resultierende Zeitfunktion f(t+T) für Pixel i
Numerische Behandlung: Masken-Algorithmus
Interferenz-Rekonstruktion f(t+T) ~ Akustische Kamera Man nehme die Maske -T jedes Pixels i und schiebe sie über die Zeitfunktionen
der Kanäle Es entsteht eine Zeitfunktion des Wellenfeldes (mit der Samplerate der Kanäle) Integration: Effektivwertbildung über Rechenintervalle (z.B. 20 img/s ~ 50 ms)
Bild: PSI-Tools
Origin: Heinz 1993
f(t+T)
Maske T des Pixels i
+
++
1/n
t0 Emission
1
2
3
4
am Mikrofon
232.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
I² der Akustischen Kamera Welterste Flugzeug-Schallbilder
(2002) Effektivwert, bewertet mit BP 500
Hz bis 5kHz, Sternarray, 30 KanäleMan erkennt, daß auch große Laufzeiten (340 Meter ~ 1 Sekunde) perfekt kompensiert werden können, es kommt zu keiner Verschiebung zwischen Photo und Schallbild
242.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Nomination of Acoustic Camera for German Future Award 2005
http://www.gfai.de/~heinz/publications/presse/index.htm
http://www.deutscher-zukunftspreis.de
252.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
"f(t -)"
"f(t+)"
Die zwei Abbildungsmethoden
Projektion: vorwärtslaufende Zeit, doppelt gespiegeltes I² (Bild), Linse ~ Delay, Kompensation durch Linse,Total Delay
Rekonstruktion: Zeitinversion, seitenrichtiges I² Bild, ungespiegelt, Kompensation mit Maske, Delay Null
ModelInterference-
projection
Primary field
Secondary fieldInterferenz-Projektion (natürliche Projektion, kausal)
Model
Interferenz-Rekonstruktion (virtuell, nichtkausal)
Delay Inversion
Optical lens systems, eyes Sonar, beam-forming
Schmitz, Michel, Fink Heinz: Interferenz-Rekonstruktion
Lens
262.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Überbestimmtheit und Kanalzahl
Generatorfeld
f(t-T*)
f(t+T)
Projektion
(Optik)
reale Delays
spiegelnd
überbestimmt
n = d+1
"Beamforming"
Rekonstruktion
(virtuell)
neg. Delays
nichtspiegelnd
'Akustische Kamera'
n >> dSource: G. Heinz, Bionet'96
-T*: real verzögernde Empfangsmaske - Siehe Zeitfunktionen
+T: negierte Sendemaske
n: Kanalzahl, d: räuml. Dimension
ww
w.gfai.de/~
heinzw
ww
.gfai.de/~heinz
Mentale* Modelle
Drawing from René Descartes' (1596-1650) in "meditations métaphysiques" explaining the
function of the pineal gland (Zirbeldrüse)
(Wikipedia)*mental: geistig
282.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Nervenpulse Neuronen können nur Spikes
übertragen (unterschiedl. Wellenlänge; inhib./excit.)
Nach einem Spike sind sie 'müde' Nach Refraktärzeit T können sie
wieder feuern Höhe des Eingangssignals
beeinflußt T: Je höher die Erregung, desto schneller
nicht erregbar zeitlich sinkende Schwelle
292.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Neuronale Adresse
Circuit (a) contains delay mask M
Burst generation with low bias (b)
Code detection with high bias (c)
Elementary, neural basic function
Net circuit is a FIR (finite impulse response) filter
Data addressing possibility ->
ExampleExample
302.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Dermatom, Somatotopie
Selbstinterferenz-Abb. Signale treffen sich an
Orten identischer Verzögerung vom Quellort wieder
Spezifische Neuronen kommunizieren miteinander, als wären sie mit einem Draht verbunden
"Adressen" sind in Nervennetzen durch Delays kodiert "Delay codes location"
Bild: Titelseite des BuchesHeinz, G.: 'Neuronale Interferenzen' (1993)
(Nur erfolgreiche Crashs sind dargestellt)(Nur erfolgreiche Crashs sind dargestellt) Source: Titelbild NI 1993
312.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Überlagerung (Konjugation)
Generatorfelder GF
spiegelverkehrte Abbildung
homomorph, benachbarte Punkte im GF sind benachbart im DF
Detektorfeld DF ->
322.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Homomorphy
self interference of waves (i, i, i) source arrangement defines map conjunctive, spatial maps homomorph
Detecting fieldsDetecting fields
Generating fields (g+h)Generating fields (g+h)
time function plottime function plot
332.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Nachbarschaftshemmung
Wellen von einer Quelle kommend müssen gleichzeitig eintreffen
Selbstinterferenzbedingung (alle Pfade) 1 = 2 = … = n
Geschwindigkeiten und Längen können verschieden sein, nicht aber Delays (!)
Benachbarte Neuronen können nicht miteinander
342.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Fremdinterferenzintegrale
Siehe Youngs Doppelspalt-Experiment (1802) funktioniert ohne Welle-Teilchendualismus (Wer Dirac-Impulse mit Sinus (Fourier) interpoliert, erhält
Materiewellen)
Selbst-interferenz
Fremd-interferenz
352.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Fremdinterferenz-Abstand in 2D Interferenz von Wellen mit Vorgängern und Nachfolgern der
anderen Kanäle Selbstähnlichkeit der Fremd-I² erscheint holographisch Interpretation von Karl Lashleys Rattenexperimenten
"In search of the engram" Kartierung von Frequenzkarten 1/f ~ R, Zeitabständen R ~ vt etc. Bei hoher Kanalzahl verwischen die Fremd-I² ineinander
waves i with i with i …
362.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Temporale Karten – Variation der Kanalzahl n Eine Pulsfolge wird an n Stellen eingespeist Fremdinterferenzabstand codiert Tempi, hohe Kanalzahl ist
hinderlich
i-1, i-2, ii-1, i-2, i
i, i, ii, i, i
Quelle: GFaI-JB 1994, S.70
372.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Fremdinterferenzüberlauf Spastik, Schmerz? Schrittweise wird die
Refraktärzeit verringert Interferenzintegrale "Bilder"
werden entwickelt von außen kommen scheinbar
Störungen ins Bildfeld, je kürzer die Refraktärzeit wird
Dies sind Interferenzen mit anderen Eigenschaften
Dabei interferieren Vorgänger und Nachfolgerpulse miteinanderi-n, … i-1, i, i+1, i+2, … i+n
Selbstinterferenzbild wird mehr und mehr durch -> Fremdinterferenz überdeckt
~ 5 ms~ 5 ms
~ 4 ms~ 4 ms
~ 1,5 ms~ 1,5 ms
~ 7,5 ms~ 7,5 ms
Zeitfunktionen
IntegralbildBerechnungen und Details siehe http://www.gfai.de/~heinz/historic/pressinf/bilder_d.htm
382.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Selbst- und Fremdinterferenz
Fremdinterferenz-Integrale Raum-zeitliche Karten Frequenzkartierung Auditorische Karten Code- und
Verhaltenskarten Holographische
Speicherung -> HÖREN
Selbstinterferenz Fremdinterferenzen
untrennbar; beeinflussbar über Kanalzahl, Feuerrate und Wellenlänge
Selbstinterferenz-Integrale Somato-topische Mappen Projektionen: Bilder,
Filme Quellortung (Eule,
Delphin) Optiken, Akustische
Kamera Ultraschall, GPS … -> SEHEN
392.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Sequenzdetektion/Generierung Detektion: hohes Bias - Umkehrung der
Sequenzgenerierung (schwarz: Inhibition, grau: Excitation) (NI93, Kap.08B, S.188)
Analogon: Digitale Filter (IIR, FIR)
)...4(*1*1*)1()( ttty
Zum Vergleich: (Diracsches) Faltungsintegral: s(t) * h(t) = g(t)
s(t): Stoßfkt., h(t): Stoßantwort., g(t): Gewichtsfunktion
402.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Heinz93 Source: Heinz, Neuronale Interferenzen 1993
Wave Model for Penfields Homunculus... A hyperbola defines a fixed delay difference to two points F, F' Different hyperbolas define different delay differences a/a',
c/c' Pulses meet at different locations, see drawing (Self-I. location is defined by wave front direction)
412.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Bi-directional: Singers Synchronization? Using two fields and
suggesting spiking and repetiting nerve cells, two fields interact mirrored (180° = vert.mirr./hor.mirr.)
Using micro-electrodes, Wolf Singer found 1986 a deep tone in cats cortex
It seems, he found an interferential wave projection
To "hold" a projection for some time (learn phase), we need this repetition!
observationobservation
422.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Wave Model of Visual Cortex
Waves define the direction of self interference location
Supposed, nerve bundles have comparable delays
Self interference location appear, where wave direction and screen have identical orientation
Scale-normalization of images needs zooming and movement
Visual cortex as a normalized wave field screen?
Heinz 1993
432.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Fremdinterferenz: Harmonische Reihen
Was bedeuten nun ganzzahlige Delays bei Welleninterferenzen?
Frequenzen invers zum Delay: f = 1/T
Es entsteht eine harmonische Folge1/1, 1/2, 1/3, … 1/n
gleiche Interferenzorte werden bei ganzzahligen Vielfachen erreicht
Damit wirken harmonische Freq. "ähnlich" Detektierbare Frequenzen sind aber auch:
2/3, 3/4, 5/6, 7/8, 7/3, 7/5 … Interessant: alle Brüche von Primzahlen Siehe Wikipedia: Harmonielehre, Kadenz,
Quintenzirkel, Dreiklang, Tonika, Dur, Moll…
442.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Interference networks – pulses and floating delays Lloyd A. Jeffress 1947 Place theory of sound localization Karl Lashley 1930…50 In search of the engram Shun Ichi Amari 1977 Cognition networks Karl Pribram 197x Holomorphic memory, mass
action Mosche Abeles 198x Synfire chains Wolf Singer 1986 Synchronization in cats cortex Mark Konishi 1993 Schallortung der Schleiereule Andrew Packard 1995 Waves on Squids
State machines – binaries and integer delays: f(t-1), f(t-2),…f(t-n)
Leibniz "Arithmétique Binaire" 1703 Boole 1854, Augusta Ada 1858 McCulloch/Pitts 1943 Moore, Mealy, Medwedjew 195x TTL 1961, Petri-Netze 1962 Intel i4004 1975…
History of Interference Networks
452.Sounddesignforum 3.+ 4.11.2010 www.gfai.de/~heinz
Vielen Dank für Ihre Vielen Dank für Ihre Aufmerksamkeit!Aufmerksamkeit!
Thanks to sponsors: This work was Thanks to sponsors: This work was supported by the private Fam. Heinz-supported by the private Fam. Heinz-Foundation over 18 years with a total Foundation over 18 years with a total
grant of approximately 50.000 €grant of approximately 50.000 €
Dr. G. Heinz, GFaIDr. G. Heinz, GFaI
Volmerstr.3 Volmerstr.3
12489 Berlin12489 Berlin
Tel. +49 (30) 814563-490Tel. +49 (30) 814563-490www.gfai.de/~heinz
Details siehe Google: Details siehe Google: "Gerd Heinz", "Gerd Heinz", "Mathematik des Nervensystems""Mathematik des Nervensystems"