“essay of a perceptive ecology and design of immersive media”
TRANSCRIPT
Biovision team
“Essay of a perceptive ecology and design of immersive media”
• Conference by Marcin Sobieszczanski, at INRIA Sophia Antipolis Méditerranée, June 10, 2016
Introduction
Biovision team
Good afternoon. I feel extremely honored by your invitation, and from the start I would like to announce my intention: It I bring you here is not an expertise that you miss, it is mainly an ardent wish to dialogue. My position is a little delicate. I am a member to the field of Communication Sciences, where I participated since the late 90s to the very minor movement called “cognitive approach of media”. The relationship between this movement and the internal and external scientific community are difficult and often unilateral. But the latest developments in the field of the pervasive, distributed, rich in sensoriality or even immersive media, provide an opportunity for a more sustained contact. I think especially in what I call the “living media design” or “experiential media design”, the epistemological trends toward the naturalization, the environmentalisation or the re-analogisation of media, the subject of my last book, are strategies of research and engineering that info / com and its cognitive branch can share with biology, physiology and applied computing. Why it would be possible more today than before? Because one begins to observe at the social level the effects of the media that have been designed and crafted with the approach of objective science and engineering technology, and powered by the subjective cultural practices, coming from the countless acts of perception, acculturation and creation. The consideration of these effects is now an important factor in the aims targeted by the design, engineering and content management of the current media, so it's a new objectivity animated by the bio-artifactual inspiration.I would like to demonstrate this new possible osmosis from the notion of vision, and therefore lead, at the end, to the outlook in the design of visual contextualized media.
The “vision”: different levels of visuo-centric perception in Primates / Hominids
Biovision team
To have the view of the whole, I remind you here the scheme of vision given in the book published in 2000 supervised by Michel Jolion.
There one distinguishes the successive stages of vision, since the formation of the retinal image, by treatment of the neural signal to the gestural reaction of the subject.
Jean-Michel Jolion (dir.), 2000, Les systèmes de vision, Hermès – Lavoisier
Biovision team
The processes that are covered by the concept of “vision”
Biovision team
Only 4 basic references: James J. Gibson, 1979, The Ecological Approach to Visual Perception, Psychology Press & RoutledgeDavid Marr, 1982, Vision: A Computational Investigation into the Human Representation and Processing of Visual Information, MIT PressJean-Michel Jolion (dir.), 2000, Les systèmes de vision, Hermès – LavoisierVallée, R., 1995, Cognition et système. Essai d’épistémo-praxéologie, L’Interdisciplinaire, Limonest
Let us define grossly the processes that are covered by the concept of “vision” by trying to associate their epistemologies, and in order to collect some methodological assumptions which will serve to impulse a new processes of the media design.The table is organized in 3 sections:-The processes-The nature of processes-The related epistemologyand 4 levels of relevance:-The low level treatment of information-The high level treatment of the specific visual information-The treatment of the complete multimodal information-The triggering of volitional and semi-volitional actions induced by the visual afferences in the praxical contextOf course, it is the latter two which are most important for our discussion...
The processes The nature of processes The related epistemologyThe low level treatment of information
The encounter of light with opaque and semi-opaque objects The physical phenomena
The “reducionist” epistemology: physical, chemical and biological
The emergence of the visual ecology with the arrival of the Living. The facing surface of the objects placed at a certain distance from the visual organ reflect or emit the light charged with the useful information about the environment destined for living beings (affordances)
The biophysical formation of the image in the visual organ The chemo-electrical formation of the visual signal
The biological phenomena determined in the archaic DNA during the emergence of the eye and photosensitive pigments
The encoding of the analog light signal on the nerve impulse through the retinal sensor and the axillary organs
The bio-physico-chemical computational automatism determined by DNA and its current evolution
The high level treatment of the specific visual information The construction of a 3D spatial representation of the luminous surfaces The construction of a representation of the physicochemical causality of environment The construction of a representation of the biological causality into the world of the intelligent
agents populating the environment (the “pregnancy” of the biological sense - with the meaning of “prégnance” given by René Thom)
The construction of a representation of the psychic causality into the world of the intelligent agents populating the environment (the “pregnancy” of the psychic meaning)
The construction of the symbolic ontologies (diffusion and cultural linking of the “pregnancy” of meaning)
The construction of the emotional axiology
The biological automatism and the emergence of the visual-culture function whose evolution is provided by both respective evolutionary mechanisms: genetic inheritance and cultural transmission, as well as by their potential hybridizationAlgorithmic neural processing of visual impulses permitting to obtain the visual modal refreshment of the informative process of the maintaining and the amplifying of the “Cerebral Reference World” (knowing awareness), the World established from the innate, rearranged and assimilated data, during the perinatal extended period, a kind of “internal media” responsible for the internal control of the centrifugal afferences; to refresh this it means to have the “competent” representation of the visual scene
The digital algorithmic epistemology
The treatment of the complete multimodal information The multisensory contextualization The multimodal synthesis of multiple sensory inputs accomplished by:
The multimodal sensory neurons, The level of the completion treating several brain modal channels, The level of maintaining of the amodal “Cerebral Reference World”,
where the sensoriality appears as a secondary projection
The biomimetic epistemology
The praxical multisensorial contextualization of the visual afferences The praxical verbal contextualization of the visual afferences The praxical cultural contextualization of the visual afferences The praxical social contextualization of the visual afference by the empathic induction of the
perceptual behavior of co-agents
The praxical multisensory contextualizationThe effects of meaning that occur locally at every step of specifically visual high-level processing (various simple and complex peaks of the action potential) also reappear in a complex real situation
The epistemology as a pragmatics of visual perceptionNecessity of taking into account of praxical contextualization of the visual perception) The problem of the level of the contextualization: only the high level of data processing is concerned or the low level is also affected by a genetic feedback?
The triggering of volitional and semi-volitional actions induced by the visual afferences in the praxical context The "viewing" as an action: the perceptual activities (positions optimizing the perception, mobiles
tracking, attentional centering, parallel setting up different monitorings) “To be visible” / “To be invisible” / as an action The mental actions - inferences, anamnesis The kinesthetic actions - transportations, manipulations constructions The visual multimodal and amodal cultural creations
The darwinian coevolution, in the visual level is accomplished by the reversibility of two complementary actions: “The viewing” - “To be visible” / “To be invisible”
To be visible obviously includes the production of visual communication objects)
The epistemo-praxiologyThe Observer / Agent assimilation problem:The epistemo-praxeological hypothesis of Robert Vallée postulates a consubstantiality between and strategies of action, consubstantiality which serves as a causal platform for emerging of the biofeedback to this place
The epistemo-ecology of anticipation / initiative by the artifact - the media externalizing the cerebral cultural creativity
Biovision team
Epistemology adapted to the artificial vision and its strategy of bioinspirationIn our latest work we postulated that the modal media such visual media, are a kind of externalization of the neurological processes of perception, resulting in their communicative functioning to stabilizing the evolution of the modal path in question.
I continue with some comments and point of conclusion
The conclusion: Epistemology of praxical (media-)efficiency of the Living
• The artificial vision consists of technological reproduction the purpose of the “vision” as extraction of information about the environment from optic displays, in order to perform certain actions. Various “material” technologies reproduce the elements of the vision but the level of information processing, and specially the high level, is provided by the digital techniques.
• The main epistemological problem of this technological praxis is the functional isolation of equipment, materials and digital, engaged in resolutions of local tasks. Solved tasks can cover vast fields of usage but in contrast to the multifunctional organisms, the technical devices cannot work together (or working together provokes the ergonomic fatigue of users).
• It is this lack that has led researchers of the 2000s to look for some organic solutions, covering several layers at once of the complex phenomenon of vision. The bioinspiration achieves the targets of computer vision through observation and imitation of the solutions embodied in the simultaneous functioning of the visual organs of living organisms, from optics, by neurophysiology to symbolic level.
• The bioinspiration is then a “probationary” proceeding showing the multiple character of the Living. It also permits the seizure of the durability of the Living, with its genetic reproductive mechanisms and the generation due to the environmental biofeedback.
Biovision team
Methodological postulate 1: the holistic epistemology of the visionWe attempted to identify in the overall scheme of the vision the mechanisms of the functional coexistence between its different strata.Methodological postulate 2: the durative epistemology of the vision.We attempted to identify in the overall scheme of vision the cognitive skills of living organisms coming necessarily from the circularity mode, included in various “pertinent temporal occurrences” of functioning of the vision system.
Biovision team
Technological purposeThis technological purpose can be achieved only after the exercise of the “living media design” where the “visual cultural creations” perform well the Robert Valley’s postulate of circularity. The “living media design”This is a tendency to run technically some mechanisms, not by the modeling of the functioning of its biological organs, but by the giving them the opportunity to work directly as a monitoring of the real. The designing of the technological media not as a separate object but as a media (net-)working in real environments, with the inclusion of their holistic and durative outlook.
Biovision team
ExamplesThe examples of the “living media design” recover several moments of the higher given scheme, and at the local level generate many technical solutions and stimulate new practices. I will give two:
• the visual device of immersive learning for navigation of Marc Parenthoën
and• the project of a collective viewing prototype "Look!”
Biovision team
Marc Parenthoën is the cognitics engineer, maker of the 360° maritime video “with perceptive affordances”, entirely generated according to the state of the environment (fluid dynamics and weather parameters) and viewing conditioning which this state determines into the observer in natural situation. The vision simulation device (and not the image-viewing) takes into account the parallelism between two relationships:
• One where the variations of the hygroscopy of the sea breeze influence the undulation of the nautical surface and
• One where the variations of the hygroscopy influence wetting of the cornea, both processes, each in his way and together with their correlated processes, impacting the visual result - the characteristics of the mental image.
Biovision team
The project of collective viewing prototype “Look!”currently confidential...
Biovision team
The darwinian coevolution, in the visual level
The viewing To be invisible / To be visible
“To be visible” obviously includes the production of visual communication objects
Biovision team
Le Monde Cérébral de Référence« La persistance d’un Monde de Référence est inconcevable à partir des seules afférences perceptives modales. La sphère des universaux a-modaux, en grande partie innés, et la sphère de l’interopérabilité crossmodale engageant une multitude de zones cérébrales qui soit recèlent « des neurones multimodaux, soit [***] sont directement reliées à plusieurs aires sensorielles », sont à la base de l’édifice du Monde Cérébral de Référence et assurent son maintien au travers de différents incidents, défaillances ou carences auxquels l’agent cognitif peut être soumis. Si la congruence des afférences modales est impossible à réaliser objectivement à partir des propriétés des objets et de leurs interactions, elle s’établit dans les universaux a-modaux et dans l’interopérabilité crossmodale en tant que résultante des expériences praxiques phylogénétiques, par la voie de l’optimisation des représentations multimodales donnant une impulsion à des actions efficaces dans les niches écologiques habituelles, au cours de l’évolution. »MS
Biovision team
La transitivité perception - création« Premièrement, tout au long de cet ouvrage nous allons postuler la transitivité perception - création.La théorie et la schématisation de cette transitivité ont été élaborées depuis les années 1950 par Robert Vallée, président de World Organisation of Systems and Cybernetics. Dans un texte de 2004 il en donne, tout en reprenant le formalisme de ses travaux antérieurs, une expression originale, contextualisée par les postulats dits « eigen-values » de Heinz von Foerster :« Après l’opérateur d’observation O, intervient l’opérateur de décision D, lui aussi héréditaire (causal). Il agit sur η en donnant une fonction du temps ζ qui décrit l’évolution des décisions prisesD(η) = ζ.Les actions de O et de D se conjuguent en une action synthétique unique opérée par l’opérateur produit DO, ou « opérateur pragmatique » P (Vallée, 1974) qui fait passer directement de la fonction signal d’entrée ξ à la fonction de décisions ζD(η) = D(O(ξ)) = DO(ξ) = P(ξ) = ζ.La fonction de décisions ζ donne une description de la fonction signal d’entrée tout aussi valable que la fonction de perceptions. Elle introduit une connaissance où perception et décision se mêlent. » Si la perception, au lieu d’être uniquement un fournisseur de l’information nécessaire à l’action est une action efficiente et participe en tant que telle au lien rétroactif dynamique agent / milieu, elle se dote, par le biais de la conscientisation de son rôle, d’un pendant symétrique - l’action informante, la création qui dans la relation rétroactive est la phase de « proposition » c’est-à-dire la phase initiant la boucle. La création est nécessairement de nature perceptive dans la mesure où elle puise ses racines dans la perception sensorielle et dans les opérations de l’interfaçage sensible, de la conduction et de l’interprétation neuronale de l’information. »MS citant Robert Vallée
Biovision team
« [***] suivant la tradition des analyses conversationnelles du philosophe anglais Herbert Paul Grice (1913-1988), le principe d’initiative peut s’écrire ainsi :Soit l’émetteur, un agent cognitif se trouvant dans un état de traitement informationnel M0 et agissant dans la direction de son environnement constitué des agents cognitifs, receveurs, et des substrats vitalement importants et conditionnant ces receveurs. Il est lui-même potentiellement le receveur puisque le milieu lui adresse ses propres actions. En tant qu’agent détaché identitairement de son milieu, il a la liberté d’initier, à chaque fois, à chaque réitération d’action, la boucle rétroactive des interactions individu / milieu.E(R)M01 → A1(An) → R(E)M0
L’émetteur et potentiellement receveur E(R) se trouvant dans un état de traitement informationnel M0 et M1, par anticipation due au processus de sa décision et à son projet moteur qui en découle, commet une action A1 choisie dans l’ensemble des actions possibles An, en direction du receveur et potentiellement émetteur R(E) (un élément vivant de son milieu ou un fragment abiotique de son milieu pouvant influencer un élément vivant de son milieu, dont lui-même) se trouvant dans un état M 0
R(E)c(A1)M1 → A2 → E(R)c(A1)M2
Le receveur et potentiellement émetteur R(E) connaissant c l’action A1 et se trouvant de ce fait dans l’état M2 commet une action A2 choisie dans l’ensemble des actions / réponses possibles à l’action A1, en direction de l’émetteur et potentiellement receveur E(R) connaissant c sa propre action A1 et se trouvant de ce fait dans l’état M2, A1 étant piochée dans un ensemble plus vaste que celui d’où provient A2, le domaine sur lequel est défini A1 est plus restreint, au moins de A1, que toutes les actions possibles. Il s’agit spécialement des actions de type prédation / fuite où le principe de l’action gagnante est basé sur les actions qui se différencient des actions précédentes, ce qui veut dire que chaque nouvelle action pioche dans un réservoir de plus en plus restreint.An - {D}An+1 ⊂ {D}An.Les individus biologiques diffèrent par leurs façons différenciées d’exécuter les actions basées sur les schémas monotones.E(R)c(A1)c(A2)M3 → A3 → R(E)c(A)1 c(A2)M2
L’émetteur initial connaissant sa propre action initiale, ses actions ultérieures et les actions de son receveur, sait aussi qu’à chacune de ses actions il restreint le domaine des actions possibles du receveur davantage qu’il ne restreint le sien, puisque si le receveur répond d’une manière identique ou directement opposée aux actions de l’émetteur, il risque de créer dans le spectre de ses actions une monotonie ou périodicité facile à anticiper. Mais en vertu de son rôle initiateur, l’étendue de la connaissance de l’émetteur est affectée plutôt du poids des actions « utilisées » que de l’étendue de la connaissance du receveur. Cette situation procure à l’émetteur un avantage stratégique en même temps qu’un poids de l’information à traiter plus important.En vertu des similitudes de principes informationnels régissant les substrats informationnels des agents de l’environnement, et avant tout à partir de la constitution des espèces à système nerveux, on considère que le volume de calculs Vcal et le lapse de temps de leur exécution ΔTexe sont corrélés de la façon isochore (par analogie avec le terme de la thermodynamique qui signifie la transformation à volume constant).Vcal ΔTexeNous écrivons donc que l’émetteur se trouvant dans la relation de la boucle rétroactive avec son receveur est, sur le plan du traitement informationnel, dans une difficulté toujours plus grande que celle vécue par le receveur.EMn+2 → An → RMn+1 où n+2 ⊂ n+1Nous écrivons également que le receveur se trouvant dans la relation de la boucle rétroactive avec son émetteur est, sur le plan temporel, dans une difficulté grandissante en fonction des initiatives d’actions de l’émetteur.RMn+2 → An → EMn+1 où n+2 ⊂ n+1Si c’est donc l’émetteur qui gagne, il gagne par sa capacité d’anticipation sur les actions du receveur, et si c’est le receveur qui gagne, cela veut dire qu’il a trouvé des actions possibles en éliminant plus rapidement les actions déjà effectuées. L’émetteur, pour gagner, doit avoir les capacités de traitement (la mémorisation y compris) plus importantes, le receveur, pour gagner, doit avoir des réactions neuro-effectrices plus importantes.Pour finir, remarquons une chose intéressante : les principes d’initiative et d’autonomie correspondent bien aux premières définitions du terme cybernétique [***] »
MS
Principe d’anticipation : l’initiative dans la rétroaction agent / environnement
Biovision team
