Contents

Preface, Acknowledgments and Interviews. iv

List of participants. viii

Schedule. x

Index.. xii

Thorpe, S. 1

« Spikes & Vision »

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_S_Thorpe.mov

Bessiere, P. 49

« Bayesian modeling of perception, learning, decision and action »

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_P_Bessiere.mov

Courrieu, P. 107

« Density Codes, Shape Spaces, and Reading »

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_P_Courrieu_1sur2.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_P_Courrieu_2sur2.mov

LeCun, Y. 149

« Learning Hierarchies of Invariant Features »

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_Y_LeCun_1sur2.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_Y_LeCun_2sur2.mov

Van Gerven, M. 245

« Percept Decoding with Sparse Latent Variable Models »

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_M_Van_Gerven.mov

Halkias, X. 363

« General Sparse Penalty in Deep Belief Networks: Towards Domain Adaptation »

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_X_Halkias.mov

Perreira, M. 379

« Computational Modeling of Visual Attention »

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_M_Perreira.mov

Hannagan, T. 439

« Symmetry networks: three applications to cognitive modeling »

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_T_Hannagan.mov

Chamroukhi, F. 463

« Learning probabilistic latent process models from temporal data »

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_F_Chamroukhi.mov

Proceedings in pdf

 


 

Preface, Acknowledgments and Interviews

We are pleased to introduce the 7th edition of the ERMITES summer school. This year's subject matter is centered on the: Representations and Decisions in Cognitive Vision.

 

The participants will attend a series of lectures by international experts who will offer their views and research conclusions on the different aspects and levels of various representations, including sparse representations, in cognitive vision applications such as classification. The lectures will showcase several, neuro-inspired models using deep architectures as well as probabilistic, bayesian models with hidden variables.

 

The advanced methodologies that will be presented, are applied on a diverse set of vision applications (robotics, brain imaging, etc) and manuscript analysis, allowing for a multimodal approach.

 

We would like to extend our gratitude and appreciation to all invited speakers who are kindly offering their knowledge and scientific conclusions in the above mentioned subjects: S. Thorpe, P. Bessiere, P. Courrieu, Y. LeCun, M. Van Gerven, X. Halkias, M. Perreira, T. Hannagan, F. Chamroukhi.

 

We would also like to equally thank INRIA, ARIA, GDRI3, CNRS, LSIS (UMR 7296), Toulon Provence Méditerranée (TPM), le Conseil Général 83, Axe transversal INFORMATION de l'Université de Toulon, PEPS Rupture CNRS Swarm vision and USTV for their support, and finally, many thanks to the program and organizing committees:

 

Program committee:

   H. Glotin (prés.), Pr USTV &IUF, UMR LSIS

   Y. LeCun, Pr univ. New York, Courant Inst. of Math. Sciences
  P. Bessière, DR CNRS, Collège de France, UMR LPPA
  S. Thorpe, DR CNRS, UMR CERCO

   F. Chamroukhi, MCUSTV, UMRLSIS

   S. Paris, MCAMU, UMR LSIS

   J. Razik, MCUSTV, UMR LSIS

Organizing committee:

      F. Chamroukhi (pres.)

      H. Glotin

      J. Razik

 

      X. Halkias, post-doctorante USTV, LSIS

      T. Maillot, doctorant USTV, LSIS

      R. Abeille, doctorant USTV, LSIS

      J.-M. Prévot, IE USTV

      C. Rabouy, doctorant USTV, LSIS

      A. PASQUINELLI, secrétaire LSIS

 

ERMITES is also supported by the FRIIAM (Fédération de Recherche en Informatique et Interactions d’Aix-Marseille) for its learning component and modeling of multimodal signals. The summer school will also offer an aspect of learning statistical models, which corresponds with the goals of the French statistical society (SFDS).

 

In conclusion, the organizing committee in its whole would like to wish you a pleasant stay at la Seyne/mer.

 

From left to right: Lefebvre, Paris, Bessiere, Perreira Da Silva, LeCun, Thorpe, Lufimpu-LuviYa, Halkias, Chamroukhi, Maillot, Abeille, Cord, Kleindienst, Malige, Precioso, Giraudet, Hannagan, Glotin, Mamalet,  Bellot, Mauuary, Van Gerven, Rabouy, Courrieu, Bouchara, Caron, Doh, Razik.
Outside picture: Bartcus, Demerdjian, Le Goc. Addresses p 501

 

If you need to cite this book, it will be very usefull for the school, here is the reference:

 

H. Glotin, F. Chamroukhi, T. Maillot, "Representations and Decisions in Cognitive Vision", Proceedings of the international summer school ERMITES, Vol. 7, 507p. Ed. Univ. Sud-Toulon Var, France, ISBN 979-10-90821-00-2, Sept. 2012.

 

La Garde, July, revised September 2012,

 

The program and organizing committees

Small interviews:

http://sis.univ-tln.fr/~glotin/ERMITES12/Bessiere.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/Glotin.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/Malige.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/Thorpe.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/Demerdjian.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/LeCun.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/Perreira_Da_Silva.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/VanGerven.mov

 

 

 


 


Contexte
 

Le thème de cette année s’inscrit dans le projet « Dynamiques de l’Information » de l'UMR LSIS (http://www.lsis.org/dyni).

Il est connexe au PEPS RUPTURE de DYNI 2011-12 : Scale Swarm Vision.

Il est également lié à l’ANR 2010-CORD-013 COGNILEGO Des pixels à la sémantique pilotée par Dyni regroupant les partenaires LNIA et A2IA. Plus précisément dans cette ANR, nous proposons de développer des modèles cognitifs d’intégration de l’information visuelle pour la transcription robuste de documents. Notre approche repose sur des traitements multi-échelles. Des approches DBN, Scattering et topographiques génératives sont proposées (cf http://cognilego.univ-tln.fr ).

Illustration du schéma de l'intégration de l'information manuscrite proposée

dans le projet ANR COGNILEGO.


List of participants

NOM

Prénom

Courriel

Fonction

Organisme / Entreprise

ABEILLE

Régis

regis.abeille@univ-tln.fr

Doctorant

LSIS - Université du Sud-Toulon-Var

BARTCUS

Marius

marius.bartcus@gmail.com

Stagiaire

LIPN – Université Paris 13

BELLOT

Patrice

patrice.bellot@lsis.org

Professeur

Ecole Polytechnique Universitaire de Marseille - Dépt. GII -Université Aix-Marseille

BESSIÈRE

Pierre

Pierre.Bessiere@college-de-france.fr

DR CNRS

LPPA -Collège de France

BOUCHARA

Frédéric

bouchara@univ-tln.fr

Maître de conférences

LSIS - USTV

CARON

Olivier

caron@univ-tln.fr

Maître de conférences

Laboratoire LAMHESS - Université du Sud-Toulon-Var

CHAMROUKHI

Faicel

faicel.chamroukhi@univ-tln.fr

Maître de conférences

LSIS - Université du Sud-Toulon-Var

CORD

Matthieu

matthieu.cord@lip6.fr

Professeur

UPMC/LIP6

COURRIEU

Pierre

pierre.courrieu@univ-amu.fr

CR CNRS

Laboratoire de Psychologie Cognitive

DEMERDJIAN

Véra

vera_demerjian@hotmail.com

Doctorant

Laboratoire Images Signaux et Systèmes Intelligents

DOH

Yann

yanndoh.m2@gmail.com

Doctorant

LSIS - Université du Sud-Toulon-Var

GIRAUDET

Pascale

giraudet@univ-tln.fr

Agrégée de SVT

Université du Sud-Toulon-Var

GLOTIN

Hervé

glotin@univ-tln.fr

Professeur

LSIS - Université du Sud-Toulon-Var

HALKIAS

Xanadu

xanadu.halkias@univ-tln.fr

Post-doctorant

LSIS - Université du Sud-Toulon-Var

HANNAGAN

Thomas

thom.hannagan@gmail.com

Post-doctorant

Laboratoire de Psychologie Cognitive

KLEINDIENST

Olivier

okleindienst@kolpi.fr

Ing. R&D

Kolpi SAS

LECUN

Yann

yann@cs.nyu.edu

Professor

The Courant Institute of Mathematical Sciences, Center for Neural Science

LEFEBVRE

Grégoire

gregoire.lefebvre@orange.com

Research Scientist, Ph.D.

France Telecom R&D - Orange Labs

LE GOC

Marc

marc.legoc@lsis.org

Professeur

LSIS - Aix-Marseille Université

LUFIMPU-LUVIYA

Yannick

yannick.lufimpu-luviya@lsis.org

Doctorant

LSIS - Équipe I&M (ESIL)

MAILLOT

Thibault

thibault.maillot@univ-tln.fr

Doctorant

LSIS - Université du Sud-Toulon-Var

MALIGE

Franck

malige@no-log.org

Agrégé de mathématiques

Marseille

MAMALET

Franck

franck.mamalet@orange.com

Ing. R&D

Orange Labs

MAUUARY

Didier

didier.mauuary@cyberio-dsi.com

PDG

CYBERIO

PARIS

Sébastien

Sebastien.paris@lsis.org

Maître de conférences

Aix-Marseille

PERREIRA DA SILVA

Matthieu

matthieu.perreiradasilva@univ-nantes.fr

Maître de conférences

Institut de Recherche en Communications et Cybernétique de Nantes - Polytech Nantes

PRECIOSO

Frédéric

frederic.precioso@polytech.unice.fr

Professeur

Lab I3S - UMR 7271 UNS/CNRS

RABOUY

Céline

celine-rabouy@etud.univ-tln.fr

Stagiaire M2R

LSIS - Université du Sud-Toulon-Var

RAZIK

Joseph

razik@univ-tln.fr

Maître de conférences

LSIS - Université du Sud-Toulon-Var

THORPE

Simon

simon.thorpe@cerco.ups-tlse.fr

DR CNRS

Centre de Recherche Cerveau et Cognition

VAN GERVEN

Marcel

m.vangerven@donders.ru.nl

Assistant Professor

Cognitive Artificial Intelligence Department

 



Schedule

 

Representations and Decisions in Cognitive Vision

Représentations et Décisions en Vision Cognitive

 

Jeudi 30 août

Vendredi 31 août

Samedi 1 septembre

 


 


 

Index


A

Affine Moment Invariants

AMI · Voir Affine Moment Invariants

B

Bayesian

C

Classification

Contrastive Divergence

Convolutional

D

Deep belief network · Voir Network

Density function

Depth Saliency

Detection

Dissimilarity functions

DS · Voir Depth Saliency

E

EBM · Voir Model, Voir Energy based models

EM algorithm · Voir Expectation-maximization algorithm

Energy

Energy

Energy based models · Voir Model

Expectation-maximization algorithm

F

Feature

Feature learning · Voir Learning

Features

FISTA

FLDA

FMDA · Voir Functional Mixture Discriminant Analysis

FPGA

Functional Mixture Discriminant Analysis

G

Gabor

I

Implementations

K

K-means

L

Lateral inhibition

Learning

Deep learning

Feature learning

Learning

Learning ISTA

Machine Learning

Perceptual learning

Supervised learning

Unsupervised learning

Likelihood

LISTA · Voir Learning

M

MAP rule

Model

Centralised

Computationnal attention models

Distributed

Energy based models

Hierarchical

Preys/predators

Regression Model with a Hidden Logistic Process

Semantic encoding model

Structural encoding model

Volterra-Lotka model

Multi-scale

N

Network

Deep belief network

Network

Neural network

Neuroscience

Normalization

O

Object tracking

Optimal

P

Pearson Linear Correlation Coefficient

Perceptual

Perceptual learning · Voir Learning

Perceptual system

PLCC · Voir Pearson Linear Correlation Coefficient (PLCC)

Pooling

PSD · Voir Sparse

R

RBM · Voir Restricted Boltzmann Machines

Recognition

Object recognition

Recognition

Shape recognition

Restricted Boltzmann Machines

RHLP · Voir Model

S

Saliency

Shape

Complex shape

Shape

Shape recognition · Voir Recognition

SIFT

Spacial coding principle

Spanning tree

Sparse

Group sparsity

Predictive Sparse Decomposition

Sparse

Sparse coding

Sparse constraints

Sparse group lasso

Sparseness

Sparsity

Standard deviation

Stereoscopic

Super resolution

SVM

T

Training

V

Visual

Visual attention

Visual perception

W

Weight Decay

WTA



Thorpe, S.

UMR CNRS CERCO, Toulouse

- Centre de Recherche Cerveau et Cognition –

http://www.cerco.ups-tlse.fr/Simon-THORPE

 

« Spikes & Vision »

 

Les modèles neuro-inspirés peuvent expliquer certaines variables de notre système de perception, notamment nos temps de réaction et ou de décision. Nous montrons certains modèles 'spike' expliquant des temps de perception subliminale.

 

References:   Bichler, O., D. Querlioz, S. J. Thorpe, J. P. Bourgoin and C. Gamrat (in press) Extraction of temporally correlated features from dynamic vision sensors with spike-timing-dependent plasticity. Neural Netw.

Masquelier, T., R. Guyonneau and S. J. Thorpe (2009) Competitive STDP-Based Spike Pattern Learning. Neural Comput 21 (5) 1259-1276

Masquelier, T., Guyonneau, R., & Thorpe, S. J. (2008). Spike timing dependent plasticity finds the start of repeating patterns in continuous spike trains. PLoS ONE, 3(1), e1377.

Masquelier T, Thorpe SJ. 2007. Unsupervised Learning of Visual Features through Spike Timing Dependent Plasticity. PLOS Computational Biology 3:e31

Thorpe S, Delorme A, VanRullen R. 2001. Spike-based strategies for rapid processing. Neural Netw 14:715-25.

 

 

Video: http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_S_Thorpe.mov



 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


 

Bessiere, P.

Collège de France, Paris

- LPPA, Active perception and exploration of objects team –

http://www.bayesian-programming.org

 

« Bayesian modeling of perception, learning, decision and action »

 

We present the principles of a Bayesian approach of sensory-motor systems [Bessiere08][Colas10]. We illustrate these principles with few examples coming either from life modeling or robotics. We will present, for instance, a model for perception of shape from motion [Colas06, Colas08], a model of perception of ego-movement from visuo-vestibular information [Laurens07], a model of sensori-motor loop involved in handwriting and reading [Gilet10, Gilet11] and, finally, a model called BOF (Bayesian Occupancy Filter) used in the automotive industry for obstacles detection and avoidance [Coué03, Coué06].

 

References:   [Bessiere08] Probabilistic Reasoning and Decision Making in Sensory-Motor Systems
[Colas10] Common bayesian models for common cognitive issues Colas F., Diard J., Bessiere P. Acta Biotheoretica
[Colas08] An unified probabilistic model of the perception of three-dimensional structure from optic flow Colas F., Droulez J., Wexler M., Bessière P., Biological Cybernetics
[Colas06] Perception des objets en mouvement Composition bayésienne du flux optique et du mouvement de l'observateur, PhD
[Gilet11] Bayesian Action-Perception Computational Model: Interaction of Production and Recognition of Cursive Letters Gilet E., Diard J., Bessiere P., PLoS ONE
[Coué06] Bayesian Occupancy Filtering for Multitarget Tracking: an Automotive Application Coué C., Pradalier C., Laugier C., Fraichard T., Bessière P., Int. Journal of Robotics Research

 

Video: http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_P_Bessiere.mov


 


 

Courrieu, P.

UMR CNRS LPC, Marseille

 

« Density Codes, Shape Spaces, and Reading »

                                                                                               

On sait depuis longtemps que, chez l'humain, la reconnaissance des mots imprimés passe par l'identification des lettres qui les composent (McClelland, 1976), mais il a été établi plus récemment qu'une forme de traitement holistique du mot apporte aussi une contribution significative à la reconnaissance (Lété et Pynte, 2003). Cette contribution holistique pourrait s'avérer encore plus critique pour les mots manuscrits, dans lesquels il n'est pas rare que certaines lettres ne soient tout simplement pas identifiables individuellement. La question se pose alors de savoir quelle forme pourraient prendre les représentations holistiques utilisées par la perception visuelle. De nombreuses possibilités sont envisagées dans la littérature, et je me suis pour ma part concentré sur l'exploration d'une hypothèse de représentation globale des formes par des "codes de densité" (Courrieu, 2006, 2007). Un code de densité est une séquence de points dont la distribution spatiale a une densité proportionnelle à la fonction image qu'elle encode. Par construction, la séquence de points permet la comparaison de formes dans des espaces de formes admettant certains invariants non nécessairement affines. D'assez bons résultats sont obtenus dans des espaces de formes "naturelles" (formes végétales, fractales...), mais les méthodes de comparaison développées à ce jour sont encore insuffisantes pour l'écriture manuscrite, particulièrement si on envisage de les appliquer à un vocabulaire de grande taille comme celui des langues naturelles. Je présenterai mes dernières investigations en la matière, dans le cadre d'un projet visant à l'approximation d'une fonction d'un espace de formes manuscrites vers un espace de codes orthographiques.

 

Reference: http://sis.univ-tln.fr/%7Eglotin/Courrieu07.pdf

 

Video: http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_P_Courrieu_1sur2.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_P_Courrieu_2sur2.mov



 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


 

Matlab implementation of the old density code computation

Matlab implementation of the new density code computation

 



 

LeCun, Y.

Université de New York

- The Courant Institute of Mathematical Sciences, Center for Neural Science –

http://yann.lecun.com

 

« Learning Hierarchies of Invariant Features »

 

L'exposé portera sur les modèles convolutionels et modèles profonds (DBN), notamment inspirés de structure corticale. Nous montrerons que les modèles à contrainte parcimonieuse permettent d'ouvrir une optimisation de connectiques latérales, et multi-représentation, propices à l'émergence de concepts.

 

References:   Clement Farabet, Camille Couprie, Laurent Najman and Yann LeCun: Learning Hierarchical Features for Scene Labeling, IEEE Transactions on Pattern Analysis and Machine Intelligence, in press, 2013

Pierre Sermanet, Soumith Chintala and Yann LeCun: Convolutional Neural Networks Applied to House Numbers Digit Classification, International Conference on Pattern Recognition (ICPR 2012), 2012

Yann LeCun: Learning Invariant Feature Hierarchies, in Fusiello, Andrea and Murino, Vittorio and Cucchiara, Rita (Eds), European Conference on Computer Vision (ECCV 2012), 7583:496-505, Lecture Notes in Computer Science, Springer, ISBN:978-3-642-33862-5, Workshop on Biological and Computer Vision Interfaces (invited paper), 2012

Arthur Szlam, Karol Gregor and Yann LeCun: Fast Approximations to Structured Sparse Coding and Applications to Object Classification, in Fitzgibbon, Andrew and Lazebnik, Svetlana and Perona, Pietro and Sato, Yoichi and Schmid, Cordelia (Eds), European Conference on Computer Vision (ECCV 2012), 7576:200-213, Lecture Notes in Computer Science, Springer, ISBN:978-3-642-33714-7, 2012

Jose M. Alvarez, Theo Gevers, Yann LeCun and Antonio M. Lopez: Road Scene Segmentation from a Single Image, in Fitzgibbon, Andrew and Lazebnik, Svetlana and Perona, Pietro and Sato, Yoichi and Schmid, Cordelia (Eds), European Conference on Computer Vision (ECCV 2012), 7578:376-389, Lecture Notes in Computer Science, Springer, ISBN:978-3-642-33785-7, 2012

 

Video: http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_Y_LeCun_1sur2.mov

http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_Y_LeCun_2sur2.mov


 


 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


 


 

Van Gerven, M.

Donders Institute for Brain, Netherlands

- Cognition and Behaviour –

https://sites.google.com/a/distrep.org/distrep/marcel-van-gerven

 

« Percept Decoding with Sparse Latent Variable Models »

 

Functional MRI has an exquisite spatial resolution which offers a unique window into the brain . Using sophisticated machine learning techniques, researchers have shown that visual percepts can be decoded from fMRI BOLD responses. In this talk I will give an overview of the status of this field. Particularly, I will discuss the decoding problem from a probabilistic point of view and make the distinction between discriminative and generative approaches. Next to the discussion of models used by other researchers, I will present a number of approaches we have been developing within my group. These approaches range from simple Gaussian models to more complex deep architectures.

 

References:  http://sis.univ-tln.fr/%7Eglotin/Van_Gerven_Neural_decoding.pdf

 

Video: http://sis.univ-tln.fr/~glotin/ERMITES12/ERMITES_2012_M_Van_Gerven.mov