Canal-U

Mon compte
Inria

Knowledge transfer and human-machine collaboration for training object class detector


Copier le code pour partager la vidéo :
<div style="position:relative;padding-bottom:56.25%;padding-top:10px;height:0;overflow:hidden;"><iframe src="https://www.canal-u.tv/video/inria/embed.1/knowledge_transfer_and_human_machine_collaboration_for_training_object_class_detector.42385?width=100%&amp;height=100%" style="position:absolute;top:0;left:0;width:100%;height: 100%;" width="550" height="306" frameborder="0" allowfullscreen scrolling="no"></iframe></div> Si vous souhaitez partager une séquence, indiquez le début de celle-ci , et copiez le code : h m s
Auteur(s) :
FERRARI Vittorio

Producteur Canal-U :
Inria
Contacter le contributeur
J’aime
Imprimer
partager facebook twitter Google +

Knowledge transfer and human-machine collaboration for training object class detector

Object class detection is a central area of computer vision. It requires recognizing and localizing all objects of predefined set of classes in an image. Detectors are usually trained under full supervision, which requires manually drawing object bounding-boxes in a large number of training images. This is tedious and very time consuming.  In this talk I will present two recent techniques for reducing this effort.

In the first part I will explore a knowledge transfer scenario: training object detectors for target classes with only image-level labels, helped by a set of source classes with bounding-box annotations. I will present a unified knowledge transfer framework based on training a single neural network multi-class object detector over all source classes, organized in a semantic hierarchy. This generates proposals with scores at multiple levels in the hierarchy, which we use to explore knowledge transfer over a broad range of generality, ranging from class-specific (bicycle to motorbike) to class-generic (objectness to any class).  Experiments on 200 object classes from the ILSVRC 2013 dataset demonstrate large improvements over weakly supervised baselines. Moreover, we also carry out several across-dataset knowledge transfer experiments, which establish the general applicability of our method

In the second part I will consider a human-machine collaboration scenario, where a human interacts with a computer model to carry the bounding-box annotation process together. I will introduce Intelligent Annotation Dialogs: we train an agent to automatically choose a sequence of actions for a human annotator to produce a bounding box in a minimal amount of time. We consider two actions: box verification, where the annotator verifies a box generated by an object detector, and manual box drawing. We explore two kinds of agents, one based on predicting the probability that a box will be positively verified, and the other based on reinforcement learning. We experimentally demonstrate that our agents are able to learn efficient annotation strategies in several scenarios, automatically adapting to the image difficulty, the desired quality of the boxes, and the detector strength.


  •  
  •  
    Date de réalisation : 28 Juin 2018
    Durée du programme : 48 min
    Classification Dewey : Reconnaissance des formes par ordinateur, Vision par ordinateur
  •  
    Catégorie : Conférences
    Niveau : niveau Master (LMD), niveau Doctorat (LMD), Recherche
    Disciplines : Traitement signal et image, Informatique
    Collections : Colloquium Jacques Morgenstern : recherches en STIC - nouveaux thèmes scientifiques, nouveaux domaines d’application, et enjeux
    ficheLom : Voir la fiche LOM
  •  
    Auteur(s) : FERRARI Vittorio
    producteur : INRIA (Institut national de recherche en informatique et automatique)
    Editeur : INRIA (Institut national de recherche en informatique et automatique) , CNRS - Centre National de la Recherche Scientifique , UNS
  •  
    Langue : Anglais
    Mots-clés : apprentissage, classification image, reconnaissance objet, collaboration homme-machine, apprentissage visuel
 

commentaires


Ajouter un commentaire Lire les commentaires
*Les champs suivis d’un astérisque sont obligatoires.
Aucun commentaire sur cette vidéo pour le moment (les commentaires font l’objet d’une modération)
 

Dans la même collection

 Reasoning over large-scale biological systems with heterogeneous and incomplete data
 Majority judgment: a new voting method
 Les premiers photons : les saisir, les faire parler
 Biological Networks Entropies: examples in neural, genetic and social networks
 A l’écoute du bruit – L’imagerie par corrélations croisées
 Folding Turing is hard but feasible
 An extensionalist analysis of computer simulations
 Safety Verification of Deep Neural Networks
 Proofs assistants : from symbolic logic to real mathematics
 Mathématiques, Statistiques et Médecine: des collaborations plus que jamais nécessaires
 Visual Reconstruction and Image-Based Rendering
 Coccinelle: synergy between programming language research and the Linux kernel
 Semantics in the Time of Computing
 On Artificial Olfaction, and How to Test For It
 Le Bitcoin et les monnaies cryptographiques
 Number-theoretic methods in quantum computing
 Towards the Expressive Design of Virtual Worlds: Combining Knowledge and Control
 Numerical Optimal Transport and Applications
 Numbers, computers and dynamical systems
 Decision making at scale: Algorithms, Mechanisms, and Platforms
 Observations on doing research and on creating sublime user experiences
 Prototypage virtuel de système sur puce pour une simulation rapide et fidèle (1/2)
 Esterel et SCADE : de la recherche à l'industrie : La vision labo (cycle de cours et séminaires du collège de France en extérieur) 1/3
 Esterel et SCADE de la recherche à l'industrie : la vision industrielle (cycle de cours et séminaires du collège de France en extérieur) 2/3
 Esterel et SCADE (3/3), Urgences scientifiques posées par l’industrie: masquages d’horloges, circuits multi-horloges, ECOs et vérification formelle
 Une fréquence peut-elle être instantanée
 Le traitement du temps en automatique
 The Changing Nature of Invention in Computer Science
 Un regard géométrique sur l’action anthropomorphique
 Music and Text Generation "in the style of"
 Optimisation et apprentissage
 Scalable personalization infrastructures
 Can it be done in software ?
 Comment passent à l'échelle les systèmes de la nouvelle vague de technologies (Scaling behaviors of systems of the new technology wave)
 Théorie du Contrôle, 50 ans après
 Les mathématiques sont-elles utiles pour explorer le cerveau humain et mieux comprendre son fonctionnement ?
 Quantum Turing Test
 La programmation du Web diffus
 Speculating Seriously in Distributed Computing
 The Frobenius Problem and Its Generalizations
 Approches multiéchelles du cerveau visuel : des échos synaptiques à la perception des formes et du mouvement (série : Colloquium Jacques Morgenstern)
 Seismic tomography : A giiant inverse problem
 Risque, science, et pluralisme
 Sécurité sur Internet ? La logique à la rescousse...
 La parcimonie : une valeur d'avenir ? (série : Colloquium Jacques Morgenstern)
 Calculer avec des modèles analogiques ou avec des aspects analogiques (série : Colloquium Jacques Morgenstern)
 Réseaux d'automates: trente ans de recherche
 Action recognition from video: some recent results
 Introduction to Kernelization
 Mathematical models for the cardiovascular system
 Competition and Cooperation
 Graphes, hypergraphes et réseaux (série : Colloquium Jacques Morgenstern)
 Swarms: First Class Citizens in the Future Internet (série : Colloquium Jacques Morgenstern)
 Recent research at Pixar
FMSH
 
Facebook Twitter Google+
Mon Compte