1. Acquisition de données:rassemblement de la matière première
* Imagerie satellite: Ceci est la couche fondamentale. Les images satellites haute résolution offrent une vue large et descendante du monde. Ces images sont capturées par des satellites en orbite autour de la Terre, fournissant un enregistrement visuel complet. La résolution s'est considérablement améliorée au fil des ans, ce qui permet de plus de détails.
* Photographie aérienne: Des avions ou des drones équipés de caméras spécialisées volent sur des zones spécifiques, capturant des images qui se chevauchent sous différents angles. Cela fournit une résolution plus élevée et plus de détails que l'imagerie satellite.
* Street View Cars &Trekker: Ces véhicules équipés de réseaux de caméras, de capteurs LiDAR (détection de lumière et allant), et les unités GPS roulent le long des routes et des chemins, capturant des panoramas à 360 degrés et des nuages de points 3D détaillés des environnements au niveau de la rue. Le Trekker est une version sac à dos pour les zones inaccessibles aux voitures.
* Photos soumises par l'utilisateur: Dans certains cas, Google exploite les photos contrôlées par l'utilisateur pour combler les lacunes ou améliorer la qualité des modèles 3D, bien que ces données soient généralement soigneusement vérifiées et intégrées.
2. Reconstruction 3D:transformer les images en modèles
* Photogrammétrie: Il s'agit de la technique de base pour créer des modèles 3D à partir d'images 2D.
* Détection des fonctionnalités: Le logiciel identifie les caractéristiques clés (coins, bords, textures) dans les images qui se chevauchent.
* correspondance des fonctionnalités: Il correspond ensuite à ces fonctionnalités sur plusieurs images, en comprenant comment le même point dans le monde réel apparaît sous différents angles.
* Structure du mouvement (SFM): En utilisant les fonctionnalités adaptées et les positions de caméra connues (à partir du GPS et d'autres capteurs), l'algorithme reconstruit la structure 3D de la scène, en estimant la position et l'orientation de la caméra pour chaque image. Cela crée un nuage de points clairsemé représentant la scène.
* Reconstruction dense: Le cloud de points clairsemé est ensuite utilisé comme base pour créer un nuage de points plus dense et plus détaillé. Cela comble les lacunes et crée une représentation 3D plus complète.
* Génération de maillage: Enfin, le nuage de points est converti en un maillage 3D, qui est un réseau de triangles interconnectés qui forment la surface du modèle 3D.
* lidar (détection de lumière et tâtonnement):
* Scanning laser: Les capteurs lidar émettent des impulsions laser et mesurent le temps nécessaire pour que la lumière revienne. Cela permet des mesures très précises de la distance aux objets.
* Génération de nuages de points: Les données LiDAR sont utilisées pour créer un cloud de point 3D dense représentant l'environnement. Ceci est particulièrement précieux pour créer des modèles 3D précis de terrain et de bâtiments, et est plus précis que la photogrammétrie pour des formes complexes.
* fusion avec imagerie: Les données lidar sont souvent combinées avec des images pour ajouter de la couleur et de la texture aux modèles 3D, créant une apparence plus réaliste.
* apprentissage automatique et ai: Google utilise l'apprentissage automatique pour:
* Améliorer le traitement de l'image: Améliorez la qualité de l'image, réduisez le bruit et corrigez les distorsions.
* Reconnaissance d'objets: Identifier et classer les objets dans les images (par exemple, les arbres, les bâtiments, les voitures, les gens). Cela permet l'étiquetage automatisé et l'annotation des modèles 3D.
* Remplissage de l'espace: Remplissez des données ou des zones manquantes où la reconstruction 3D est incomplète.
* Amélioration de la texture: Générez des textures et des détails réalistes pour les modèles 3D.
* Génération procédurale: Créez des modèles 3D d'objets difficiles à capturer directement (par exemple, les arbres, la végétation), en utilisant des algorithmes qui génèrent des représentations d'aspect réaliste.
3. Traitement et optimisation des données:
* Georeferencing: Toutes les données sont précisément géoréférencées, ce qui signifie qu'elle est alignée sur un système de coordonnées mondiales. Cela garantit que les modèles 3D sont positionnés avec précision sur la terre.
* Fusion de données: Les données provenant de différentes sources (imagerie satellite, photographie aérienne, Street View, LiDAR) sont combinées et intégrées pour créer un modèle 3D complet et cohérent.
* simplification et optimisation: Les modèles 3D sont souvent simplifiés et optimisés pour réduire la taille de leur fichier et améliorer les performances, tout en conservant un niveau de détail élevé. Ceci est crucial pour diffuser efficacement les données sur Internet.
* Texturation: Les images sont "projetées" sur le maillage 3D pour lui donner une couleur et une texture réalistes.
4. Affichage et visualisation:
* Rendu carrelé: Le monde 3D est divisé en tuiles, permettant un streaming et un rendu efficaces des zones qui sont actuellement visibles pour l'utilisateur.
* Niveau de détail (LOD): Différents niveaux de détail sont utilisés pour les objets en fonction de leur distance de l'utilisateur. Les objets distants sont rendus avec des détails plus bas, tandis que les objets plus proches sont rendus avec des détails plus élevés. Cela aide à améliorer les performances et à réduire la quantité de données qui doivent être diffusées.
* Techniques de rendu réalistes: Des techniques comme l'ombrage, l'éclairage et les ombres sont utilisées pour créer une expérience plus réaliste et immersive.
Avancements technologiques clés permettant aux mondes 3D de Google:
* Alimentation de calcul accrue: La puissance de calcul massive dans les centres de données est cruciale pour le traitement des grandes quantités de données impliquées dans la reconstruction 3D.
* Progrès dans la vision par ordinateur: Algorithmes améliorés pour la détection des fonctionnalités, la correspondance et la reconstruction 3D.
* Apprentissage automatique: Traitement d'image automatisé, reconnaissance d'objets et remplissage d'écart.
* Capteurs haute résolution: Des caméras avancées et des capteurs LiDAR qui capturent des données plus détaillées et précises.
* Stockage et streaming de données efficaces: Infrastructure évolutive pour stocker et diffuser les quantités massives de données 3D.
En résumé, le monde 3D de Google est le résultat d'un processus complexe et sophistiqué qui combine des technologies et des techniques avancées, notamment l'imagerie par satellite, la photographie aérienne, Street View, le LiDAR, la photogrammétrie, l'apprentissage automatique et le traitement efficace des données et le streaming. Il s'agit d'un processus continu de collecte, de traitement et d'amélioration des données, évoluant constamment pour fournir aux utilisateurs la représentation la plus précise et la plus détaillée de la Terre.