Onderzoekers van UHasselt keken hoe omnidirectionele 720° camerasensoren kunnen toegepast worden op drones. Het camerasysteem moet licht zijn zodat het makkelijk aan een drone kan, een hoge resolutie hebben voor professionele beelden te maken en live videostreaming naar de grond zodat de beelden meteen gebruikt kunnen worden.
Wat zijn de voordelen van omnidirectionele camera’s?
Recent zijn er talrijke ontwikkelingen geweest op het gebied van 360° camera’s. Zulke systemen zijn in staat om de volledige omgeving rondom de camera vast te leggen. Andere populaire benamingen voor 360° video zijn panoramische video of omnidirectionele video. Door het beperkt gewicht dat een drone kan meedragen, kunnen enkel lichte omnidirectionele camera’s gebruikt worden. Deze lichte omnidirectionele camera’s beschikken typisch over een lage resolutie, waardoor hun inzetbaarheid eerder beperkt is.
Voor (al dan niet autonome) drones is navigatie een belangrijke taak. Waar een traditionele camera zich moet baseren op een beperkt gezichtsveld, kan een omnidirectionele camera de hele omgeving gebruiken om een bewegingsactie uit te voeren. De kijkhoek van een omnidirectionele camera is veel groter. Zo kan een drone, uitgerust met een omnidirectionele camera, makkelijker achteruit vliegen omdat hij een volledig overzicht heeft over de ruimte achter hem. Met een traditionele camera zou de drone eerst moeten omdraaien alvorens hij kan kijken of er open ruimte is. In het geval van een inspectieopdracht, waar de drone bijvoorbeeld een windmolen of brug moet inspecteren, is het essentieel dat de drone steeds een compleet beeld van de omgeving heeft, zodat hij geen botsing veroorzaakt met de windmolen of brug.
Indien de omnidirectionele camera aan voldoende resolutie kan opnemen, zal de drone in staat zijn om meerdere objecten of personen simultaan in beeld te nemen, onafhankelijk van waar ze zich bevinden ten opzichte van de drone. Iedere persoon kan dan afzonderlijk gevolgd en in beeld gehouden worden met een persoonlijke uitsnede. Dit is mogelijk omdat steeds de volledige omgeving wordt vastgelegd in plaats van enkel het object waarop de operator focust. Elke individuele uitsnede kan dan afzondelijk gestreamd worden naar de grond.
Wat is een 720° camera?
Bij een 360° camera wordt alles rondom de camera exact één keer opgenomen. Een 720° camera kan beschouwd worden als twee maal een 360° camera en gaat dus een stap verder door heel de omgeving twee keer op te nemen (‘double overlap’). Omdat deze ‘overlap’ aanwezig is, kan er extra informatie uit de omgeving gehaald worden, zoals bijvoorbeeld de diepte van de verschillende objecten in beeld.
De extra bekomen diepte-informatie kan ondersteuning bieden bij niet voor de hand liggende taken zoals autonoom vliegen. Deze geavanceerde taken maken gebruik van de omgeving om bijvoorbeeld te bepalen waar ze zich exact bevinden. In een 720° opstelling kan veel meer informatie van de omgeving gebruikt worden om de positiebepaling van de drone te verbeteren, in vergelijking met de traditionele enkele sensor methode.
Het omnidirectionele 720° camera framework
De omnidirectionele camera die in de onderzoekers ontwikkelden bestaat uit vier 4k camera’s met een brede kijkhoek van 195° die samen een 720° beeld vormen. De camera wordt bediend met op maat gemaakte software die de vier camerabeelden samenvoegt tot twee 360° beelden. De verwerking van deze camera’s moet gebeuren op een draagbaar en heel lichtgewicht verwerkingsplatform dat kan uitgerust worden op een drone. In dit geval is er gekozen voor het NVIDIA Jetson AGX Xavier Development Kit (630 gram), waar de videodata kan verwerkt worden aan 20 frames per seconde.
Toepassingen
Op dit moment zit de ontwikkeling van de 720° camera in het stadium van een proof-of-concept en zijn er nog vervolgprojecten nodig om hem effectief inzetbaar te maken voor toepassingen voor drones. Zo kan tijdens het monitoren van verkeer de 720° camera de volledige omgeving observeren en in het geval van een ongeval of een incident heeft hij het steeds volledig in beeld. De operator moet niet langer keuzes maken over wat hij in beeld houdt, maar kan er nu voor kiezen om heel de situatie te observeren. Bij beveiligingstoepassingen kan de operator verschillende personen volgen, onafhankelijk aan welke kant van de drone ze zich bevinden. Het volledige omgevingsbeeld met diepte-informatie zorgt er ook voor dat de algoritmes voor autonome navigatie beter kunnen presteren.
Tot slot zorgt de ultra-high-definition videodata voor voldoende kwaliteit om ze in te zetten voor ‘broadcast’ toepassingen, waaronder professionele uitzendingen voor tv. Doordat de hele omgeving opgenomen wordt, kunnen virtueel camera-uitsnedes naar wens gemaakt worden. Meerdere van zulke camerasystemen kunnen worden gecombineerd om een volledige regie mogelijk te maken zonder fysieke cameraoperatoren. De onderzoekers van UHasselt ontwikkelden hiervan reeds een proof-of-concept. Met AI technieken worden personen en hun bewegingen gedetecteerd vanuit verschillende standpunten. Vervolgens wordt op basis van dit pad een virtuele uitsnede gemaakt volgens cameratechnieken uit de cinematografie. Tot slot bepaalt het systeem automatisch welk camerastandpunt het aantrekkelijkste beeld oplevert. Deze proof-of-concept van een automatische regie werd geëvalueerd op verschillende datasets waaronder een conferentie, een basketwedstrijd en dansoptreden. Meer details kunnen gelezen worden in de paper “Automatic Camera Control and Directing with an Ultra-High-Definition Collaborative Recording System”.
Wij kijken alvast uit naar de toepassing hiervan op drones! Vragen, ideeën of suggesties? Laat het ons dan zeker weten via info@euka.flandersmake.be zodat we samen kunnen nadenken hierover of je in contact kunnen brengen met de juiste personen.