Voor de meeste toepassingen van drones is een goede GPS-verbinding noodzakelijk zodat de drone nauwkeurig het gewenste traject kan afleggen en ook achteraf de juiste locatie van de opgenomen data gekend is voor verdere verwerking. Wanneer er geen nauwkeurig GPS-signaal beschikbaar is, zoals bijvoorbeeld binnenshuis, kort bij gebouwen of onder bruggen, moet men beroep doen op andere lokalisatietechnieken.

Een veel gebruikte techniek werkt op basis van camerabeelden waarbij een kaart van de omgeving wordt opgebouwd en tegelijkertijd de drone zich hierin probeert te lokaliseren. Deze “Visual SLAM” (Simultaneous Localisation And Mapping) methodes vergen veel rekenkracht doordat ze kenmerkende details in opeenvolgende camerabeelden proberen te volgen.  Wanneer er te weinig kenmerkende details in beeld zijn, zoals bijvoorbeeld bij een vlakke muur, raakt de drone de weg kwijt en wijkt hij van zijn traject af. 


Een typisch SLAM algoritme zoekt bepaalde kenmerken in zijn beeld (links). Op basis hiervan wordt een 3D kaart opgesteld (mapping) waarin vervolgens de positie (localization) van de camera zelf in bepaald kan worden (rechts).  

Onderzoek door doctor Seifi en professor Tuytelaars van KU Leuven vervangt deze typische SLAM methode door een diep neuraal netwerk. Dit algoritme moet eerst getraind worden door met de camera een gekend traject af te leggen waarmee je in elke uithoek van de ruimte komt. Hierin schuilt ook meteen het nadeel van deze methode, omdat dit algoritme niet in staat is zich te positioneren in een ruimte waar het op voorhand nog niet getraind was. Het algoritme wordt vervolgens geoptimaliseerd om op basis van een camerabeeld in de getrainde ruimte de overeenkomstige positie en oriëntatie van deze camera te schatten. Het grote voordeel van deze aanpak op basis van een diep neuraal netwerk is dat veel minder rekenkracht nodig is waardoor het ook het op heel kleine drones kan toegepast worden.
 

Tijdens een van de live  demonstraties van het Omnidrone onderzoeksproject werd deze aanpak toegepast op de live beelden van een omnidirectionele 360° camera. Omdat deze camera de gehele omgeving in één beeld capteert merkten de onderzoekers dat het algoritme bleef werken ook al waren grote stukken van het beeld onbruikbaar. Tijdens de demonstratie stuurde het neuraal netwerk op basis van de 360° camera de geschatte positie van de persoon die deze in de lucht hield, door naar een andere omnidirectionele camera die de hele ruimte kon filmen. Daardoor kon deze vervolgens de persoon centraal in zijn beeld houden. 


Het neuraal netwerk stuurt op basis van de 360° camera de geschatte positie van de persoon (links) door naar een andere omnidirectionele camera. Zo kan deze vervolgens de persoon centraal in zijn beeld houden.  

Vragen, ideeën of suggesties rond lokalisatie voor drones? Laat het ons dan zeker weten via info@euka.flandersmake.be zodat we samen kunnen nadenken hierover of je in contact kunnen brengen met de juiste personen.

Pin It on Pinterest