Augmented horticulture – Understanding Plants via Augmented Reality

Augmented horticulture – Understanding Plants via Augmented Reality

Organisatie-onderdeel

TKI TU

Projectcode

TU18145

MMIP

Landbouw, Water, Voedsel>Sleuteltechnologieën LWV>Smart Technologies in Agri-Horti-Water-Food

Startdatum

01/01/19

Einddatum

31/12/22

Samenvatting

Het aantal kassen dat wereldwijd in de afgelopen 30 jaar is gebouwd, zal naar verwachting de komende 5 jaar verdubbelen. Arbeidsadoptie en -behoud zijn twee belangrijke knelpunten bij het opschalen van deze zeer efficiënte teeltmethoden. Vroegtijdige herkenning van gewasziekten is cruciaal voor het economisch rendement van de teelt. Maar, met de huidige steeds groter wordende kassen vormen de beschikbaarheid van kundig personeel en de kosten van scouting van de gehele kas een probleem. In dit project onderzoeken we of met Augmented Reality (AR) de manier van werken in de tuinbouw verder geoptimaliseerd kan worden. Zo zoeken we bijvoorbeeld antwoord op de vraag: “Kan AR helpen bij het trainen van personeel of kan een AR-bril tonen of het gewas gezond is?”

AR is een handsfree oplossing waarmee veredelaars, telers en personeel intuïtief kunnen communiceren met hun gewassen en de informatie daarover, en hun huidige manier van werken radicaal kunnen veranderen en optimaliseren. AR is de sleutel tot meer efficiëntie, terwijl het de mogelijkheid biedt om snel les te geven en met de gebruiker in elke taal te communiceren. AR voegt digitale informatie over het gewas en de omgeving toe aan een live beeld op een AR-bril, smartphone of tablet. Deze informatie komt uit de “cloud”, waarin eerder opgenomen data van bijvoorbeeld sensoren, robots of bewerkte camerabeelden zijn opgeslagen.

AR wordt steeds populairder en komt binnen handbereik voor krachtige toepassingen in de tuinbouw. In dit project laat WUR samen met high-tech partners, telers en veredelaars zien hoe hun toekomstige manier van werken eruit zal zien. De deliverables zullen de testuitkomst zijn van de acceptatie van deze nieuwe technologie, analyse van de verhoogde productiviteit, efficiëntie, of kwaliteit van de productie in de kas, en de analyse van inzichten verkregen via deze live data-ervaring binnen de kas, omdat AR biedt 'zien' met eigen ogen aan wat nu alleen in datasheets of tabellen te zien is.

De belangrijkste doelstellingen zijn om AR-technologieën mogelijk te maken voor telers en veredelaars, zodat hun personeel efficiënter wordt om hun taken in de kas uit te voeren. Door het lanceren van een dataplatform en protocol waarin gebruikers AR kunnen ervaren via slimme brillen en ook mobiele telefoons, kan data ontsloten worden terwijl je naast de plant staat in plaats van achter je bureau. Real-time verwerking van de vastgelegde beeldgegevens stelt ons ook in staat om werknemers in de kas te helpen via augmented/overlay-informatie.

Het onderzoek richt zich op het beantwoorden van de technische en niet-technische vragen die telers, veredelaars en de toeleverende industrie hebben over de toepassing van AR in de glastuinbouw. Deze zijn: de meerwaarde van AR-applicaties, de leercurve en inpassing in de bedrijfsvoering, investeringen, benodigde hardware, software, data-communicatie en infrastructuur, het behandelen, analyseren en weergeven van grote hoeveelheden data, en draagbare meetsystemen voor plantmonitoring en plaatbepaling.

Partners ontwikkelen concrete toepassingen, die samen met eindgebruikers jaarlijks worden geëvalueerd. Gaandeweg ontstaan zo zinvolle AR-applicaties die hun weg naar de praktijk kunnen vinden. Zo kijken we of een AR-bril kan meten en tonen of een gerbera voldoende rijp is om te oogsten. Dit kan gebruikt worden voor het trainen van nieuw oogstpersoneel. Ook voegen we een nabij-infrarood camera toe zodat de teler kan zien of het gewas gezond is of juist stress ervaart. Op die manier kan de teler snel en eenvoudig plekken in de kas vinden die minder produceren. Andere toepassingen gaan over het verzamelen en weergeven van data op een tablet of de AR-bril. Deze zijn vooral voor veredelaars die veel data over hun individuele planten willen registeren. De AR-bril zal hier automatisch de exacte locatie en identificatie van plantkenmerken bepalen. De teeltonderzoeker kan dan ter plekke relevante informatie over de betreffende plant geautomatiseerd verzamelen en invoeren in een database, aangevuld met in tekst vertaald gesproken commentaar. Ook kan de actuele of historische informatie lokaal in de kas opgevraagd worden.

Doel van het project

Het project draagt bij aan het innovatiethema “High Tech & Digitale Transformatie” van de Topsector Tuinbouw en Uitgangsmaterialen doordat het zich richt op de digitalisering van bedrijfsprocessen in de glastuinbouw. Vooral op bedrijfshulpmiddelen, bedoeld om een efficiëntieslag te maken, het teeltproces te optimaliseren, en een verdergaande robotisering en informatisering van het teeltproces. Planten worden individueel in ogenschouw genomen, door gebruik te maken geavanceerde camera- en meetsystemen die zowel positie als plantkenmerken geautomatiseerd kunnen verzamelen, waardoor deze heel nauwkeurig een individuele behandeling kunnen krijgen. Big data worden verzameld en centraal opgeslagen, bewerkt en geanalyseerd, en adviezen omtrent teelt kunnen in de kas aan de teler “on the spot” gegeven worden. Data van het teeltproces, geïndividualiseerd per plant/positie in de kas komen zo ook ter beschikking aan de keten om daar verdere digitalisatie te ondersteunen. De AR-applicaties worden samen met eindgebruikers uit de sector ontwikkeld, waardoor de acceptatie sneller, en de aanpassing van de bedrijfsprocessen, eenvoudiger zal verlopen. Het onderzoek sluit zo volledig aan bij de innovatiethema’s: glastuinbouw technologie, precisietuinbouw en digitale transformatie welke verwoord zijn in het thema Sleuteltechnologie 1: Smart Agri-Horti-Water-Food (ST1). ST1 is een thema dat een groot deel van de andere missies doorsnijdt en omvat een aantal technologische pilaren: sensoren, data-analyse, modellering, interpretatie, beslissingen, standaarden, robots, sociale en economische impact.

Relatie met missie (Motivatie)

Het aantal kassen dat wereldwijd in de afgelopen 30 jaar is gebouwd, zal naar verwachting de komende 5 jaar verdubbelen. Arbeidsadoptie en -behoud zijn twee belangrijke knelpunten bij het opschalen van deze zeer efficiënte teeltmethoden. Ook de vraag naar nieuwe gewassen, geschikt voor de nieuwe productiemethoden en regio’s, zal groeien. Hierdoor zullen veredelaars steeds meer informatie moeten verzamelen over hun gewassen (fenotypering). Vroegtijdige herkenning van zwak producerende planten, bijvoorbeeld door stress of gewasziekten, is cruciaal voor het economisch rendement van de teelt. Maar, met de huidige steeds groter wordende kassen vormen de beschikbaarheid van kundig personeel en de kosten van manuele scouting van de gehele kas een groot probleem.

In dit project onderzoeken we of met Augmented Reality (AR) de manier van werken in de tuinbouw bij telers en de veredelaars verder geoptimaliseerd kan worden. Zo zoeken we bijvoorbeeld antwoord op de vraag: “Kan AR helpen bij het trainen van nieuw personeel, kan een AR-bril vroegtijdig tonen of het gewas gezond is en automatisch plantkenmerken verzamelen?” Het project past daarom volledig bij de subthema’s ICT/Big Data, robots, sensoren, innovatieve materialen en andere technologieën onder High Tech & Digitale Transformatie, welke allen bijdragen aan versnelling van teelt- en veredelingsprocessen.

Geplande acties

Binnen het project worden 4 Use Cases uitgewerkt. Jaarlijks, rond het eind van elk jaar, worden daarvoor deelproducten opgeleverd (Mijlpalen 1,2,3 en 4). Per jaar wordt een werkplan gemaakt, waarin beschreven wordt aan welke deelproducten (Minimum Viable Products: MVP .) in dat jaar gewerkt zal worden. Het plan wordt opgesteld met de partners na evaluatie van de deelproducten van het jaar daarvoor en na consultatie van de Gebruikers Adviesgroep. Deze groep zal bestaan uit een selectie van telers en veredelaars. De generieke Use Cases en (deel)resultaten zijn:

1. Oogsthulp voor tomaat en gerbera.
Een AR-tool om oogsters te begeleiden naar producten die precies in het juiste rijpheidsstadium zijn door de kleur en andere fenologische kenmerken te meten. De AR-tool zal ter plekke het personeel instrueren welk product geoogst kan worden. De detectie wordt gedaan met behulp van de RGB-camera's in de bril en een deep learning-algoritme.
• MVP1.1: Vision-based Decision Support Tool voor telers om advies te geven over het oogsten van een specifieke soort gerbera in een geselecteerd rijpheidsstadium, door op verzoek van de teler ja/nee aan te geven (Y1-Q4).
• MVP1.2: App die alle oogstbare bloemen in het field-of-view van de teler kan weergeven (Y2-Q4).
• MVP1.3: App die alle oogstbare bloemen in het field-of-view en binnen handbereik van de teler kan weergeven (Y3-Q2). Vervallen
• MVP1.3: Selectie van een mobiel AR Platform (Y3-Q4) voor ontwikkeling in Jaar 4. Nieuw
• MVP1.4: App met uitgebreide functionaliteit voor andere bloemtypen (Y3-Q4). Vervallen
• MVP1.4: Nader te bepalen (Y3-Q4).

2. Detectie van stress door ziekte
Veredelaars en glastuinders ondersteunen door tools voor tomaat te ontwikkelen die plantstress en ziektes die deze in de kas veroorzaken, detecteren, registreren en visualiseren. Een stressindex (NDVI) wordt verkregen met de ingebouwde IR-sensor die ook wordt gebruikt voor objectdetectie. Het resultaat is een algoritme dat een overlay op het standaard RGB-beeld van de AR-bril kan presenteren. De tools worden gedemonstreerd in een tomatenkas.
• MVP2.1: App die plantstress kan detecteren via NDVI en dat in real-time zichtbaar maakt op een AR-bril (Y1-Q3).
• MVP2.2: App die plantstress kan detecteren via NDVI en deep-learning (DL) software, en dat in real-time zichtbaar kan maken op een prototype AR-bril (Hololens I) (Y2-Q2/Q3).
• MVP2.3: Multi-spectrale detectie en DL-netwerk voor detectie van Botrytis geïmplementeerd op HoloLens2 (Y2-Q4). Vervallen
• MVP2.3: NDVI Mapping PC-software die de infrarood en RGB-beelden van de Hololens combineert in NDVI-beelden en deze in kaart brengt in een 2D-weergave van de kas om op te slaan in een on-line database (MVP2.3, Y3-Q4). Nieuw
• MVP2.4: Nader te bepalen (Y3-Q4).

3. Gegevensannotatie voor veredelaars.
Registratie van plantkenmerken is een belangrijk aspect van het werk van veredelaars. Door het gebruik van een AR-bril met camera’s en tekst-naar-spraak-functionaliteit worden veredelaars ondersteund om plantkenmerken geautomatiseerd, gemakkelijker, nauwkeuriger en handsfree te registreren. De gegevens worden gekoppeld aan de locatie waar de gebruiker zich op dat moment bevindt, op basis van QR-codes of meer geavanceerde lokalisatie op basis van wat de AR-bril ziet.
• MVP3.1: Data annotatie voor beperkte eigenschappen en QR-code lokalisatie met spraak-naar-tekst conversie in het Engels (Y1-Q4).
• MVP3.2: Engelse en Nederlandse gegevensannotatie voor meerdere kenmerken met automatische lokalisatie (Y2-Q3).
• MVP3.3: AR-tool voor automatische meting van planteigenschappen die de resultaten voor de gebruiker op het scherm toont in een zichtbaar pop-up venster op de Hololens (MVP1.3, Y3-Q4). Nieuw
• MVP3.4: Nader te bepalen (Y3-Q4).

4. Datavisualisatie.
Gegevens (actueel, historisch of bewerkt via modellen) worden zichtbaar gemaakt voor telers of veredelaars tijdens het verplaatsen in de kas. Op basis van de positie van de werknemer in de kas worden lokale klimaat- en plantgegevens getoond op de AR-bril. Deze gegevens zullen helpen bij hun besluitvorming om de plantengroei nog beter te beheersen.
• MVP4.1: Toon primaire gegevens op AR-bril door middel van QR-code positionering (Y2-Q3).
• MVP4.2: Breid de datavisualisatie uit naar meer klimaat- en gewasparameters, plantbehandelingen en activiteiten (Y2-Q4).
• MVP4.3: Een App welke historische plantdata kan visualiseren op de AR-bril (Y3-Q2). Vervallen.
• MVP4.3: Een App en aangepaste Hololens, welke het mogelijk maken om live beelden te “streamen” vanuit de kas in alle omgevingscondities. Nieuw
• MVP4.4: Nader te bepalen (Y3-Q4).

De andere geplande producten zijn per jaar:

2019:
• Live demonstraties voor de gebruikersgroep (Mijlpaal1).
• Aangepast werkplan voor het tweede jaar (Mijlpaal 1).

2020:
• Live demonstraties voor de gebruikersgroep (Mijlpaal2).
• Technisch voortgangsrapport (Mijlpaal 2).
• Aangepast werkplan voor het derde jaar (Mijlpaal 2).

2021:
• Oprichting van een gebruikersadviesgroep. Samenwerking met deze groep om doelen toe te wijzen voor UC1.
• Live demonstraties op Milestone 3 met open toegang voor telers, veredelaars die worden uitgenodigd via partneruitnodiging (Y3-Q4).
• Aangepast werkplan Jaar 4 (Y3-Q4).

2022:
• Live demonstraties op Milestone 4 met open toegang voor telers, veredelaars die worden uitgenodigd via partneruitnodiging (Y4-Q4).
• Eindrapport.