Kunstmatige intelligentie MedApp: medicatie nu nog makkelijker invoeren!

MedApp probeert door middel van de nieuwste technologie altijd software uit te werken die voordelen biedt voor de gebruiker. Momenteel is het team bijvoorbeeld bezig met het ontwikkelen van een functionaliteit waardoor medicatie sneller, gemakkelijker én nauwkeuriger kan worden toegevoegd. MedApp maakt hiervoor gebruik van zogenaamde artifical intelligence. Uitdagend? Enorm, maar dat is dan ook precies waar zorginnovatie om draait.

Voordelen eindgebruiker

Dagelijks voeren duizenden gebruikers hun medicatie in met de hand of via de scan. Invoeren via een foto heeft echter veel meer voordelen. Ten eerste is dat sneller en gemakkelijker dan eigen invoer, omdat er alleen een foto hoeft te worden gemaakt. Daarnaast maakt deze software de invoer nauwkeuriger, omdat de gebruiker zelf geen gegevens meer hoeft in te vullen. Op deze manier kunnen bij het zelf invullen ook geen fouten meer worden gemaakt.

Ook ten opzichte van het scannen van barcodes heeft de nieuwe software veel voordelen. Niet alle medicijnen hebben namelijk een leesbare barcode. Daarnaast verkopen alle supermarkten bijvoorbeeld paracetamol, met allemaal een andere barcode. Het is bijna onmogelijk om al deze codes in een database te hebben en dus zijn niet alle barcodes bij het scannen bekend.

Het scannen van een barcode via MedApp

Nieuwe competenties

Om de zorg of service voor gebruikers te kunnen verbeteren, moet een organisatie structureel nieuwe competenties aantrekken. MedApp werkt hiervoor nauw samen met de Technische Universiteit in Eindhoven. Gevestigd op de campus van de universiteit, heeft MedApp de kans om de beste afgestudeerden van Informatica en Wiskunde te werven.

Op die manier kwam ook Jeroen van Hoof, student Informatica, bij MedApp terecht. Hij werkte samen met het business intelligence team van MedApp aan een eerste versie van software die medicatie kan herkennen aan slechts een foto van de medicijnverpakking. Inmiddels is deze eerste versie uitgewerkt tot software die in bijna negentig procent van de gevallen perfect functioneert.

Vorm- en tekstdetectie

Het algoritme werkt eigenlijk op twee manieren. Wanneer de gebruiker een foto van de medicijnverpakking maakt, worden ten eerste randen op de foto gedetecteerd. Vervolgens worden door zogenaamde morfologische transformatie gaten in de lijnen gedicht, waardoor randen die dicht bijeen liggen een solide geheel vormen. Om dit geheel wordt daarna een contour getekend en uiteindelijk worden vormen van de medicijnverpakking gedetecteerd.

Het proces met de originele foto (linksboven), randdetectie (rechtsboven), morfologische transformatie (linksonder) en contourdetectie (rechtsonder)

Ten tweede signaleert het algoritme tekst op de foto’s. De software stuurt de foto in naar Google Cloud Vision API. Deze API herkent vervolgens alle letters en stuurt een lopend geheel van de tekst terug. Het algoritme trekt deze tekst dan weer uit elkaar en herkent onder andere de werkzame stof en dosering. Vervolgens kan dan uit een database worden vastgesteld welk medicijn het betreft.

Complexiteit

Als dit algoritme perfect werkt, is de functionaliteit enorm gebruiksvriendelijk. Medicatie invoeren wordt sneller, nauwkeuriger en makkelijker. Bijsluiters worden daarnaast sneller gevonden en de medicatieverificatie in ziekenhuizen zou eenvoudiger gaan. De software is nog niet perfect, maar wel nu al inzetbaar voor verschillende cases binnen MedApp en dus hard op weg.

Het algoritme checkt bijvoorbeeld of de foto recht is genomen. Als dat niet het geval is, dan draait de software de afbeelding automatisch goed. Ook heeft het team een RESTFull API gemaakt om derde partijen toe te laten. Het meest complexe onderdeel is echter de natural language processing, namelijk dat de software moet herkennen welke woorden bijvoorbeeld stoffen zijn en welke woorden namen van fabrikanten.

Natural language processing

Kunstmatige intelligentie

Momenteel werkt het algoritme in negentig procent van de gevallen perfect. MedApp wil deze functionaliteit echter niet in de app zelf aanbieden totdat er een hogere slagingskans wordt bereikt. Te alle tijden moet worden voorkomen dat de software het verkeerde medicijn kiest. Dit is lastig, want er moet met veel zaken rekening worden gehouden. De tekst moet bijvoorbeeld leesbaar zijn en elke foto kan vanuit een andere positie worden genomen. De functionaliteit wordt wel al gebruikt binnen het platform, bijvoorbeeld in samenwerking met de universiteit.

Het team wil dat de software zichzelf leert verbeteren, het zogenaamde machine learning. Het algoritme vraagt dan aan de gebruiker of het de correcte medicatie heeft herkend. Als dat zo is, weet de software dat het juist heeft ingelezen. Als dat niet zo is, noemt de software medicatie die bijvoorbeeld voor vijfennegentig procent overeenkomen met de tekst.

Slechts het begin

In de toekomst hopen de ontwikkelaars deze software te kunnen combineren, zodat meerdere verpakkingen in één keer kunnen worden gefotografeerd. Dan vindt eerst vormherkenning plaats en vervolgens tekstdetectie. Het algoritme ziet dan welke tekst bij welke verpakking hoort. Dit is complexe software en lastig te ontwikkelen. Toch is het team al enorm ver gekomen, dus wij hebben het volste vertrouwen dat dit gaat lukken!

Geïnteresseerd in deze technologie of een interessante case? Neem dan contact met ons op via robin.vos@medapp.nu!