Human in the loop: van aanwezigheid naar betekenisvol menselijk toezicht

Automatisering en AI-toepassingen nemen steeds meer taken over in allerlei werkomgevingen, zoals in de industrie, kantoren, ziekenhuizen, defensie en meldkamers. Daardoor verandert de rol van de mens van directe uitvoerder naar toezichthouder. Deze transitie vraagt aandacht. Wanneer mensen minder vaak zelf handelen, kunnen zij minder alert worden, vaardigheden en kennis verliezen, fouten later opmerken of het gedrag van het systeem minder goed doorgronden. Dit risico neemt met name toe bij agentische AI-systemen, die binnen bepaalde doelen en bevoegdheden zelfstandig beslissingen nemen, acties uitvoeren en hun gedrag aanpassen aan nieuwe informatie.

In deze whitepaper onderzoeken we wat menselijk toezicht betekent en waardoor toezicht tekort kan schieten in complexe intelligente systemen. Daarna bekijken de voorwaarden voor betekenisvol menselijk toezicht en de gevolgen voor het ontwerp van interactie, taakverdeling en autonomie van systemen. Tot slot komen verantwoordelijkheid en het wettelijk kader uit de EU Act aan bod.

Human-in-the-Loop (HITL) en Human-on-the-Loop (HOTL) beschrijven verschillende vormen van menselijke betrokkenheid bij een hoog geautomatiseerd systeem. Bij HITL heeft de mens een actieve rol in het proces. Zijn of haar bijdrage is noodzakelijk voor het tot stand komen van een uitkomst, bijvoorbeeld doordat een gebruiker zelf een beslissing neemt of een voorgestelde beslissing moet goedkeuren. Bij HOTL produceert het systeem zonder menselijke input een uitkomst, maar kan de mens ingrijpen en deze voorkomen, wijzigen of corrigeren.

Het onderscheid tussen HITL en HOTL beschrijft de rol van de mens in het systeem, maar nog niet hoeveel invloed en handelingsruimte de mens werkelijk heeft om het proces te stoppen of bij te sturen. Hiervoor wordt vaak de term agency gebruikt: het vermogen van een actor (mens of AI) om, binnen de gegeven context en beperkingen, doelgericht keuzes te maken en het verloop of de uitkomst van een proces daadwerkelijk te beïnvloeden.

Bij human-AI teaming werken mens en AI samen aan één taak en kan de verdeling van functies tijdens het proces veranderen. De vraag is dan niet wat de rol van de mens is in het systeem, maar ook hoe de agency over de taak tussen mens en AI is verdeeld.

Hierbij kan onderscheid worden gemaakt tussen operationele en evaluatieve agency. AI heeft operationele agency wanneer het zelfstandig informatie verzamelt, opties genereert, plannen maakt of acties uitvoert. De mens heeft evaluatieve agency wanneer hij deze acties kan beoordelen, begrenzen, corrigeren of beëindigen. Betekenisvol menselijk toezicht betekent dat deze menselijke agency niet alleen op papier bestaat, maar ook werkelijk in de praktijk kan worden uitgeoefend doordat bevoegdheden, informatie en interventiemogelijkheden goed zijn ontworpen.

Cognitieve risico’s bij human-AI-samenwerking

Menselijk toezicht hangt niet alleen af van de keuze tussen HITL en HOTL, maar ook van de manier waarop mensen en AI de informatie verwerken en beoordelen.

Bij complementary intelligence leveren mens en AI aanvullende bijdragen en komt de mens tot een zelfstandig oordeel. Bij hybrid intelligence wordt het menselijke oordeel mede gevormd door de informatie en interpretatie die AI aanbiedt. Dit kan voorkomen bij complexere vormen van human-AI teaming.

In combinatie met HITL en HOTL ontstaan vier mogelijke situaties:

De voorwaarden voor betekenisvol toezicht uit de vorige paragraaf worden concreet als ze worden vertaald naar het ontwerp van het mens-systeem interactie in de werksituatie. Daarbij zijn drie vragen leidend: wat kan de mens beïnvloeden, welke informatie is nodig om een oordeel te vormen en op welk moment kan de mens nog effectief handelen?

Hoeveel invloed kan de gebruiker uitoefenen?

De mogelijkheden tot bijsturing kunnen grofmazig of fijnmazig zijn. Bij grofmazige interactie accepteert of weigert een gebruiker bijvoorbeeld een advies of plan dat door AI is gemaakt. Bij fijnmazige interactie kan de gebruiker afzonderlijke stappen beoordelen, een onderdeel aanpassen of het systeem tussentijds bijsturen. Meer fijnere mogelijkheden voor interactie zijn niet altijd beter: gedetailleerde controle kost tijd en aandacht, en moet passen bij de taak en het risico.

Welke informatie is nodig?

De informatievoorziening aan de mens moet situation awareness ondersteunen: de gebruiker moet kunnen overzien wat er gebeurt, waarom dat relevant is en wat er mogelijk gaat gebeuren. Een grote hoeveelheid details kan dit juist bemoeilijken. Het doel is daarom bruikbare, taakgerichte informatie, niet maximale informatie. Transparantie en explainability vervullen hierbij verschillende functies. Transparantie geeft inzicht in wat het systeem doet, in welke toestand het verkeert en binnen welke grenzen het werkt. Explainability helpt om een specifieke uitkomst te begrijpen.

Wanneer kan de mens ingrijpen?

Soms kan een medewerker tijdens het proces voortdurend bijsturen, in andere situaties volgt pas achteraf een controle en wordt het systeem indien nodig anders ingesteld voor de volgende keer. Welke vorm geschikt is, hangt af van de snelheid van het proces, de gevolgen van fouten en de beschikbare reactietijd.

Vooral bij agentische AI is timing cruciaal. Als AI meerdere acties uitvoert voordat iemand bericht krijgt, kan een vroege fout zich door het hele proces verspreiden. Een stopknop of goedkeuringsmoment biedt weinig bescherming als de gevolgen al zijn ontstaan. Het ontwerp moet daarom duidelijk maken bij welke stappen vroegtijdige signalering, bevestiging of onderbreking nodig is.

Menselijke controle begint bij het ontwerp

Menselijke betrokkenheid beperkt zich niet tot de gebruiker tijdens operationele inzet. In de AI-levenscyclus zijn mensen onder meer betrokken bij het verzamelen en labelen van gegevens, modeltraining, het verwerken van menselijke feedback, promptontwerp, validatie, monitoring en auditing. Human factors moet daarom ook tijdens de ontwikkeling van systemen worden meegenomen. Dit betekent onder meer dat de taakverdeling tussen mens en AI, de informatiebehoeften, bevoegdheden en mogelijkheden tot ingrijpen expliciet moeten worden ontworpen. Ook bij veranderingen in systemen, werkzaamheden en organisatieprocessen blijft aandacht voor human factors-risico’s nodig.

Ook de werkomgeving is onderdeel van het ontwerp. Risico’s kunnen soms worden beperkt door bijvoorbeeld het werkproces, governance of taakverdeling anders in te richten, in plaats van uitsluitend extra controles aan het AI-systeem toe te voegen.

Delegatie en dynamische autonomie

Betekenisvol menselijk toezicht betekent niet dat iedere AI-handeling afzonderlijk moet worden gecontroleerd of goedgekeurd. De mens kan ook vooraf doelen en grenzen stellen en de mogelijkheid behouden om de delegatie te wijzigen of te beëindigen. Daarbij moet wel duidelijk zijn op grond waarvan AI zelfstandig handelt en wanneer een situatie buiten die grenzen valt.

Bepaald moet worden welke taken AI zelfstandig mag uitvoeren, binnen welke grenzen, en wanneer een mens een taak moet overnemen. Die verdeling hoeft niet steeds hetzelfde te zijn. Bij dynamic task allocation verschuiven taken bijvoorbeeld afhankelijk van het risico, de situatie, de werkbelasting, de beschikbaarheid van medewerkers, of de mate van zekerheid van het systeem.

Ontwerp de overdracht tussen AI en mens

De overdracht van een taak, ook wel handover genoemd, is een kritisch moment. De mens moet niet alleen weten dát er iets moet gebeuren, maar ook wat het systeem al heeft gedaan, waarom overdracht nodig is en hoeveel tijd beschikbaar is. Zonder deze context bestaat het risico dat de taak wordt overgedragen terwijl de medewerker nog niet in staat is deze verantwoord uit te voeren.

Wanneer AI beslissingen neemt maar een menselijke operator wel verantwoordelijk wordt gehouden voor de uitkomst, kan een conflict ontstaan tussen verantwoordelijkheid en bevoegdheid. De mens kan dan in een situatie terechtkomen waarin hij of zij wel verantwoordelijk is voor de uitkomst, maar onvoldoende invloed heeft op het systeem om die verantwoordelijkheid daadwerkelijk waar te maken. Daarbij worden vaak drie begrippen onderscheiden:

• Responsibility: de verantwoordelijkheid voor het uitvoeren van een specifieke taak of het behalen van een resultaat. Taken kunnen worden verdeeld of overgedragen.
• Authority: de bevoegdheid om beslissingen te nemen, grenzen te bepalen of in te grijpen.
• Accountability: eindverantwoordelijkheid, de plicht om over keuzes, risicobeheersing en toezicht verantwoording af te leggen. Die plicht verdwijnt niet automatisch wanneer de uitvoering wordt gedelegeerd.

Dit onderscheid is niet alleen relevant voor de gebruiker tijdens operationele inzet van het systeem. Zoals eerder beschreven bepalen ook keuzes van ontwerpers, ontwikkelaars, leidinggevenden en de organisatie die AI inzet of verantwoord gebruik in de operatie mogelijk is. Een medewerker kan bijvoorbeeld verantwoordelijk zijn voor het controleren van uitkomsten, terwijl ontwerpkeuzes bepalen welke fouten zichtbaar worden. Santoni de Sio en Van den Hoven benadrukken dat handelen van autonome systemen herleidbaar moet zijn tot mensen in de ontwerp- en gebruiksketen die de mogelijkheden en gevolgen ervan voldoende begrijpen én beseffen welke verantwoordelijkheid bij hun rol hoort.

Voor een organisatie betekent dit dat zij concreet moet vastleggen wie de grenzen van autonomie vaststelt, wie afwijkingen beoordeelt, wie een systeem mag onderbreken, hoe wordt geëscaleerd en hoe de gemaakte keuzes worden geëvalueerd. Het is ook nodig om te toetsen of betrokken medewerkers deze afspraken ook kennen en daadwerkelijk kunnen uitvoeren.

Wettelijke context: de AI Act

De Europese AI Act stelt voor hoog-risico-AI-systemen eisen aan menselijk toezicht. Artikel 14 schrijft voor dat dergelijke systemen zo worden ontworpen en ontwikkeld dat gebruikers tijdens het werk doeltreffend toezicht kunnen uitoefenen. De bepaling noemt onder meer het vermogen om de mogelijkheden en beperkingen van het systeem te begrijpen, uitkomsten correct te interpreteren, rekening te houden met automation bias, uitkomsten te negeren of te overrulen en waar passend het systeem te onderbreken.

Het artikel bevestigt daarmee het praktische belang van de eerder besproken ontwerpvoorwaarden. Het aanwijzen van een toezichthouder is op zichzelf niet genoeg: informatie, training, bevoegdheden, werkprocessen en interventiemiddelen moeten aansluiten op het gebruik van het systeem. De precieze juridische verplichtingen en de rolverdeling hangen af van de toepassing en de bijbehorende risico’s.

Daarnaast maakt de AI Act onderscheid tussen de aanbieder (ontwikkelaar/leverancier van het AI-systeem) en een organisatie die het systeem gebruikt, de “gebruikersverantwoordelijke”. Een aanbieder heeft andere verplichtingen dan de gebruikersverantwoordelijke. De aanbieder moet zorgen dat het systeem zo is ontworpen dat betekenisvol toezicht in de praktijk kan worden gerealiseerd, terwijl de gebruikersverantwoordelijke ervoor moet zorgen dat het toezicht in de praktijk op een goede manier wordt georganiseerd zodat aan de eisen voor betekenisvol toezicht wordt voldaan.

Een AI-systeem kan technisch goed presteren en toch tekortschieten als onderdeel van een mens-AI-team. Nauwkeurigheid en snelheid zijn daarom niet voldoende om te beoordelen of menselijke controle in de praktijk werkt. Evalueer ook wat medewerkers begrijpen, hoe de samenwerking verloopt en hoe toezicht is georganiseerd.

Voor een complete evaluatie onderscheiden we vier samenhangende niveaus:

• Systeemniveau: betrouwbaarheid, foutgedrag, grenzen van inzetbaarheid en onzekerheid.
• Mensniveau: mentale werkbelasting, situation awareness, kennis, vaardigheden en passend vertrouwen in AI.
• Teamniveau: taakverdeling, afstemming, overdracht en gezamenlijke prestaties van mens en AI.
• Organisatieniveau: bevoegdheden, procedures, verantwoordelijkheden, escalatie en de mogelijkheid om daadwerkelijk in te grijpen.

De beoordeling moet verder gaan dan normale, goed voorspelbare omstandigheden. Medewerkers moeten ook werken met foutieve AI-adviezen, ontbrekende informatie, hoge werkdruk of onverwachte overdrachten. Ga na of zij afwijkingen herkennen, begrijpen waarom de situatie risicovol is, een passende beslissing nemen en daar voldoende tijd en bevoegdheden voor hebben. Zo wordt zichtbaar of de gekozen vorm van toezicht niet alleen op papier maar ook in de praktijk uitvoerbaar is. Welke tests geschikt zijn, hangt af van de toepassing en de risico’s.

Fictief praktijkvoorbeeld: AI-ondersteuning in een meldkamer

In een meldkamer verwerkt een systeem automatisch routinematige meldingen. Pas bij bijzonderheden wordt de taak aan een mens overgedragen. Als de mens alleen deze afwijkende melding ontvangt zonder eerdere meldingen en relevante informatie te hebben gezien, kan kostbare tijd verloren gaan. Bij het ontwerp moet worden vastgesteld welke prioriteringsbeslissingen AI zelfstandig mag nemen en bij welke signalen menselijke beoordeling nodig is. Tijdens gebruik moet de operator kunnen zien welke informatie de prioriteit heeft bepaald, welke onzekerheden er zijn en welke eerdere stappen zijn gezet.

Met een praktijktest kan worden nagegaan of de operator een foutieve prioriteit opmerkt, tijdig kan corrigeren en ook bij meerdere gelijktijdige meldingen overzicht houdt. Daarbij moet eveneens duidelijk zijn wie de grenzen van de automatische prioritering bepaalt en wie verantwoordelijk is voor evaluatie van incidenten.

De aanwezigheid van een mens in of rond een AI-proces is niet voldoende voor betekenisvol toezicht. HITL en HOTL bepaalt hoe de mens bij het proces is betrokken, maar dit zegt nog niet of die persoon voldoende begrip, tijd, bevoegdheid en handelingsruimte heeft om het systeem werkelijk te beoordelen of bij te sturen.

Betekenisvol menselijk toezicht vraagt om samenhangend ontwerp van taken, interactie, delegatie en verantwoordelijkheden, vanaf de ontwikkeling en ontwerp van het systeem tot en met het dagelijks gebruik. Of dat toezicht werkt, moet onder realistische omstandigheden worden gecontroleerd. In deze white paper staan de belangrijkste ideeën en concepten beschreven die nodig zijn om betekenisvol toezicht te realiseren en te voldoen aan Artikel 14 van de AI ACT.

Baber, C., Salmon, P., & Waterson, P. (2026). Cognitive Work Analysis and Allocation of Responsibility (AoR) in AI Systems. In Contemporary Ergonomics and Human Factors 2026. CIEHF.

Baum, K., & Laux, J. (2026). Constitutive vs. Corrective: A Causal Taxonomy of Human Runtime Involvement in AI Systems. arXiv:2603.19213v2.

Bokhorst, J. A. C., Waschull, S., & Emmanouilidis, C. (2025). Dynamic Allocation of Shared Tasks in Industrial Human-AI Teaming. IFAC-PapersOnLine, 59(10), 757–762. https://doi.org/10.1016/j.ifacol.2025.09.129.

Bowers, B., Harvey, C., & Houghton, R. (2026). Human-Centred Evaluation Approaches for Autonomous Agents: From Review to Practice. In Contemporary Ergonomics and Human Factors 2026. CIEHF.

Dobbins, T. (2026). The Digital Future of Human Systems Integration. In Contemporary Ergonomics and Human Factors 2026. CIEHF.

Europees Parlement & Raad van de Europese Unie. (2024). Verordening (EU) 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie (verordening artificiële intelligentie). Publicatieblad van de Europese Unie.

Human-AI agency in the age of generative AI. (2025). Information and Organization, 35/36, 100560. https://doi.org/10.1016/j.infoandorg.2025.100560.

Lazaros, K., Vrahatis, A. G., & Kotsiantis, S. (2026). Human-in-the-Loop Artificial Intelligence: A Systematic Review of Concepts, Methods, and Applications. Entropy, 28, 377.

Romeo, G., & Conti, D. (2026). Exploring automation bias in human–AI collaboration: a review and implications for explainable AI. AI & Society, 41, 259–278. https://doi.org/10.1007/s00146-025-02422-7.

Santoni de Sio, F., & Van den Hoven, J. (2018). Meaningful human control over autonomous systems: A philosophical account. Frontiers in Robotics and AI, 5, Article 15.

Tsamados, A., Floridi, L., & Taddeo, M. (2025). Human control of AI systems: from supervision to teaming. AI and Ethics, 5, 1535–1548. https://doi.org/10.1007/s43681-024-00489-4.

Van de Sande, D., Economou-Zavlanos, N., & van Genderen, M. E. (2026). Meaningful oversight of medical AI beyond human in the loop. npj Digital Medicine, 9, 569. https://doi.org/10.1038/s41746-026-02971-1

Van den Bosch, K., Van Diggelen, J., Verdult, S., et al. (2025). Measuring meaningful human control in human–AI teaming: effects of team design in AI-assisted pandemic triage. AI and Ethics, 5, 3329–3353.

Van Droogenbroeck, C., Rankova, E., Papenfuss, A., Bos, T., & Zon, R. (2025). Human-AI Teaming: Challenges from a Practitioner’s Perspective. Human-AI teaming.

Zhu, L., Lu, Q., Ding, M., Lee, S. U., & Wang, C. (2026). Designing meaningful human oversight in AI. AI and Ethics, 6, 286. https://doi.org/10.1007/s43681-026-01147-7.