Geschiedenis van het
Schielandshuis, een
immersieve ervaring

Deskresearch inzichten

Interesse in geschiedenis
Jongeren (16–30) tonen interesse in lokale geschiedenis, vooral wanneer deze visueel en interactief wordt aangeboden. Belangrijke barrières zijn kosten en bereikbaarheid.

Wat werkt voor historische beleving?
VR/AR maakt geschiedenis ervaarbaar.
Storytelling en gamification verhogen betrokkenheid.
Jongeren willen actief deelnemen en invloed hebben.

Motivatie (Self Determination Theory)
Zowel intrinsieke als extrinsieke motivatie spelen een rol.
Belangrijk zijn autonomie, competentie en verbondenheid.

Multiculturele context
Rotterdam behoort tot de meest diverse steden met meer dan 170 nationaliteiten. Dit vraagt om een inclusieve en toegankelijke benadering.

Tool Research

Blender & Three.js

In deze fase hebben we onderzoek gedaan naar verschillende tools die ons konden helpen ons concept tot leven te brengen. We hebben de 3D-tools zoals Blender en Three.js onderzocht. Hierbij lag de focus op het maken en weergeven van interactieve 3D-omgevingen.

We hebben verkend hoe deze tools kunnen bijdragen aan het visualiseren van historische data en het creëren van een immersieve ervaring.

Godot

Godot is onderzocht als mogelijke game engine voor het ontwikkelen van een interactieve en immersieve ervaring.

De focus lag op gebruiksvriendelijkheid, flexibiliteit en de mogelijkheden voor het bouwen van prototypes binnen korte tijd. Daarnaast hebben we ook onderzocht of deze tool geschikt zou zijn voor het integreren van AR/VR-elementen in latere fases van het project. En of het mogelijk was de Cesium 3D-visualisatie hierin te integreren. Dit is helaas niet gelukt omdat Godot geen goede ondersteuning biedt voor Cesium, wat nodig is voor het concept in sprint 1. Hierdoor hebben we besloten om Godot niet verder te gebruiken in ons project en ons te richten op andere tools die wel compatibel zijn met onze behoeften.

NLP Forumlier

Er is verkend hoe NLP (Natural Language Processing) ingezet kan worden voor een feedback forum binnen het project.

Hierbij kijken we naar manieren om gebruikersinput automatisch te analyseren en waardevolle inzichten te halen uit feedback.

De inzichten uit onderzoek en experimenten zijn vertaald naar concrete verbeteringen van het concept.

Daarnaast is er een duidelijke technische richting gekozen voor de verdere ontwikkeling.

Fieldresearch

Tijdens deze sprint hebben we actief fieldresearch uitgevoerd om beter inzicht te krijgen in zowel de inhoud als de doelgroep.

• Bezoek aan het Stadsarchief: Hier hebben we onderzoek gedaan naar historische content en inspiratie opgedaan voor het verhaal en de context van het product.
• Interviews en enquêtes: We hebben gebruikers bevraagd om aannames te testen en inzicht te krijgen in hun interesses, gedrag en voorkeuren.

Deze inzichten vormden de basis voor de keuzes die zijn gemaakt in het prototype.

Prototype

Op basis van de inzichten uit het onderzoek hebben we een eerste interactief prototype ontwikkeld in Minecraft.

In dit prototype hebben we een vereenvoudigde versie van het Schielandshuis nagebouwd. Binnen deze omgeving hebben we spelelementen toegevoegd zoals quests en NPC’s om de gebruiker actief door de ervaring te begeleiden.

• Reconstructie van het Schielandshuis in Minecraft
• Toevoegen van quests (opdrachten)
• NPC’s die informatie en interactie bieden
• Verkennen van storytelling binnen een game-omgeving

User Personas

• Persona 1: Vrouw (22 jaar)
  Voor haar is het belangrijk dat de interface er interessant en visueel aantrekkelijk uitziet om haar aandacht erbij te houden.
• Persona 2: Jongen (17 jaar)
  Een actieve doener die behoefte heeft aan interactiviteit. Hij wil dingen kunnen ondernemen in plaats van alleen maar tekst te lezen.

Onderzoeksplan Minecraft Prototype

Hoofddoel: Vaststellen wat het doel is van het prototype, wat we eruit hopen te krijgen en hoe de doelgroep reageert op de gamification van de geschiedenis van het Schielandshuis.

Belangrijkste onderzoeksvragen

• Begrijpen de gebruikers direct wat het prototype inhoudt?
• Hoe ervaren gebruikers de locatie waar het zich plaatsvindt? Snappen ze dat dit het Schielandshuis is?
• Op welke momenten komen gebruikers vast te zitten?
• Waar haken gebruikers af of verliezen ze interesse?
• In hoeverre dragen de personages bij aan het begrijpen van de geschiedenis?
• Hoe ervaren gebruikers de balans tussen spelen en leren?
• In hoeverre onthouden gebruikers feitjes rondom de geschiedenis van het Schielandshuis?
• In hoeverre helpt de interactieve ervaring bij het beter begrijpen van de geschiedenis vergeleken met tekst?
• Hoe duidelijk zijn de opdrachten en aanwijzingen voor de gebruiker?
• Zouden gebruikers dit concept ook in het echt, op locatie, willen ervaren?
• Wat vinden gebruikers positief aan de ervaring?
• In hoeverre kunnen gebruikers met lage taalvaardigheid de opdrachten begrijpen zonder extra uitleg?
• In hoeverre helpen visuele en interactieve elementen bij het begrijpen van de opdrachten en het verhaal?

Testresultaten & Conclusie

Voor onze eerste testronde ontwikkelden wij een Minecraft escape room prototype. Hiermee onderzochten wij of jongeren op een interactieve manier meer konden leren over de geschiedenis van het Schielandshuis. Uit de test kwam naar voren dat gebruikers de interactieve opzet leuk vonden, maar dat de historische inhoud nog niet sterk genoeg werd overgebracht.

Een belangrijk inzicht was dat de gameplay soms afleidde van het leren. Gebruikers waren vooral bezig met het zoeken naar items, het openen van chests en het voltooien van trades. Hierdoor onthielden zij vooral losse details, zoals Napoleon, water, dijken of taart, maar niet het volledige historische verhaal.

Daarnaast werkte tekst als belangrijkste informatiebron niet goed genoeg. Veel gebruikers lazen de boeken vooral om te achterhalen welk item zij nodig hadden, niet om de geschiedenis echt te begrijpen. Ook waren het doel en de regels aan het begin niet voor iedereen duidelijk, waardoor sommige testpersonen begeleiding nodig hadden of onderdelen van het gebouw misten. Als laatst was de lettertype in Minecraft slecht leesbaar en niet toegankelijk genoeg voor onze doelgroep.

Wel bleek dat interactie, progressie en beloning motiverend werkten. Wanneer gebruikers een trade voltooiden, kregen zij meer motivatie om door te gaan. Dit liet zien dat deelname waardevol is, zolang de interactie duidelijk verbonden is aan de inhoud.

Deze inzichten hebben geleid tot een nieuwe ontwerprichting. In plaats van een game waarin de gebruiker vooral opdrachten uitvoert, richten wij ons nu op een immersieve museumervaring waarin storytelling, projectie, audio en creatieve participatie centraal staan. De bezoeker moet de geschiedenis niet spelen, maar vooral beleven en beter begrijpen.

Kill Your Darling

Tijdens de kill your darling hebben wij besloten om weg te stappen van het gamification onderdeel in ons concept. Wij willen namelijk een toegankelijk product neerzetten die educatie aan bied door gevoel. Omdat ons vorige concept deze doelen niet kon behalen hebben wij ervoor gekozen om ons concept aan te passen.

Dit hebben wij gedaan door een Kill your darling in te zetten, met behulp van een crazy 8 om nieuwe ideeën te genereren voor ons concept.

We willen in ons nieuwe concept een immersieve omgeving neerzetten in plaats van een volledig virtueel concept, wat minder toegankelijk zou zijn omdat er altijd een computer voor nodig zou zijn. Terwijl er bij ons nieuwe concept een plek wordt gecreëerd waar iedereen binnen Rotterdam naar toe kan.

Team waarden

Onze nieuwe team waarden na de kill your darling:

1. Educatief

Ons product moet educatief zijn op een immersieve en interactieve manier, ons product moet een kans zijn om educatie leuker en laagdrempeliger te maken. Waarmee wij de gebruiker een leuke en leerzame ervaring willen geven.

2. Toegankelijkheid

Ons product moet toegankelijk zijn voor iedereen, wij willen dat iedereen gebruik kan maken van ons product. Hier met de focus op mensen die mindervalide zijn, slechter ziend of horend.

3. Inclusiviteit

Wij willen de geschiedenis vanuit meerdere perspectieven tonen en kritisch denken over representatie. De geschiedenis moet niet verheerlijkt worden.

4. Empathie/beleving

De bezoeker moet een persoonlijke connectie voelen met de geschiedenis, de kamer en de personen uit het verhaal. Door de gebroeders Bisschop centraal te stellen willen wij meer emotionele betrokkenheid. Door interactie willen wij de gebruikers ook de ervaring geven dat zij in het verhaal zitten.

5. Nieuwsgierigheid

Ons product moet nieuwsgierigheid opwekken bij de gebruiker doordat wij geschiedenis op een unieke, immersieve en interactieve manier presenteren. Wij willen dat gebruikers na het bezoeken geneigd zijn meer te leren over de geschiedenis van Rotterdam.

Smart & Social fest

Voor het smart & social fest heeft Tallysia een kijkdoos prototype gemaakt die we bij bezoekers hebben getest. Met deze kijkdoos probeerde wij ons concept van een immersieve ruimte kleinschalig na te bootsen. Hiervoor heeft Pepijn ook korte video's in elkaar gezet die wij in de kijk doos geplaatst hebben. Deze hebben wij toen getest op de bezoekers van het smart & social fest.

Na de korte testjes hebben wij doormiddel van een QR-code die op de informatie poster staat, feedback gevraagd om ons prototype te verbeteren in de volgende fase. Naast het testen voor feedback hebben wij ook geprobeerd contacten te leggen met personen die ons zouden kunnen samenwerken met ons project.

Onderzoek

• Desk research gedaan naar het Schielandshuis in de 17e-19e eeuw voor feitelijke inhoud.
• Een tijdlijn uitgewerkt om historische gebeurtenissen helder te presenteren.
• Onderzoek naar het inscannen van tekeningen gedaan voor mogelijke interactieve toepassingen.
• Unreal Engine NPC-animatie onderzocht voor het versterken van de digitale ervaring.
• Contact met REMASTERED Rotterdam gelegd om afstemming met partners te waarborgen.

Huis van Bosch

We bezochten op 28 april het museum Huis van Bosch, zodat we een voorbeeld konden zien van hoe een educatieve verhaal immersief verteld wordt aan bezoekers. We begonnen met een uitleg van hoe het proces zal gaan lopen. De medewerkers vertelde ons dat verhaal bij een beginpunt start en we pijlen moesten volgen om naar het volgende punt in het verhaal te komen. Het verhaal ging over Jheronimus Bosch en vooral hoe hij leefde, wat hem bekend maakte en het tijdperk zelf.

Deze ervaring was zeer informatief, omdat we inzichten kregen van hoe wij zelf ons verhaal wilde vertellen vanuit ons concept over Rotterdam met als aangrijpingspunt de broers Bosch. We zagen namelijk voor onszelf ook hoe het is om zo historische verhaal aan te horen. Bijvoorbeeld was de ervaring snel, te langzaam of precies goed. Daarnaast stelden we op het einde vragen over de technieken die ze gebruikte.

Stadsarchief onderzoek

Op 7 mei bezochten wij als groep het stadsarchief, zodat we meer kennis en inzichten konden doen over de geschiedenis van de broers Jan en Pieter Bisschop. Voor dit bezoek kregen we verschillenden documenten en boeken aan ons geleverd die ons meer vertelde over de geschiedenis van Rotterdam die wij over willen brengen aan ons doelgroep. We plande dit bezoek, zodat we een beter begrip hebben over het bouwen van de story en de andere applicatie eromheen. Dit moet namelijk gebaseerd zijn op context de geschiedenis van Rotterdam anders geeft het namelijk geen richting in het concept.

Tally heeft oude documenten onderzocht die bezit waren van de broers Bisschop, hier heeft ze kennis opgedaan over de oud Nederlandse taal, handschrift, aankopen en handel. Veder waren er ook documenten van wanneer Jan en Pieter ter overlijden kwamen en wie hen uitvaart bezocht hebben.

Tobias heeft drie jaarboeken van Rotterdam onderzocht. In een van de boeken is er een artiekel gevonden die specifiek ging over Jan Bisschop. Deze informatie was zeer nuttig, omdat het precies bevatte wat we wilde overbrengen aan de doelgroep.

Tyrese onderzocht een boek van de geschiedenis van 18e eeuw

Pepijn onderzocht een boek van de geschiedenis van Rotterdam in de 17e en 18e eeuw, om meer kennis op te doen over het sfeer gevoel van toen.

Resultaten

• Een concretere projectrichting ontwikkeld met een sterke focus op de website en mobiele presentatie.
• Belangrijke stakeholders zoals gemeente Rotterdam en Museum Rotterdam betrokken in het concept.
• Basisinformatie en visuals verzameld voor de website zodat de inhoud direct verder kan worden uitgewerkt.
• Experimenten met scan en animatie-onderzoek opgeleverd als input voor verdere prototyping.
• Het begin van de scan-app is gemaakt, zodat het concept al getest en verder ontwikkeld kan worden in de latere sprints.

Probe testing

Voor het prototype in sprint 4 heeft Tallysia een kijkdoos gemaakt die de immersieve ervaring kleinschalig nabootst. Met dit prototype willen wij testen met het doel of de testpersonen een immersieve ervaring beleven.

In de kijkdoos hebben wij dan ook twee videobeelden neergezet die gemaakt zijn door Pepijn. Hier zijn beelden te zien van personen die langs lopen en hebben audio geluiden zoals achtergrondgeluiden en muziek. Deze versie hebben wij getest met bezoekers van het smart & social fest.

De testen met klasgenoten hebben wij gedaan door er een storyline audio aan toe te voegen die de omgeving beschrijft en meer over de 18e eeuw verteld. Dit is toen goed bevallen met positief feedback, waardoor wij veder konden gaan met het veder ontwikkelen van ons concept.

Scan Applicatie

Julina heeft een webapplicatie ontwikkeld als brug tussen de fysieke wereld en de immersieve historische ervaring. Met deze app kunnen gebruikers hun eigen illustraties eenvoudig scannen via de camera en direct uploaden naar het projectiesysteem in de stijlvolle kamer van de broers Bisschop.

De applicatie biedt een gebruiksvriendelijke interface met duidelijke navigatiestappen: van de introductiepagina met uitleg over het concept tot aan de daadwerkelijke camerascans. Het systeem ondersteunt zes talen (Nederlands, Engels, Frans, Duits, Japans en Chinees), wat ervoor zorgt dat lokale bezoekers en internationale toeristen zich direct thuis voelen.

Technisch gezien maakt de app gebruik van modern web functionality zoals de getUserMedia API voor live camera-weergave, Canvas voor het vastleggen van foto's, en FormData voor het uploaden van bestanden naar de api-server van Tobias.

Bij het uploaden wordt de ingezonden tekening automatisch gecontroleerd door de AI-model van Tyrese. Als het werk past binnen de historische collectie van de 18e eeuwse stijl, krijgt de gebruiker bevestiging en kan het stuk worden getoond. Bij afwijkingen wordt vriendelijk feedback gegeven met de optie om opnieuw te proberen.

Github voor scan app

Ai Moderation System

Voor de interactieve museumervaring is een AI-moderatiesysteem ontwikkeld dat controleert of tekeningen van bezoekers geschikt zijn voordat ze worden toegevoegd aan de digitale omgeving. Omdat bezoekers vrijheid krijgen om zelf iets te tekenen, bestaat er een risico dat ongepaste inhoud zoals beledigende teksten, haatdragende symbolen of schadelijke afbeeldingen zichtbaar worden binnen de ervaring. Het systeem ondersteunt daarom een veilige en toegankelijke omgeving voor alle bezoekers.

Het systeem maakt gebruik van een getraind computer vision model op basis van een ResNet18 neurale netwerkarchitectuur. Het model analyseert de afbeelding van een tekening en voorspelt of deze binnen de categorie safe of unsafe valt. Hiervoor is een dataset opgebouwd met veilige tekeningen en ongewenste voorbeelden. Omdat tekeningen veel variatie bevatten en dezelfde vormen verschillende betekenissen kunnen hebben, is de dataset uitgebreid met extra schetsvoorbeelden en augmentatie technieken zoals rotatie, helderheidsaanpassingen en kleine vervormingen. Hierdoor leert het model beter omgaan met verschillende tekenstijlen.

Naast beeldherkenning bevat het systeem extra veiligheidslagen. Een OCR-controle analyseert geschreven tekst in tekeningen en vergelijkt deze met een lijst van ongewenste woorden. Ook worden eerder afgekeurde tekeningen opgeslagen zodat vergelijkbare inhoud sneller herkend kan worden. Wanneer het AI-model onvoldoende zeker is van een voorspelling, wordt de tekening gemarkeerd als review_required in plaats van automatisch goedgekeurd.

Alle voorspellingen worden opgeslagen in een moderatielog waarin de afbeelding, voorspelling en zekerheidsscore zichtbaar zijn. Hierdoor kan menselijke feedback worden toegevoegd wanneer het model een fout maakt. Deze feedback kan vervolgens gebruikt worden om het model opnieuw te trainen en continu te verbeteren.

Het doel van het systeem is niet om menselijke moderatie volledig te vervangen, maar om deze te ondersteunen. Door gebruik te maken van AI gecombineerd met menselijke controle ontstaat een verantwoord systeem dat rekening houdt met veiligheid, privacy en mogelijke fouten binnen kunstmatige intelligentie.

Github voor ai moderation system

Api server

Tobias heeft een api server opgezet die de foto's ontvangt van de webapplicatie en deze controleert of de afbeeldingen gepast zijn voordat ze worden opgeslagen. Bij een veiligheidscontrole die slaagt, wordt het bestand naar de lokale uploads-folder geschreven. Wordt de afbeelding geweigerd, dan wordt er een duidelijke error response terug gestuurd aan de client.

De server draait in een Docker-container met FastAPI als backend en Nginx als reverse proxy voor het behandelen van inkomende requests. Voor de contentanalyse die geimplementeerd is door Tyrese wordt een getraind AI-model gebruikt dat elke upload checked. Het systeem bewaart een maximaal aantal recente afbeeldingen en verwijdert oudere bestanden automatisch om schijfruimte te besparen.

Voor communicatie staan meerdere endpoints beschikbaar: een gezondheidscheck (/health), de upload-route (/app/upload), en verschillende fetch-opties om bestanden te bekijken (/fetch, /fetchi/{id}, /fetch_all). Interactieve documentatie is beschikbaar via /docs.

Voor toegang buiten het lokale netwerk wordt Tailscale gebruikt, wat een versleuteld prive netwerk biedt zonder dat openbare poorten nodig zijn of een publiek IP-adres wordt blootgesteld.

Github voor api server

Unreal engine

Tyrese heeft in Unreal-Engine de digitale immersieve ervaring opgezet met de 3d modellen van blender. Daarnaast zijn er sfeer geluiden toegevoegd en bewegende partikels om vuur na te bootsen. Op de muren zijn blanke canvassen gehangen die worden gevuld als er een foto vanaf de webapplicatie wordt gestuurd, opgehaald worden via de api-server en dan worden weergegeven in Unreal engine.

Met behulp van Sequencer (LS_intro) is een automatische ervaring gemaakt waarbij de camera een scene van de kamer maakt. Hierin gaan verschillende elementen in z’n werk waaronder audiolagen zoals kamerambience, wind en openhaardgeluiden worden afgespeeld op de achtergrond.

Daarnaast is er gewerkt aan een protototype met AI voice en automatische ondertiteling om het historische verhaal door NPC’s te laten vertellen. Hiervoor werden widget blueprints gebruikt die tekst op het juiste moment konden tonen. Door een verandering in het concept is dit later verwijderd en is de focus gelegd op een rustigere ervaring met beeld en omgevingsgeluiden.

Door auto play: enabled en loop: loop indefinitely te zetten zorgt dit ervoor dat de ervaring zich automatisch en continu blijft herhalen. Dit maakt het voor een museumopstelling. Al deze toepassingen zitten groot end deels in de content drawer. De ontwikkeling ervan werden in die mappen opgeslagen.

Blender

In blender zijn er 3d modellen gemaakt door Abigail en Pepijn van de muren van de kamer in de Leuvenhaven. Deze zijn geëxporteerd naar Unreal Engine om te gebruiken in de omgeving voor Tyrese zijn onderdeel. De modellen zijn verder aangepast door:

• Schaal en positie correct te zetten
• Materialen te controleren
• Belichting toe te voegen
• De omgeving compleet op te bouwen

Door deze combinatie van elementen hebben we een digitale omgeving ontwikkeld waarin geschiedenis op een interactieve manier wordt ervaren. Met behulp van 3D-modellen, camerabewegingen, geluidseffecten en bezoekersinteractie wordt de kamer van de Leuvehaven opnieuw tot leven gebracht.

Interview

Rob van noordhoek museum Rotterdam door Pepijn en Tally

Expositie

Voor de expo heeft ons team gebruik gemaakt van een combinatie van fysieke en digitale elementen om een immersieve museum ervaring te creëren. Door gebruikt te maken van drie projectoren, witte lakens, JBL box, laptops en een interactieve tekentafel ontstond een ruimte waarin bezoekers de geschiedenis op ee nieuwe manier konden beleven.

Proces

Wanneer bezoekers de ruimt binnenstapten, werden zij omring door drie geprojecteerde muren van de historische kamer. De Unreal Engine omgeving vormde het centrale onderdeel van de ervaring, terwijl de andere projecties de kamer uitbreiden. Hierdoor ontstond het gevoel dat de bezoekers daadwerkelijk door de stijlkamer van de Leuvehaven liepen.

Tijdens de ervaring werden bezoekers meegenomen in het verhaal van de gebroeders Bisschop. Door de combinatie van sfeergeluiden, visuele projecties en de voice-over werd het historische verhaal op een interactieve manier verteld.

Eigen kunst toevoegen

Aan het einde van de ervaring werden de bezoekers uitgenodigd om zelf onderdeel te worden van de collectie. Zij konden een eigen tekening maken die via onze applicatie werd gescand en beoordeeld. Vervolgens werd de tekening digitaal toegevoegd aan de Unreal Engine omgeving en tentoongesteld op de muur.

Daarnaast kregen bezoekers hun fysieke tekening mee naar huis in een envelop met een officiële zegel als herinnering aan hun bijdrage.

Samenvatting

Door fysieke en digitale onderdelen te combineren hebben we een interactieve museumervaring ontwikkeld waarin bezoekers niet alleen naar geschiedenis kijken, maar er zelf onderdeel van worden. De combinatie van projecties, Unreal Engine, geluid en bezoekersinteractie bracht de stijlkamer van de Leuvehaven opnieuw tot leven.