Het gebruik van OpenRefine voor het analyseren, opschonen en verrijken van je collectiedata
Cursus Werken met OpenRefine
Ben je tijdens het registreren al een paar keer spellingsvarianten, termen met spelfouten of synoniemen tegengekomen? Of ben je benieuwd wat collega’s en voorgangers met de data hebben gedaan?
Of weet je al dat je data wel een zetje de goede richting in kan gebruiken en wil je juist volle bak aan de slag en kilometers maken om de data op te schonen? Dan is OpenRefine een tool die je een eind op weg kan helpen.
OpenRefine is een programma waarmee je in een keer in bulk aanpassingen aan je data kan doen. Je snort bijvoorbeeld binnen no time verschillende schrijfwijzen van je termen op, voegt deze samen tot een term, en koppelt deze dan ook nog aan een term uit een gestandaardiseerde termenbron. We leggen je stap voor stap uit hoe je deze acties uitvoert en je tot een opgeschoonde en verrijkte dataset komt.
We gebruiken in deze cursus ’term’ voor…
Voordat je aan de slag kan met OpenRefine heb je data nodig waarmee je wil werken.
Je kunt het opschonen op verschillende manieren aanpakken. Voor het opschonen in OpenRefine kun je werken met een export van bijvoorbeeld de interne thesaurus (opgebouwd uit de termen die in de collectieregistratie gebruikt worden), persoonsnamenlijst of plaatsnamenlijst. Maar een export van alle data uit je registratierecords is ook mogelijk, dan neem je objectnamen, plaatsnamen, materiaalsoorten etc. in een keer mee.
Een export van je thesaurus of van alle data kan al snel duizenden termen bevatten. Om het behapbaar te houden kan je ervoor kiezen om bijvoorbeeld te beginnen met alleen de objectnamen, materiaalsoorten, of alleen de termen die beginnen met de letter ‘A’. Of met een deelcollectie in plaats van de data over alle objecten. Je hoeft dus niet alles in één keer te exporteren en aan te pakken.
Sterker nog, we raden aan het opschonen van je data in stukken op te delen. Zo houd je het opschoonproject overzichtelijk. En zo heb je vaker een little win, wat motiverend kan werken om verder te gaan met een volgend stukje van je data.
Voordat je aan de slag gaat met je opschoonproject moet je dus twee dingen doen:
1. Maak een export van de data waar je mee aan de slag wil
2. Download het programma OpenRefine
-
1. Maak een export van je data
Het werken met OpenRefine begint met een export van de data die je wilt opschonen. Om de export straks makkelijk terug te vinden, maak je eerst een map op je bureaublad aan waarin je de exports kan klaarzetten. Dan kan je die later makkelijk inladen in OpenRefine.
OpenRefine accepteert meerdere bestandsformaten. CSV-bestanden worden vaak gebruikt, maar ook TXT, XML, JSON en andere bestandstypes kun je importeren. Het soort export hangt af van je collectie-informatiesysteem.
Lees de gids Grip op je data om meer te weten te komen over het maken van een export.Dit zijn de te nemen stappen:
- Zoek en selecteer de data in je collectie-informatiesysteem waarmee je aan de slag wil.
- Voer de export uit (in de meeste collectie-informatiesystemen is hiervoor een speciale knop; let op: die heet in sommige collectie-informatiesystemen ‘rapportage’)
- Sla dit bestand op in je hiervoor aangemaakte map.
-
2. Download OpenRefine
Voor het werken met OpenRefine heb je een gedownload programma nodig. Heb je dat nog niet gedaan, of is het alweer een tijd geleden? Op OpenRefine.org download je gratis de meest up-to-date versie van het programma. Nadat je op download hebt geklikt, start de download van een zip-file. Pak het zip-bestand uit op je bureaublad, zodat je het programma makkelijk kunt vinden. Heb je dat allemaal geregeld, dan kun je aan de slag.
Project
Start een project in OpenRefine
Wanneer je OpenRefine opent, verschijnt direct een startscherm. Wil je graag werken in een Nederlandstalige versie? Klik dan op ‘Language settings’ en pas de taal aan. Let op: niet alle teksten worden vanuit het Engels vertaald. Daarom gaat deze cursus uit van de Engelse versie.
Nu begint het echte werk. Je laadt je bestand in via de knop Bestanden kiezen (ook in de Engelse versie staat dit vaak in het Nederlands, afhankelijk van de instellingen van jouw computer) en krijgt daarna een voorbeeldweergave te zien. Controleer of de indeling van je bestand overeenkomt met het bestandsformaat waarin je de export gemaakt hebt.
In dit startscherm geef je je opschoonproject een naam. Dit helpt bij het terugvinden ervan, zeker als je aan meerdere projecten tegelijk werkt. Geef je zelf geen naam aan het project, dan wordt de bestandsnaam van je export gebruikt als projectnaam.Werk je aan meerdere opschoonprojecten, dan is het toevoegen van tags handig om ze van elkaar te onderscheiden. Deze titel en tags zie je terug in Open Project. Dit is de plek waar je eerdere opschoonprojecten kan terugvinden en nog kan openen. Je ziet wanneer je een project voor het laatst bewerkt hebt, en je kan oude projecten ook verwijderen.
Ziet je opschoonproject eruit zoals het hoort (hebben alle velden een eigen kolom), heb je de titel aangepast en tags toegekend? Dan is het tijd om het project definitief aan te maken. Klik op Create project, dan maak je het project aan en wordt het opgeslagen.
Alle bewerkingen die je vanaf nu doet worden automatisch opgeslagen. Deze bewerkingen worden allemaal bijgehouden, en kan je dus altijd terugvinden onder Undo/redo links in je scherm. Wil je het project even laten rusten en op een later moment weer oppakken? Dan vind je de laatste versie terug onder Open project.
Nu kun je data gaan analyseren.