Wrap-ups en opnamen van de Leiden University Libraries & Elsevier seminars on Reproducible Research
Universitaire Bibliotheken Leiden (UBL) organiseerde in samenwerking met Elsevier een reeks online seminars over de uitdagingen rond Reproducible Research. Tijdens de seminars deelden internationale sprekers hun ervaringen met reproduceerbaarheid van onderzoek en werden richtlijnen besproken die kunnen helpen bij het transparant en verifieerbaar maken van onderzoeksresultaten. Naast meer theoretische aspecten werden tijdens de seminars diverse case studies gepresenteerd. De seminars vonden plaats op donderdag 22 april, 29 april en woensdag 12 mei. Voor iedere seminar is een wrap-up beschikbaar en zijn opnamen beschikbaar gemaakt op Youtube. Bekijk in het onderstaande programma de wrap-ups en opnamen.
Reproducible Research
Het streven naar Reproducible Research vormt een van de centrale drijfveren van de open science beweging. Wanneer onderzoekers hun data beschikbaar stellen en hun methoden documenteren, stelt dit hun collega’s meestal in staat om analyses te repliceren en conclusies te verifiëren. Reproducible Research is van belang voor een breed scala belanghebbenden binnen de academische wereld. Voor onderzoekers zorgt reproduceerbaarheid voor transparantie en het stelt collega’s in staat om de betrouwbaarheid van academische bevindingen te beoordelen. Door onderzoek op een reproduceerbare manier te verrichten kunnen onderzoekers hun verantwoordingsplicht en hun reputatie versterken.
Reproducible Research is ook van belang voor studenten en jonge onderzoekers. Door onderzoeksmethododen van ervaren onderzoekers te bestuderen en te repliceren, raken ze vertrouwd met de conventies en de details van specifieke onderzoeksmethoden. Dit kan studenten inspireren om deze voorbeelden na te volgen. Een grotere controleerbaarheid van academische bevindingen is ook van belang voor academische uitgevers, aangezien dergelijke inspanningen kunnen worden gezien als een vorm van peer review. Door bepaalde resultaten te repliceren, konden uitgevers de betrouwbaarheid van de bevindingen die ze verspreiden waarborgen. Reproducible Research is ook van belang voor onderzoeksfinanciers omdat dit het hergebruik van onderzoeksgegevens bevordert. Wanneer gegevens kunnen worden hergebruikt buiten de context waarin ze zijn gemaakt, kunnen financiële middelen op een veel effectievere manier worden gebruikt.
Uitdagingen
In velden als Geneeskunde, Biologie en Psychologie wordt er soms gesproken over een ‘replicatie crisis’. In de afgelopen jaren is er veel aandacht geweest voor de stappen die nodig zijn om de transparantie en de betrouwbaarheid van onderzoeksrssultaten te verbeteren. Desondanks zijn er nog verschillende uitdagingen. Het publiceren van gegevens in overeenstemming met de FAIR-datamanagement principes kan zeer arbeidsintensief zijn, en de noodzaak om workflows en methoden te documenteren vereist veel discipline. Voor onderzoekers die hun onderzoek volledig reproduceerbaar willen maken is het vaak onduidelijk welke concrete stappen moeten worden gevolgd. Onderzoekers die specifieke onderzoeken proberen te reproduceren moeten vaak vaststellen dat de datasets waarnaar in publicaties wordt verwezen vaak ontoegankelijk of onvolledig zijn, en dat de artikelen vaak de details missen die nodig zijn om bepaalde analyses te herhalen. In het geval van ouder onderzoek kan ook verouderde software een rol spelen. Zelfs als de gegevens en de methoden volledig transparant zijn, kan herhaald onderzoek toch resultaten opleveren die afwijken van de oorspronkelijke bevindingen.
Programma
Klik op de titel van het seminar om de wrap-up voor de sessie te lezen. Opnamen van iedere lezing zijn beschikbaar via Youtube. Volg de link onder de titel van de lezing om de opname te bekijken.
Seminar 1: Rationale and benefits (donderdag 22 april)
Dit seminar behandelde de algemene uitgangspunten van Reproducible Research. De sprekers verkenden de wetenschappelijke en maatschappelijke voordelen van Reproducible Research, en de acties die moeten worden ondernomen om de culturele verandering te bespoedigen die nodig is om Reproducible Research mogelijk te maken.
- Welcome (15 min): Introduction to the lecture series.
- Lecture (30 min): Dorothy Bishop, Professor of Developmental Neuropsychology, University of Oxford. Reproducibility: A crisis for scientists or society?
- Lecture (30 min): Brian Nosek, co-Founder and Executive Director of the Center for Open Science and Professor in the Department of Psychology at the University of Virginia. Improving reproducibility of research.
- Panel discussion (40 min): Actions need to effectuate a cultural change. Panel discussion focusing on stakeholder analysis: Researchers, Publishers, Funders.
Seminar 2: Theoretical session (donderdag 29 april)
Tijdens het tweede seminar werd reproduceerbaarheid voornamelijk op conceptueel niveau besproken. Dit seminar richtte zich onder meer op de reikwijdte en de grenzen van reproduceerbaarheid. Moet de oproep Reproducible Research vooral gericht zijn op die disciplines die een kwantitatieve of kwalitatieve benadering volgen?
- Welcome (20 min): Recapitulation of session 1 and introduction of the topic.
- Lecture (30 min): Christof Schöch, Professor of Digital Humanities, Trier Center for Digital Humanities. A Typology of Reproducible Research: Concepts, Terms, Examples.
- Lecture (30 min): Bart Penders, Associate Professor Metamedica, School for Public Health and Prim Care, Fac. Health, Medicine and Life Sciences, Maastricht University. The right tool for the job? Replication as research norm.
- Lecture (30 min): Peter Verhaar, Lecturer at Book & Digital Media Studies, Leiden University. Illustration: accountability and reproducibility in the digital humanities.
Seminar 3: Practical session (woensdag 12 mei)
De sprekers in het derde seminar lichtten de concrete stappen toe die onderzoekers kunnen zetten om hun onderzoek reproduceerbaar te maken. De seminar bood inzicht in de aspecten van een onderzoeksproject die gedocumenteerd moeten worden en in de manier waarop gegevens beschikbaar moeten worden gesteld.
- Welcome (5 min): Recapitulation of session 1 & 2 and introduction of the topic.
- Lecture (20 min): Catriona Fennell, Director Journal Services, Elsevier. The role of the publisher.
- Lecture (40 min): Kristina Hettne, Digital Scholarship Librarian, Leiden University Libraries, How to ‘ReproHack’: Learn how to reproduce the results of a study.
- Lecture (25 min): Gabriele Hayden, Research Data Management and Reproducibility Librarian at the University of Oregon, Improving reproducibility: practical steps for researchers.
- Panel (15 min): Kristina Hettne and Gabriele Hayden: What does a replication study entail on a concrete level? Discussion of main challenges.
Samenwerking Elsevier
In 2019 organiseerden UBL en Elsevier gezamenlijk een symposium over Tools Criticism en een openbare lezing door Scaliger Professor Ted Underwood, Professor of Information Sciences and of English, University of Illinois at Urbana-Champaign: "The Role of the Humanities in an Information Age". Elsevier sponsort ook het UBL Fellowship Program for Digital Scholarship. Dit fellowship biedt onderzoekers de gelegenheid om onderzoek te doen in nauwe samenwerking met het Center for Digital Scholarship (CDS) van de UBL. Het fellowship-programma ondersteunt onderzoekers tijdens een verblijf van twee maanden in Leiden. In het fellowship wordt speciale aandacht besteed aan de manieren waarop onderzoeksresultaten reproduceerbaar en FAIR kunnen worden gemaakt. Zo heeft Paolo Rossini dankzij een Elsevier Fellowship for Digital Scholarship twee maanden bij het CDS onderzoek kunnen doen. Met behulp van digitale tools reconstrueerde hij aan de hand van brieven de netwerken van René Descartes en zijn volgelingen.