De kwaliteit van informatie beoordelen

Opbouw van de publicatie

Een wetenschappelijke publicatie is systematisch opgebouwd en bevat (de meeste van) onderstaande onderdelen:

• Titel: Bevat de officiële en volledige titel en eventuele ondertitel van de publicatie. Voorbeeld (pdf, 33 KB)
• Auteur(s): Bevat de officiële naam of namen van de auteur(s) van de publicatie. Voorbeeld (pdf, 28 KB)
• Abstract en/of Keywords: Korte samenvatting of abstract van de publicatie, soms ook vergezeld van keywords of trefwoorden die horen bij de publicatie. Pas op: niet alle wetenschappelijke publicaties zijn voorzien van abstracts. Voorbeeld (pdf, 30 KB)
• Inleiding: Bevat een korte beschrijving van de probleemstelling, soms ook (maar niet altijd, en niet noodzakelijk) de gevolgde methode en de structuur van de publicatie. Voorbeeld (pdf, 55 KB)
• Corpus: Bevat de eigenlijke uitwerking van de probleemstelling, eventueel met bijhorende tabellen en/of grafieken. Voorbeeld (pdf, 581 KB)
• Conclusie: Bevat een bondig overzicht waarin de belangrijkste onderzoeksresultaten worden samengevat. Voorbeeld (pdf, 43 KB)
• Voetnoten of Eindnoten: Bevatten een korte toelichting die niet in de eigenlijke tekst past (bijvoorbeeld omdat ze het logische betoog van de argumentatie zou verstoren). Bij sommige referentiestijlen bevatten voet- of eindnoten ook verwijzingen naar andere wetenschappelijke literatuur (bv. aan de hand van een bibliografische referentie in verkorte vorm, waarvan de volledige bibliografische informatie in de literatuurlijst terug te vinden is). Voorbeeld (pdf, 337 KB)
• Literatuurlijst: Bevat een overzicht van de gebruikte informatiebronnen, opgemaakt volgens een consequent toegepaste referentiestijl. Bij referentiestijlen waar alle bibliografische informatie reeds in detail via voet- of eindnoten wordt aangereikt, wordt soms geen systematische literatuurlijst meer gegeven aan het einde van het document. Voorbeeld (pdf, 96 KB)

Inhoud van de publicatie

Iedere auteur schrijft een artikel of een boek vanuit een bepaalde invalshoek en met een bepaalde bedoeling. Dit perspectief kan louter wetenschappelijk zijn, maar mogelijk zijn er andere motieven en belangen in het spel.

Iedere informatie (publicatie) is steeds gekleurd door de informatieverstrekker (auteur). Dat is op zich geen probleem, maar soms kan deze verkleuring leiden tot een (grove) vertekening van de feiten.

Een (grove) vertekening betekent dat informatie bewust wordt verdraaid of verzwegen met als doel om de lezer tot de conclusie te brengen die de auteur voorstelt. Deze manipulatie kan je herkennen aan een aantal karakteristieken:

• Argumentatie: De auteur bestookt de 'tegenpartij' met persoonlijke of niet ter zake doende argumenten of negeert de argumenten van de 'tegenpartij'.
• Data:  Controleerbaar bewijsmateriaal ontbreekt (bv. cijfermateriaal zonder bronvermelding).
• Taalgebruik: De auteur maakt veelvuldig gebruik van emotionele stijl en taal.

Om een eigen oordeel te kunnen vormen over de kwaliteit van de gevonden informatie is de techniek van het kritisch lezen van belang. In principe zijn er twee typen tekstkritische argumenten: interne en externe:

• Interne argumenten: Bij interne argumenten gaat het om het signaleren van inconsistenties en onvolkomenheden in de tekst zelf. Die kunnen bestaan uit onlogische redeneringen, onterechte verbanden, onterechte gelijkstellingen of tegenstellingen. Het kan ook gaan om stellige beweringen zonder bewijsvoering of concrete voorbeelden, of citaten die uit hun verband zijn gebruikt.
• Externe argumenten: Bij externe argumenten moet je als lezer beschikken over kennis die je niet in de tekst zelf aantreft. Bij kritisch lezen is dat juist de crux: je moet afwegen of een tekst een juiste voorstelling van zaken geeft, en daartoe heb je een bredere kennis nodig dan die de tekst je biedt.

Ouderdom van de publicatie

Een oudere publicatie is niet per definitie voorbijgestreefd. Ze is wel minder betrouwbaar wanneer:

• het onderzoeksdomein zeer intensief bestudeerd wordt en er dus in sneltempo aanvullende, corrigerende of nieuwe informatie opduikt;
• het onderwerp zelf tijdelijk of tijdsgebonden is (bv. economische recessie, taalgebruik bij tieners...)

Daarom is het altijd een goed idee om op zoek te gaan naar recente publicaties over je onderwerp, aangevuld met de belangrijkste oudere publicaties.

Opmerking: In de meeste disciplines duurt het vaak maanden (artikel) of zelfs jaren (boek) vooraleer de onderzoeker zijn/haar publicatie ziet verschijnen. De gepubliceerde informatie is dus vaak ouder dan de publicatiedatum doet vermoeden.

Profiel van de auteur

Een belangrijk criterium om de betrouwbaarheid van informatie te toetsen vormt het profiel van de auteur. Er zijn vier soorten kwalificaties waarop je het profiel van een auteur kan beoordelen:

• Opleiding: Om een universitair diploma te kunnen behalen, moet een auteur zijn/haar deskundigheid voor deze opleiding bewezen hebben.
  Er zijn verschillende opleidingsniveaus: een doctor is een hogere kwalificatie dan een licentiaat of master.
• Functie: Auteurs met een belangrijke leidinggevende functie hebben mogelijk niet de hoogste opleidingskwalificaties, maar sommigen beschikken wel over een rijke ervaring die hen geloofwaardig en betrouwbaar maakt.
• Verbondenheid met een betrouwbare instelling: Onderzoekers winnen aan geloofwaardigheid door hun affiliatie met een universiteit of een andere wetenschappelijke instelling. Let wel: de medewerkers van dergelijke instellingen zijn niet noodzakelijk de meest bekwame onderzoekers in hun vakgebied.
• Hirsch-index: De H-index is een indicator voor de staat van dienst van auteurs en hun wetenschappelijke impact. Als een onderzoeker een H-index van 15 heeft, betekent dit dat hij/zij 15 tijdschriftartikelen gepubliceerd heeft die ten minste 15 keer geciteerd zijn door andere onderzoekers. Een hogere H-index betekent een grotere impact.
  Let wel: de citatierapporten van Web of Science (een van de databases waar de H-index automatisch berekend wordt) zijn niet helemaal foutloos. Bovendien is de waarde van de berekening in Web of Science minder relevant voor onderzoekers in de humane wetenschappen omdat de tijdschriften in deze disciplines minder vaak zijn opgenomen in deze collectie.

Belangrijk!

Deze kwalificaties bieden auteurs geen geloofwaardigheid op alle domeinen, maar zijn enkel van toepassing op het domein van hun expertise. Een professor musicologie heeft niet noodzakelijk de juiste kwalificaties om betrouwbare uitspraken te doen over bijvoorbeeld de Holocaust.

Beoordeling vooraf: redactiecommissies en collegiale toetsing

Een aangeboden publicatie moet eerst beoordeeld worden vooraleer deze mag verschijnen bij een wetenschappelijke uitgever. Dit kan gebeuren door leden van de redactiecommissie zelf of door gespecialiseerde collega-wetenschappers.

• Redactiecommissies: Deze redactieleden moeten zelf expert zijn in het betreffende wetenschappelijke domein om een betrouwbaar oordeel te kunnen vellen over de ingediende publicatie.
• Collegiale toetsing of peer review: Sommige redactiecommissies roepen systematisch de hulp in van collega-wetenschappers die gespecialiseerd zijn in het betreffende vakgebied. Deze externe beoordeling wordt in het Engels peer-review genoemd. Als vuistregel kan gelden: hoe toonaangevender het tijdschrift, hoe strenger de collegiale toetsing.

Om tegen te gaan dat andere dan inhoudelijke factoren de beoordeling bepalen, blijft de naam van de auteur vaak verborgen voor de collega's die de toetsing verrichten en omgekeerd (double blind peer review). Omdat die anonimiteit er ook voor zorgt dat de beoordelingen niet altijd even constructief zijn, staat het systeem onder druk. In een aantal tijdschriften krijgen beoordeelaars de keuze om hun identiteit (na publicatie) bekend te maken. Zo worden hun vaak kosteloze inspanningen toch gehonoreerd.

Beoordelingen nadien: recensies en citaties

Iedere publicatie maakt onderdeel uit van een wetenschappelijk netwerk en wordt beoordeeld door experten. Je kan deze beoordelingen terugvinden door middel van recensies of citaties.

• Recensies (boek): Een recensie is een kritische beoordeling van een wetenschappelijke studie door een onafhankelijke wetenschapper die vertrouwd is met het onderwerp. Recensies van pas verschenen boeken worden vaak gebundeld weergegeven in een vaste rubriek van een wetenschappelijk tijdschrift. Andere benamingen voor een recensie zijn 'boekbespreking' (N), 'book review' (E) en 'compte rendu' (F).
• Citaties: Ook citaties of verwijzingen in voetnoot kunnen helpen om de betrouwbaarheid en de kwaliteit van een publicatie te meten.
  • Kwalitatief: Indien de wetenschappelijke resultaten worden overgenomen in nieuwe publicaties, dan verhoogt dit het gezag en de betrouwbaarheid van deze publicatie.
  • Kwantitatief: Een groot aantal verwijzingen doet vermoeden dat deze publicatie een grote impact heeft gehad. Het vormt op zich geen afdoend bewijs voor de betrouwbaarheid van deze publicatie. Het kan immers ook betekenen dat er vanuit het wetenschappelijke netwerk hevig gereageerd wordt op een omstreden stelling in deze publicatie.

Beoordeling van een artikel: raadpleeg de citatiescore

Hoe vaak hebben andere onderzoekers naar dit artikel verwezen? Hoe vaker dit het geval is, hoe meer waarde er aan dit artikel gehecht wordt. Bedenk wel dat relatief nieuwe artikelen nog niet de kans hebben gekregen zich te bewijzen.

Hieronder volgt een voorbeeld van een citatiescore in de Web of Science. Je ziet het aantal keer dat dit artikel wordt geciteerd in de Web of Science Core Collection en het aantal citaties in alle databases van de Web of Science.

Let wel: Deze aantallen zijn niet absoluut: enkel de citaties die in de Web of Science zijn geïndexeerd, worden getoond. Het is dus mogelijk dat dit artikel ook elders nog wordt geciteerd. Om die reden is de toegang via Web of Science vooral voor artikels in de humane wetenschappen niet zonder problemen.

Beoordeling van een tijdschrift: raadpleeg de impactfactor

Beschikt het tijdschrift over een impactfactor? En hoe hoog is deze?
De impactfactor is een maat voor de frequentie waarmee een 'gemiddeld artikel' in een tijdschrift wordt geciteerd in een bepaald jaar of een bepaalde periode. Een hoge impactfactor geeft aan dat een gemiddeld artikel in het desbetreffende tijdschrift relatief vaak geciteerd wordt. Door tijdschriften binnen een bepaald vakgebied met elkaar te vergelijken, wordt duidelijk welk tijdschrift een hogere impactfactor heeft.

Impactfactoren kun je vinden in de Journal Citation Reports, maar steeds vaker ook in het redactionele gedeelte van een tijdschrift.

Voorbeeld van een tijdschrift met impactfactor in de Journal Citation Reports:

• Surf naar de website van de Journal Citation Reports. Typ in de zoekbalk de titel van het tijdschrift in en klik op het vergrootglas.

• In het scherm met resultaten klik je op de titel.

• Vervolgens verschijnt een tabel met de impactfactor en data over de impact van het tijdschrift gedurende de voorbije vijf jaar.

Hieronder worden een aantal kwaliteitscriteria in kernbegrippen samengevat voor de inhoudelijke beoordeling van de kwaliteit van websites.

Betrouwbaarheid

Is de inhoud van de bron goed onderbouwd en correct?

• Is de informatie objectief en berust ze op degelijk onderzoek?
• Zijn er referenties of een substantiële literatuurlijst?
• Bestaat er ook een ander formaat van de bron dat als kwalitatief en betrouwbaar bekend staat?
• Als er sprake is van partijdigheid, wordt hier dan openlijk voor uitgekomen en is deze van een acceptabel gehalte?
• Is er zichtbaar zorg besteed aan het samenstellen van de informatie?

Let vooral op:

• literatuurverwijzingen en literatuurlijsten;
• verantwoording van de herkomst van de informatie;
• vermelding van het doel van de website;
• typefouten, spelfouten en grammaticale fouten;
• extensies: sites van onderwijsinstellingen (VS: .edu / UK: .ac.uk), non-profit organisaties (.org) en overheden (VS: .gov) zijn over het algemeen betrouwbaarder dan commerciële sites (.com).

Actualiteit

Is de inhoud van de bron up-to-date?

• Wordt de inhoudelijke informatie goed onderhouden?
• Wordt nieuwe beschikbare informatie snel toegevoegd?

Let vooral op:

• de datum dat de informatie gecreëerd of beschikbaar gesteld is ('creation date' of 'publication date' );
• de datum dat de informatie voor het laatst is bijgewerkt ('last updated date');
• een melding over de update- of verschijningsfrequentie;
• de beschikbaarheid van gearchiveerde informatie.

Status

Hoe gezaghebbend is de bron?

• Wie biedt deze informatie aan op het internet?
• Is de bron bekend als authentiek en gezaghebbend?
• Wat is de status van de auteur en/of de uitgever?

Let vooral op:

• nadere informatie over auteur en uitgever (eventueel onder links als about us, contact our company, en dergelijke);
• nadere verantwoording van de herkomst van de informatiebronnen waaraan bepaalde gepresenteerde feiten en gegevens ontleend zijn.

Tip: Om het belang of de autoriteit van de website na te gaan, kan je via de link-filter van Google controleren hoeveel keer externe websites verwijzen naar de betreffende bronwebsite. Als je bijvoorbeeld link:UHasselt.be intypt, dan krijg je een lijst van alle websites die naar de website van de UHasselt verwijzen. Hou er wel rekening mee dat wellicht meer nog dan bij andere publicaties, het aantal verwijzingen naar een website geen absolute garantie is voor betrouwbaarheid.

Volledigheid

Wat is de reikwijdte en diepgang van de informatie?

• Wordt er voldoende diep op het onderwerp ingegaan?
• Worden de diverse aspecten van het onderwerp afdoende behandeld?
• Zijn er aanwijsbare lacunes in de informatie?

Let vooral op:

• een inhoudspagina;
• een index;
• een site map;
• literatuurverwijzingen en literatuurlijsten.

Stel, je zoekt met behulp van Google op wanneer Sir Isaac Newton geboren is. Als je de resultaten goed bekijkt, zie je dat er op verschillende websites verschillende data genoemd worden. Sommige sites vermelden 1642 als geboortejaar; andere sites vermelden 1643.

Welke van de twee gevonden geboortejaren is juist? In dit geval kom je er al snel achter dat het verschil een gevolg is van veranderingen in de kalender. Toen Newton geboren werd was het wel degelijk 25 december 1642, maar voor de kalender die nu gangbaar is, zou hij geboren zijn op 4 januari 1643.

Als je tegenstrijdige informatie tegenkomt, kun je best eerst proberen om een betrouwbare website te zoeken die de beide opties vermeldt en uitlegt welke de juiste is of waarom ze verschillen.

Enkele vuistregels:

• Raadpleeg ook andere sites en (gedrukte) bronnen zoals encyclopedieën, handboeken en dergelijke.
• Houd het doel voor ogen waarvoor je informatie zoekt . Als je op zoek bent naar de belangrijkste theorieën van Isaac Newton is zijn exacte geboortejaar niet belangrijk, maar wel als het om zijn levensbeschrijving gaat.
• Tegenstrijdige informatie is niet altijd helemaal te voorkomen. Ook wetenschappers spreken elkaar wel eens tegen.
• Blijf kritisch. Je zult op grond van eigen analyse en inzicht moeten uitmaken welke informatie je wel accepteert en welke niet.

Wikipedia is ’s werelds grootste online internetencyclopedie die gratis toegankelijk is en door iedereen bewerkt kan worden. Enige voorzichtigheid met betrekking tot de correctheid van de informatie is dus zeker aangewezen.

Zoals bij alle informatiebronnen waarvan de auteur onbekend is, zul je een tweede bron moeten raadplegen om de kwaliteit van de informatie te kunnen beoordelen.

Bij veel artikelen op Wikipedia vind je aan het einde van de tekst bronnen vermeld waaruit de informatie afkomstig is. Je kunt deze originele bronnen voor je paper gebruiken. Als er geen bronnen worden genoemd, is het niet aan te raden om de tekst uit Wikipedia te gebruiken.