Promotor Karima Kourtit in Polen was Peter Nijkamp

NIEUWS

Campus  14 oktober 2015

Promotor Karima Kourtit in Polen was Peter Nijkamp

reacties 35

Econoom Karima Kourtit, die onlangs cum laude promoveerde aan de Poolse Adam Mickiewicz University, deed dat onder begeleiding van promotor… Peter Nijkamp. Die informatie heeft NRC-journalist Frank van Kolfschooten weten op te duikelen.

Kourtits Poolse proefschrift, dat net online is gezet, draagt een titel die sterk doet denken aan die van het proefschrift dat door een VU-commissie werd afgekeurd nadat een anonymus erover geklaagd had: ‘New Urban World; Economic-Geographical Studies on the Performance of Urban System’.

Andere oriëntatie

Maar tegen Advalvas verklaarde ze dat de focus een totaal andere was: “Het onderwerp is niet hetzelfde, het heeft een andere oriëntatie: geografisch in plaats van economisch, het heeft geen enkele overlap met mijn Nederlandse dissertatie, het zijn andere papers.”

Nijkamp zou ook haar promotor aan de VU zijn, maar hij trok zich terug na de ophef rond het proefschrift. Vervolgens kwam Nijkamp zelf onder vuur te liggen omdat hij veelvuldig plagiaat en zelfplagiaat zou hebben gepleegd. Na de bevindingen van een commissie die zich daarover heeft gebogen, is hij met pensioen gegaan.

Eredoctoraat

Maar in het buitenland timmeren Nijkamp en ook Kourtit nog flink aan de weg. Kourtit is postdoc in Zweden. Nijkamps ster schittert nog aan verschillende universiteiten in onder andere Oost-Europa. De Adam Mickiewicz University verleende hem onlangs nog een eredoctoraat.

Kourtit heeft de VU aangeklaagd bij het college van de rechten van de mens. Die oordeelde afgelopen zomer dat de VU had moeten onderzoeken of ze iets kon doen tegen de discriminerende berichtgeving over Kourtit in verschillende media.

Peter Breedveld
BEELD: Peter Valckx
hits 12956

{ Lees de 35 reacties }

Review of Chapter 5 of K. Kourtit’s ‘The New Urban World’

In this chapter (also published as a book chapter), the authors apply a multilevel analysis to analyze the relation between the perception of city performance by different types of stakeholders and various components that determine overall city performance. Their data include 35 cities and 5 years (2009-2013). The chapter is perhaps the worst scientific work I have ever read. It adds to my general impression that something is seriously wrong with the scientific community, or at least parts of it. Did no one from the scientific community (editors, reviewers, etc.) ever comment on this work or did the authors simply ignore critical comments? Have recent matters not resulted in any self-reflection, or perhaps an urge to focus more on quality rather than quantity?

On p. 91-94 they discuss the first stage specifications of their multilevel analysis. These are a set of OLS regressions, where the perception of each type of actor is regressed on the (same) set of 6 types of city performance and ‘fixed effects’. The authors fail to explain whether ‘fixed effects’ refers to time or city fixed effects, but given the reported numbers of observations (n=5*35=175), degrees of freedom (164), and number of variables (k=7+4), it must have been time fixed effects since n-k=175-7-4=164.

Because the authors fail to apply the appropriate techniques to correct standard errors for the huge amount of correlation that exists between city characteristics in subsequent years, reported statistical significance is (much) higher than justified. I checked this using the publicly available data that is used in this chapter, and in 2009/2010 correlations are generally around 0.90-0.95). For overall city performance it’s even higher. Had the correct methods been applied, almost nothing would have been statistically significant.

An even bigger problem is that there is a large methodological change in the dataset between 2011 and 2012. Variables seem to measure the same constructs, but use a completely different scale. For example, Accessibility ranged from 17.2 to 59.3 in 2011 and from 72.0 to 251.3 in 2012. Standard deviations are much higher after the data revision, causing their estimates to be biased (just including time fixed effects only corrects for level effects).

After the first-stage OLS results, the authors present 19 scatter plots showing overall city performance by city in 5 years. These plots make the problems discussed above painfully clear: in each graph we see 3 dots that show no variation in city performance, followed by 2 dots at a level three times as high. Yet the authors have drawn a regression line in each graph and discuss the short term-trends that follow from these graphs. In a mind-blowing expression of incompetence they even conclude that all cities except Moscow express growth-performance. The actual reason that the regression line is horizontal for Moscow, however, is that it had its data points from 2012 and 2013 missing. As the authors present their R-syntax (in the text, which is by the way also odd) it is not difficult to see why the last two data points were excluded: this is due to an error in the syntax. In the box on p.95, "data= univ.dateorase [1:63,]” means that only the first 63 data points were used to draw graphs. To draw graphs for all cities, this number should have equaled 35*5=175. However, it must be noted that p. 95 lists 18 plots with 5 data points and 1 plot with 3 data points, for a total of 18*5+3=93. This means that the graphs cannot have been generated with the R code presented by the authors.

On p. 96, authors appear to estimate a random effects model explaining total city performance with a constant and city level random effects. Outcomes are used to calculate the intra-group variance (e.g. the variability of intercepts between cities). Given the fact that there are strong differences between performance levels of different cities while performance levels of cities are also rather constant over time, intra-group variance should be high. I’m not sure what went wrong, but an intra-group variance of 5.885307e-05 seems (very) implausible.

Next, the authors extend their simple random effects models with a time trend. Their estimate is that the total city score “increases by 214.65 each time period”. The fact that this might be somewhat odd for a variable with an overall minimum of 132 to and maximum of 330 in the first three years apparently didn’t occur to them. In subsequent models, the authors also estimate a model with a quadratic term and a model with polynomials, which off cause make no sense at all given the fact that the huge methodological gap between 2011 and 2012 isn’t modeled. They proceed by estimating a random effects model with a linear and quadratic time trend that varies by cities (whilst no longer including a city specific intercept). They arrive at the conclusion that all cities have a similar slope. Not very surprising if you consider that they are only measuring the effect of a methodological discontinuity.

On p. 91, the authors state “The purpose of this paper is now to address these above mentioned substantive research questions by using a multilevel modelling approach.” The authors fail quite extraordinarily in this purpose, as the paper doesn’t estimate any multilevel model (which purpose would have been to analyze variation in estimated coefficients from the first-stage OLS estimates that I discussed earlier).

A somewhat odd feature of the chapter is the fact that it also claims to illustrate the possibilities offered by R for statistical analyses, including a lot of R code directly in the paper (which is not only uncommon, but also completely redundant due to the simplistic methods that are used). And even though the paper aims to illustrate the possibilities of R, the authors still (for some odd reason) choose to use SAS to estimate their first-stage OLS regressions.

NN, veel dank voor de review van dit hoofdstuk.

Ik daag hierbij Karima Kourtit, Peter Nijkamp & et al. uit om NN te voorzien van een stevig inhoudelijk weerwoord. Karima Kourtit heeft nu twee promoties op haar naam staan. Ze moet dus in staat zijn om het betoog van NN minimaal tot aan de grond toe te weerleggen. Karima Kourtit en Peter Nijkamp hebben geen zwijgplicht meer en mij zijn geen andere motiverende redenen bekend waardoor beiden niet op inhoudelijke gronden dit betoog van NN zouden kunnen weerleggen. Dus kom maar op met het inhoudelijke weerwoord.

Mijn blik was eerder al eens gevallen op figuur 1 (pagina 95). Ik geef wel eens adviezen over figuren. Dit figuur zou ik dus meteen afkeuren als ik een concept van een scriptie onder ogen krijg van een HBO-student in mijn vakgebied. Troep.

Met de uitleg van NN erbij begrijp ik er nog veel minder van, te meer daar mijn Poolse contacten (vakgenoten) juist altijd gedegen werk afleveren en altijd erg zorgvuldig te werk gaan bij het doen van onderzoek en bij het schrijven van publicaties.

Er zitten volgens mij 4 hoofdstukken in het Poolse proefschrift waar ik eerder klachten over heb ingediend: H12 (losse studie die onderdeel vormde van mijn 2e klacht), en H4, 6 en 13 (zaten in het 1e proefschrift). Aan de hoofdstukken 4 en 6 lijkt weinig veranderd. Hoofdstuk 13 is het gewraakte hoofdstuk 6 uit het 1e proefschrift. Hiervan zijn de eerste paragrafen (vermoedelijk n.a.v. mijn 1e klacht over plagiaat) wel grondig herschreven, maar de meer fundamentele problemen die ik later aan de orde heb gesteld zitten er nog steeds in.

De meeste andere hoofdstukken zijn voornamelijk oudere publicaties, van sterk wisselende kwaliteit. Volgens mij had ik behalve H5 alles al eens gezien. Ik vind het verbijsterend dat daar toch weer zo veel problemen in zitten. Je zou denken dat Kourtit, Nijkamp, en de mensen om hen heen na alles wat heeft plaatsgevonden extra goed letten op de kwaliteit van het werk dat ze afleveren. Maar het draait blijkbaar nog steeds alleen om kwantiteit. Ook de keuze voor opnieuw een proefschrift met een zeer groot aantal hoofdstukken van zeer wisselende (of: vooral lage) kwaliteit vind ik vanuit dat oogpunt merkwaardig.

Ondertussen wat beter naar het nieuwe proefschrift van Karima Kourtit gekeken. Ik kan me in algemene zin volkomen vinden in de conclusie van NN (zijn review van hoofdstuk 5). Hieronder een aantal losse flodders / opmerkingen van een relatieve buitenstaander (geen econoom):
.
* Karima Kourtit is goed in het verzinnen van een mooie titel en gaat vervolgens een artikel in elkaar flansen wat iets met die titel te maken heeft.
* Karima Kourtit verwijst in de inleidingen van de hoofdstukken opvallend vaak naar haar eigen publicaties, maar gebruikt niet/nauwelijks primaire bronnen. Die werkwijze komt in mijn vakgebied voor bij eenvoudige artikeltjes van amateurs in lokale blaadjes, maar is in mijn vakgebied niet gebruikelijk bij artikelen op het niveau van een proefschrift cq bij publicaties in (internationale) vaktijdschiften.
* Karima Kourtit lijkt geen kennis te hebben van de visie / inhoud van bijvoorbeeld de diverse boeken van Robert D. Kaplan. Idem van de visie / inhoud van diverse boeken van Ryszard Kapuściński.
* de inleiding van het hoofdstuk over de havens (hoofdstuk 9) is ongeveer net zo slecht en net zo beroerd als de inleiding van hoofdstuk 5. Troep.
* opvallend vaak worden termen en begrippen niet uitgelegd cq worden er geen definities van gegeven (cq verwezen naar primaire bronnen etc.). Het goed afbakenen en definiëren van termen en begrippen is vrij essentieel in mijn vakgebied, en volgens mij in heel veel vakgebieden.
* een hypothese / vraagstelling (bijvoorbeeld in hoofdstuk 5) komt maar wat uit de lucht vallen na een heel zwatelachtig betoog.
* mijn tenen gaan krom staan bij het aandachtig lezen van diverse zinnen in de inleiding van de hoofdstukken 5 en 9. Regelmatig worden in dit soort zinnen beweringen gedaan / standpunten ingenomen die (a) niet worden onderbouwd met een bron en die (b) volgens mijn beperkte visie helemaal nergens op slaan cq onzin zijn cq kunnen worden beschouwd als wartaal. Ik ga hierover graag de discussie aan met Karima Kourtit als ze het niet met me eens is (voorbeelden houd ik achter de hand).
* Karima Kourit gebruikt veel omhaal van woorden. Delen zijn gemeenplaatsen die prima passen in een tijdschrift als bijvoorbeeld Libelle, maar die niet passen in een akademisch proefschrift.
* de VU mag blij zijn dat ze geen verantwoordelijkheid draagt voor dit proefschrift cq de teksten in dit proefschift. Het niveau is abominabel.
* de PDF vermeldt geen datum van uitgave (kan ik in ieder geval niet vinden), op de eerste pagina staat 'draft', pagina 67, 68, 69 en 70 staan tweemaal in het proefschrift (wel met andere teksten, na pagina 71 volgt de tweede reeks), na pagina 104 (nummer, PDF pag 109), houdt de paginanummering op (maar begint weer op pagina 182, PDF pag 187). Verder niet gekeken. Volgens mij waren er ook al problemen met de paginanummering in een vorig proefschrift van Karima Kourtit.
* het proefschrift vermeldt aan het eind een hele lijst met publicaties (al dan niet 'forthcoming') van Karima Kourtit. Deze informatie staat niet in de inhoudsopgave.
* de reviewers van deze stukken moeten zich diep en diep schamen dat ze dit allemaal hebben laten passeren. Ik daag hierbij de reviewers uit om zich bekend te maken en om de discussie over het buitengewoon beroerde niveau van in ieder geval delen van dit proefschrift in het openbaar aan te gaan.

Vanzelfsprekend laat ik me gaarne door Karima Kourtit, door Peter Nijkamp & door hun allies van het tegendeel overtuigen.

PS: het zou prettig zijn als CAPTCHA gaat meewerken. Het is nu een bijna onneembare horde om CAPTCHA te passeren. Diverse tekens van CAPTCHA zijn onleesbaar voor het menselijk oog.

@Klaas van Dijk
Die Captcha houdt ook ons nogal in de greep. Als we hem ook maar even versoepelen, of een ander soort installeren, staat de site meteen helemaal vol met spam... Maar er wordt aan gewerkt.

De link naar het oordeel van het College voor de Rechten van de Mens werkt niet. De correcte link is:

http://www.mensenrechten.nl/publicaties/oordelen/2015-87/detail

Lezing van dit oordeel leert dat wat hierboven wordt gesteld wel erg kort door de bocht is. Kourtit kreeg alleen op het punt van bescherming tegen discriminerende mediapublicaties gelijk. Op alle andere punten werden haar klachten afgewezen. Dan gaat het om klachten over vermeende discriminatie:

- bij de behandeling van de anonieme melding,
- bij het verstrekken van informatie aan een journalist,
- door het niet verstrekken van een gastvrijheidsverklaring,
- door de wijze van behandelen van haar declaraties,
- door het niet aangaan van een nieuwe arbeidsverhouding en
- bij Kourtits klachten over discriminatie.

Ik kan me moeilijk voorstellen dat Kourtit erg gelukkig was met deze uitkomsten.

Beste wetenschappers:
Ik lees dat het spelletje weer begonnen is. Ik werk al jaren op dezelfde afdeling als NN en zijn groepje (ja iedereen heeft het door hier). Ik observeer en luister (ach ben toch onzichtbaar voor hen op de afdeling). Ik vind het nu toch wel overduidelijk waar NN en zijn aanhangers mee bezig zijn. In plaats meer tijd te besteden aan hun achterstand in de wetenschap zijn ze bezig met Nijkamp en Kortit, ze bespeuren hun werk en activiteiten. Ik en anderen van de afdeling zien gewoon dat het niet gezond is wat ze dagelijks aan het bekokstoven zijn: hoe kunnen een deze twee gerespecteerde wetenschappers ECHT kapot maken….. (samen met Kalfscheten)? Ja, ik had ook twijfels, maar nu weet ik zeker dat ze eerlijke sterren zijn (we missen ze echt op de afdeling, maar dat mag niet hard op gezegd worden anders vlieg je eruit of ben je de volgende). Ik denk dat sommige van ons met de nieuwe rector gaan praten. De VU heeft veel schade opgelopen door gefrustreerde personen zoals NN …… Jammer dat deze afdeling naar de ……. door NN groepje…..
Ik houd nu op voordat ze me zien tikken……. Ach ze zijn dagen bezig op alle websites over Nijkamp en Kortit valse dingen te zetten. Is dit wetenschap..............?

Chapter 5 of the new thesis appeared as a chapter, coincidentally also chapter 5, in a book edited by Kourtit, Nijkamp and Stough: "The Rise of the City: Spatial Dynamics in the Urban Century", Edward Elgar Publishing, Aug 28, 2015

An earlier version appeared in 2014 in a journal called PROCEDIA ECONOMICS AND FINANCE, it can be obtained at https://www.researchgate.net/publication/273865284_Growth_Modelling_of_M...

The 2014 version of Figure 1 has 35 cities, 3 years of data. The 2015 book version of Figure 1 is the same as that of the 2015 thesis - now five years of data is available but Figure 1 stops mysteriously half way through the letter "M" (in the middle of Moscow).

@Sano
Kom eens met echte argumenten. Ik heb het proefschrift als buitenstaander gelezen en ik ben er erg van geschrokken. Het is duidelijk dat de statistiek niet klopt, dat de data suspect is, dat het geschreven is in krom Engels, dat delen geplagieerd zijn. En waarom een tweede promotie cum laude in Polen met slechts licht gewijzigd proefschrift? Echte wetenschap gedijt onder stevige kritiek. Inhoudelijke kritiek afdoen als een persoonlijke aanval is een extreem zwaktebod.

@Laurens
De link naar het oordeel van het College voor de Rechten van de Mens had wat ons betreft deze moeten zijn:

http://advalvas.vu.nl/nieuws/mensenrechtencollege-berispt-vu-zaak-kourtit.

In dat bericht komen zowel Kourtit als VU-bestuur aan het woord, en wordt duidelijk dat het oordeel inderdaad genuanceerder is...

Pagina's

Reageren?

Houd je bij het onderwerp, en toon respect: commerciële uitingen, smaad, schelden en discrimineren zijn niet toegestaan. De redactie gaat niet in discussie over verwijderde reacties