Sunday, October 21, 2012

Eine Anfrage zum Hockeyschläger


Christoffer Bugge Harder hat uns ein paar Fragen gestellt im Zusammenhang mit den Auseinandersetzungen um den Hockeystick. Die Mail ging an mich (Hans von Storch), aber tatsächlich hatte Eduardo die Sache viel besser erlebt. Wir geben diese Fragen hier mit erlaubnis von Christoffer wieder (unverändert abgesehen von der Korrektur kleinster sprachlicher Unklarheiten) zusammen mit den Antworten von Eduardo Zorita:



Ich bin ein dänischer Klimablogger (von Beruf Mikrobiologe/Ökologe), der zur Zeit versucht, die Nebel um den  Streit der über die Hockeyschlägerkurve zu durchschauen. Mann ist offensichtlich nicht begeistert über Ihre Kritik, aber er hat Sie jedoch als "seriösen Akademiker" bezeichnet, und ich verstehe, dass Sie sich ausgetauscht haben. Ich dachte deswegen, dass Sie ein geeignter aussenstehender Mann für diese Fragen wären. Ich habe daher eine Frage an Sie.

Es wird oft behauptet, dass Mann, Bradley & Hughes ihre Dateien verheimlicht hätten und  nur gezwungenermaßen und erst 6-7 Jahre nach der Veröffentlichung ausgeliefert hätten. Wir haben zur Zeit in Dänemark einen prominenten Skeptiker, der genau dieses Argument anführt, während Mann selber wütend antwortet, dass dies nicht wahr sei, und dass er und seine Kollegen von Anfang an (seit 2000, nachdem die Verfasser nicht mehr selber damit arbeiteten) die Daten ausgeliefert haben.

Können Sie bestätigen oder dementieren, ob die Daten von MBH tatsächlich kurz nach der Veröffentlichung zugänglich waren, wie Mann behauptet? Und haben Sie in Ihrer Arbeit Probleme damit gehabt, Zugang zu diesen Daten zu bekommen in einer Weise, wo Sie Verdacht schöpften, dass etwas faul im Staate Dänemarks wäre?

Wir haben uns damals nicht direkt mit den Originaldaten auseinandergesetzt. Unsere Arbeiten hatten das Ziel, die Methodik zu prüfen und nicht die Güte der Daten. Wir haben dazu Daten aus Klimasimulationen benutzt, nicht die ursprünglichen Proxydaten.

Ich kann mich aber erinnern, dass wie diese Frage damals mit Journalisten besprochen haben. In der Arbeit von Mann et al (1998 und 1999) gibt es mehrere 'Datenebenen', z.B.die ursprünglichen Proxydaten und Ergebnisse von mehreren Daten-Vorbearbeitungen (Pre-processing). 
Eine dieser Preprocessings Stufen war eine Hauptkomponentenanalyse der Proxydaten. Das Ergebnis davon war schon damals verfügbar - ich meine aber, dass die Originaldaten nicht öffentlich verfügbar waren. Es war sogar damals nicht ganz klar wie viele Proxyzeitserien in die Analyse eingeflossen waren. Aber, wie gesagt, wir können hier keine belastbare Antwort geben.

Ich weiss, dass deren Quellkode der "nicht zentrierten" PCA erst 2005 und nach einem gewissen Druck ausgeliefert wurde, aber wie Sie natürlich wissen, fordert man in der Naturwissenschaften normalerweise nur, dass die Daten selber öffentlich zugänglich sind (jeder kompetente Wissenschaftler sollte dann selber eine verwendbare Kode zusammenschrauben können). Es ist also wichtig für eine Aufklärung der Sache, ob Mann abgelehnt hat, seine Dateien auszuliefern, oder nur den Quellkode. Das Erste könnte man mit gutem Recht (meinem Wissen nach) als eine verdächtige Abweichung von der gängigen Praxis bezeichnen, das Zweite dagegen nicht.

Das wäre m.E. nicht so eindeutig. Wir müssen hier zwischen der theoretischen Methode und der Sofwareimplementerung unterscheiden. Nicht selten gibt es unabsichtliche Fehler im Code oder der Code beinhaltet Berechnungsschritte, die der Autor bei verschiedenen Implementierung entfernt habe wollte, die aber in der Tat nicht entfernt worden sind. Wir  haben ein solches Beispiel vor ein paar Monaten gehabt, wobei die Autoren das Manuskript vorläufig zurückziehen mussten, nur weil eine Zeile im Code nicht entfernt worden war. Ein Code kann ziemlich kompliziert und undurchsichtig werden. Von daher ist letztendlich der Code, den man zuletzt für die Ergebnisse benutzt hat, der einzige 'Zeuge' darüber, was wirklich mit den Daten gemacht worden ist. Viele Zeitschriften verlangen schon seit langem, dass man den Code samt Ergebnissen öffentlich macht. Es war aber in der Klimaforschung im 1998 völlig unüblich. Heute ist es immer noch selten. Meiner Meinung nach sind hier zwei unterschiedliche Wissenschaftstraditionen aufeinander geprallt.


Ich weiss, dass Sie und Ihre Mitarbeiter keine Bewunderer der MBH-Kurve sind (Ich habe z.B Ihr Interview “Die Kurve ist Quatsch” gelesen), aber ich habe den Eindruck, dass Ihre Debatte zwischen MBH und Ihre Abteilung rein wissenschaftlich war (dass McIntyre/McKittrick weiterhin in den relativ bedeutungslosen statistischen Einwänden festhalten, scheint mir eher mit PolitiK oder persönlicher Kleinlichkeit begründet zu sein).


Dass Mann und McInytre keine Freunde sind, ist es offensichtlich. Nichtsdestotrotz war die Kritik von McIntyre nicht unbegründet, und andere Autoren haben ihm nachträglich recht gegeben. z.B. dass die nicht-zentrierte Hauptkomponentenanalyse, die Mann angewendet hat, eindeutig nicht korrekt ist. Nur in diesem konkreten Fall sind die Auswirkungen davon gering, wie wir in dem Paper H. von Storch and E. Zorita. Comment on "Hockey sticks, principal components and spurious significance" by S . McIntyre and R. McKitrick. Geophys. Research Letters, 32 L20701 (2005) zeigten.

9 comments:

ghost said...

Ich habe noch ein Frage:

Wie are der Stand Multi-Proxie-Rekonstruktion vor MBH98/99 und wie haben sich die Rekonstruktionen in den letzten 1,5 Jahrzehnten entwickelt? Also genauer: welchen wissenschaftlichen Impact hatte MBH98/99? Was war gut bzw. interessant oder inspirierend, was war schlecht?

eduardo said...


Aus meiner Sicht, waren MBH98/99 die ersten , die versucht haben , eine grosse Anzahl von Proxies für die Rekonstruktion zu benutzen. Frühere und einige spätere Studien hatten nur eine Hand voll von Serien miteinbezogen. Es war also eine neue Perspektive, mit Chancen und Risiken (wie fast immer). Die Chancen waren die besser räumliche Abdeckung und die theoretische Möglichkeit, durch die Benutzung von vielen Proxies, das Rauschen besser statistisch herasuzufiltern. Die Risiken waren, dass es schwieriger war, eine gute Kontrolle von der Qualität aller Proxies zu haben. Einige waren letztendlich nicht sehr gut, oder stellten eher Niederschlag statt Temperatur dar. Ein Problem bei MBH98 war sicherlich die komplizierte statistische Methode, mit vielen ad-hod Schritten.
Seit MBH99 haben sich zwei Strategien herausgestellt: Mann et al versuchen, immer noch eine grosse Anzahl von Proxies zu benutzen und dazu eine statistsiche Methode, die
man als komplex bezeichnen könnte. Andere Studien, wie z.B. Ljungqvist und Christiansen, zielen eher auf eine genauere Vorauswahl von Proxies und dabei eine einfachere statistische Methode anzuwenden. Der Nachteil dabei ist, dass man dem Vorwurf konfrontiert werden kann, man habe die Proxies mit einem bestimmten Ziel ausgewählt.

Tendenziell würde ich sagen, dass die neueren Rekonstruktionen mehr Variabilität aufweisen als der Hockey-Stick, selbst die späteren Recons von Mann et al. tun es. Es ist immer noch schwierig zu sagen, ob die rezenten Dekaden die wärmsten im Millennium gewesen sind oder nicht. Für die Frage der Zuordnung des rezenten Erwärmungstrends spielt es sowieso keine Rolle, wie unsere Leser sicherlich schon verstanden haben :-)

ghost said...

vielen Dank für die Antwort, schön mal eine unaufgeregte wissenschaftlichen Einordnung zu hören.

Ja, wenn man die neueren Arbeiten sieht, dann zeigen die alle mehr Variabilität. Kann man viele Proxies auch mit einfacheren Verfahren behandeln? Ihre Beschreibung klingt so, als ob Mann et al. zwei komplexe Schritte auf einmal taten, was vielleicht zuviel war.

Also ist das eigentliche Problem des Hockeysticks seine übermäßige "große" Darstellung im IPCC-Bericht, als die damals recht neue Arbeit als fast Konsensus dargestellt wurde. Das war wohl ein Fehler. Hm, es ist auch schwierig, einerseits will man Experten als Hauptautoren, andererseits dürfen die nicht den Versuch erliegen ihre eigene Arbeit zu sehr in den Vordergrund zu rücken. Mike Mann war ja damals ein Hauptautor des entsprechenden Abschnittes, oder? Wahrscheinlich würde er heute nicht nur seine Rekonstruktion anders machen, sondern auch den Bericht anders (mit)schreiben.

Damit wird ihre Idee bestätigt, dass nur gut diskutierte Arbeiten im IPCC-Bericht prominent aufgenommen werden sollten.

Hans von Storch said...

ghost - da sind wir uns offenbar mal einig.

Ja, ich denke, die dominante Darstellung des Hockeysticks war das Problem, und die darauf folgende "Heiligsprechung", die durch Gatekeeping verbundene Abblockung anderer, abweichender Veröffentlichungen.
Einen Versuch a la MBH 98 war es allemal wert, und das Ergebnis ist ein wesentlicher, positiver Schritt gewesen. Nur eben nicht das letzte Wort, zu dem das Ergebnis dann gemacht wurde (sozialer Konstruktionsprozess).

Dass Mike Mann dieser Anerkennung von eigener Wichtigkeit und Brillianz nicht widerstehen konnte, kann man ihm nicht übelnehmen.

Folgerung für Diskussion und IPCC: Nicht auf die neuesten Resultate beziehen, sondern auf die gut geprüften - das nimmt Zeit, aber geht einher mit wissenschaftlicher Qualität. Ergebnisse die vielfache Falsifikationsversuche überstanden haben, sind belastbarer.

Aber was wir in der Diskussion sehen, ist dass es eben doch die tabloids of science sind, die beachtet werden, obschon diese ihre Beiträge durchaus nicht nur nach wissenschaftlichen Kriterien auswählen sondern gerade auch nach öffentlichem Interesses.

Anonymous said...

Ergänzend zu Eduardos Antwort:

MBH99 war die erste Multiproxyrekonstruktion für das letzte Jahrtausend, deren Ergebnisse mit Fehlerbanden versehen war. Es gab eine frühere (Briffa und Jones, glaube ich), aber eben ohne Fehlerangaben, was die Belastbarkeit bzw. Interpretationsmöglichkeit der Ergebnisse stark einschränkt.

Andreas

ghost said...

@Prof von Storch

danke für ihre Ergänzungen. Ich habe hier sehr viel gelernt, finde den etwas anderen Ansatz der Zwiebel toll, alle Autorn bis auf einen spannend und ich stimme zu 95% mit ihnen überein. Der Rest sind bestimmt teilweise Missverständnisse und ein fundamentaler Unterschied: ich halte Organisationen wie diverse marktradikale, zigaretten und öl-finanzierte US-Think Tanks und ihre internationalen Ableger nicht für sowas wie Greenpeace, WWF und Co. oder gar, wie Dr. Grundmann meint, McIntyre für einen Helden mit einem alten Notebook, der gegen das Establishment mit den Superrechnern kämpft. Sorry, nein. Ist nicht so. Tea Party ist nicht Solidarnosc und Wissenschaftler sind nicht die da oben.

Dazu kommt: in allen ihren Diskussionen beachten sie nicht die Stimmung in den USA, letzlich kommen die krassesten Seltsamkeiten aus den USA. In einem Interview von ihnen mit Christopher Castro kommt das sehr deutlich zur Sprache, wie mies es dort ist. Oder sogar ein wirklich netter, unterhaltsamer, nicht alarmistischer Typ wie Prof. Alley bekommt miese Drohbriefe und Leute fordern seinen Rausschmiss, weil CO2 ja der Temperatur folge...

Diese Stimmung erklärt manches Verhalten viel besser als irgendwelche "Tribalism"-Theorien eines Werner Krauss. Das ist für mich der grundlegende Fehler in ihren und Prof. Stehrs gemeinsamen Arbeiten bspw. Meiner Meinung nach. Vielleicht habe ich die Arbeiten aber auch nicht gut genug gelesen und verstanden. Das kann auch sein.

Sorry: etwas offtopic, oder eben auch nicht. Auch manches Verhalten von Mike Mann entstammt sicher aus dieser Stimmung. Das ist keine Entschuldigung für extremes Verhalten in Peer-Review-Verfahren (sowas gibt es allerdings in allen Fachgebieten, sogar bei den entspannten, netten Informatikern), aber ein Teil der Erklärung. Ich fand immer, sie und Dr Zorita waren dann sowas wie der Kollateralschaden (sorry, blöde Kriegsrhetorik). Man verwechselte berechtigte, hilfreiche Kritik mit politischer Hetze, die in den USA z.T. an der Tagesordnung ist. Wie gesagt, meiner Meinung nach ist das ein Teil(!) der Erklärung, aber keine Entschuldigung.

PS: @Andreas: danke für die Ergänzung, ja, das war auch eine Begründung, warum man die Kurve 2001 in den IPCC so prominent darstellte.

Hans von Storch said...

Ghost, ich finde schon, dass das Experiment "Klimazwiebel" ergiebig ist; eine Diskussion von verschiedenen Standpunkten in den Klimafragen ist möglich und zumindest für mich immer wieder erhellend und nützlich. Das gelingt aber nur, weil es solche Menschen wie Sie gibt, die sich darauf einlassen. Dafür herzlichen Dank.

Anonymous said...

@ ghost

Noch ein kleiner Nachtrag:

Als ich das erste Mal das Paper MBH99 gelesen habe, war ich sehr überrascht, wie stark der Faktor der Unsicherheit dieser Rekonstruktion betont wurde. (Und dass MBH ihre Rekonstruktion als Indiz für die Existenz (!) einer MWP betrachteten

Dies steht diametral zu den Beschreibungen hier, wie der "hockeystick" im TAR dargestellt wurde.

Meine Vermutung ist, dass sich die Kritik daran weniger am Paper selbst entzündet hat, sondern an der Darstellung desselben im TAR.

MfG
Andreas

Christoffer Bugge Harder said...

Ich danke Ihnen selbstverständlich für die ausführlichen Antworten.

Besonders freut es mich, dass Eduardo so deutlich bestätigt, dass eventuelle Fehler in den Rekonstruktionen von Mann, von Storch & Zorita, Rutherford, Wahl, Christiansen usw. eigentlich keine Rolle für die Zuordnung des rezenten Erwärmungstrends spielen - obwohl man von den Heißen Diskussionen die oft mühsamen Diskussionen über kleine Schwankungen im 11. oder 13. Jahrhundert sicherlich diesen Eindruck bekommen sollte.