Stellungnahme zum Gutachten zur Beurteilung von INSIGHTS MDI
Stellungnahme des Instituts für Psychologie der RWTH zum Gutachten (respektive dem vorliegenden Auszug) von Prof. Claudia Eckstaller, Prof. Dr. Erika Spieß und Dipl. Psych. R. M. Woschée zur Beurteilung von INSIGHTS MDI Version 2 Potential Analyse.
Grundlage der Stellungnahme ist das genannte Gutachten S. 1 bis S. 39.
Dokumentation der Stellungnahme im Auftrag des BDP
In dem oben genannten Gutachten wird auf Seite 17 ausgeführt: "Eine endgültige Entscheidung, ob INSIGHTS MDI den Richtlinien der DIN 33430 entspricht, kann eigentlich nicht getroffen werden. Dazu fehlen insbesondere ein den Standards entsprechendes Testmanual."
Hierzu ist zunächst auszuführen, dass kein Verfahren an sich den Richtlinien der DIN 33430 entspricht, da sich die DIN 33430 zur berufsbezogenen Eignungsbeurteilung auf den Prozess der Eignungsbeurteilung und auf die Qualifikation der an der Beurteilung beteiligen Personen bezieht und nicht auf einzelne Test-Produkte. Auf Seite 4 der Norm steht: "Der Wert eines Verfahrens zur Eignungsbeurteilung kann nur im Rahmen seiner spezifischen Anwendung beurteilt werden. Daher ist die Norm nicht zur isolierten Bewertung der Qualität eines Verfahren geeignet." (DIN 33430, S. 4)
Für den gesamten Prozess der Eignungsbeurteilung, der der DIN 33430 entspricht, ist es allerdings notwendig Verfahren einzusetzen, für die qualifizierte Verfahrenshinweise vorliegen. Damit sind Durchführungshinweise und Informationen zum theoretischen Hintergrund sowie Einsatzbedingungen gemeint. Die DIN 33430 führt hierzu auf Seite 6 aus:
"Zu jedem Verfahren der Eignungsbeurteilung ist darzulegen, wie es zu handhaben ist. Die Verfahrenshinweise müssen den Anwender in die Lage versetzen, das Verfahren kritisch zu bewerten und ordnungsgemäß anzuwenden. Insbesondere müssen die Vorschriften für eine objektive Durchführung, Auswertung und für die Interpretation eindeutig erläutert werden.
In den Verfahrenshinweisen für standardisierte Verfahren zur Eignungsbeurteilung müssen:
- die Zielsetzungen und Anwendungsbereiche benannt werden;
- relevante empirische Untersuchungen nachvollziehbar beschrieben werden;
- Konstruktionsschritte in angemessener, ausführlicher und verständlicher Weise dargestellt werden;
- alle Gütekriterien und eingesetzten Analysemethoden nachvollziehbar dokumentiert werden."
Die DIN 33430 spezifiziert die Anforderungen an Verfahrenshinweise in einem eigenständigen, vier Seiten umfassenden normativen Anhang.
Wie in dem Gutachten auf S. 17 ausgeführt wird, fehlen bei INSIGHTS MDI die entsprechenden Verfahrenshinweise (im Gutachten als "Testmanual" bezeichnet). Daraus folgt, dass ein Prozess der Eignungsbeurteilung, bei dem auf INSIGHTS MDI zurückgegriffen wird, von vorneherein überhaupt nicht den Anforderungen der DIN 33430 genügen kann.
Die Gutachter beklagen auf Seite 35, dass vornehmlich kommerziell entwickelte Persönlichkeitstestangebote kaum einem Einblick zugänglich sind. Als Konsequenz "kann das Argument zweifelhafter Testgüte", so führen die Gutachter weiter aus, "niemals >offiziell< ausgeräumt werden". In der Tat sind die Testgütemerkmale von INSIGHTS MDI auf Grund der unzureichenden Verfahrenshinweise unbekannt und deshalb nicht beurteilbar. Dass dies nicht so sein muss, zeigen kommerziell orientierte Testverfahren, für die anspruchsvolle Verfahrenshinweise vorliegen.
In der Gesamtbeurteilung des INSIGHTS MDI (S. 36) heben die Gutachter z. B. die ökonomische Anwendbarkeit, die Internationalisierung, die Praxiserprobung und die Augenscheinvalidität des Verfahrens positiv hervor. Ob und in welchem Ausmaß INSIGHTS MDI hinsichtlich dieser Kriterien positiv abschneidet, kann auf Grund der unzureichenden Verfahrenshinweise eigentlich nicht beurteilt werden. Festzuhalten bleibt, dass in der Gesamtbeurteilung des Gutachtens (S. 36) zu INSIGHTS MDI die in der DIN 33430 im Kapitel 4 genannten Qualitätskriterien und -standards (z. B. Verfahrenshinweise, Objektivität, Zuverlässigkeit, Gültigkeit, Normwerte und Referenzkennwerte, Dokumentation) keine Würdigung durch die Gutachter erfahren.
Im Folgenden soll zu einigen Aspekten des "Gutachtens" Stellung bezogen werden.
Bereits der erste Satz des Gutachtens (S. 4) ist nicht nachvollziehbar: "Im Juli 2004 beauftragte die Scheelen AG, vertreten durch Herrn Frank Scheelen, Frau Prof. Dr. Claudia Eckstaller, Frau Prof. Dr. Erika Spieß und Herrn Dipl. Psych. Dipl. Soz. Ralph M. Woschée mit der Erstellung eines Gutachtens zur Beurteilung der Ergebnisübertragbarkeit der von der Scheelen AG im Frühjahr 2002 bei Prof. (em.) Dr. Peter T. Klassen, College of DuPage, in Auftrag gegebenen Überarbeitung des DISC Instruments der Potential Analyse."
Der Begriff Übertragbarkeit setzt aber voraus, das etwas vom Einen zum Anderen übertragen wird. Es wird nicht ausgeführt, was hier auf welche Art übertragen wurde. Vermutet werden kann, dass es sich um die "Übertragung" einer englischsprachigen (?) Testversion in den deutschen Sprach- und Kulturraum handelt. Der im nächsten Satz des Gutachtens benutzte Begriff der "kulturspezifischen Stichprobengüte" legt dies mglw. nahe, allerdings ist dies kein etablierter Fachbegriff, geschweige denn nachvollziehbar, was die "Güte einer kultuspezifischen Stichprobe" ausmacht. Es bleibt völlig unklar, was damit gemeint ist. Für die Adaptation eines bereits vorhandenen monolingualen bzw. monokulturellen Tests an andere Sprach- und Kulturräume liegen jedoch einschlägige Hinweise in den Guidelines for Test Translation and Adaptation (siehe Hambleton, 2001) vor. Diese werden im Gutachten weder erwähnt, noch wird ausgeführt, welche Prüfungen zur Übertragbarkeit mit welchem Ergebnis vorgenommen wurden.
Auf Seite 8 des Gutachtens wird gesagt, dass INSIGHTS MDI aus mehreren Einzelverfahren besteht, und es werden zehn Bezeichnungen wiedergegeben. Es bleibt unklar, welches dieser Einzelverfahren Gegenstand des Gutachtens ist. Auf dem Deckblatt des Gutachtens steht, dass sich das Gutachten auf die "Version 2 Potential Analyse" bezieht. Die Charakterisierung auf Seite 8 geht aber auf mehrere (teilweise andere?) Verfahren ein. Weiter werden auf Seite 11 ff. Studien zitiert, die sich offensichtlich auf ältere Versionen von INSIGHTS MDI beziehen und somit nicht auf die Version 2. - Insgesamt wird nicht deutlich, welches Verfahren überhaupt Gegenstand des Gutachtens ist.
An theoretischen Grundlagen werden auf Seite 9 des Gutachtens das "Vier-dimensionale DISC Modell" nach Marston (1928) sowie das "Präferenzmodell von C. G. Jung" genannt, das schon von Prof. Dr. Jäger (2004, S. 22) kritisiert wurde, da gerade die Typenlehre nach C. G. Jung in Fachkreisen als "antiquiertes Modell ohne empirische Belege" gilt. Der Ansatz von Marston wird von Jäger (ebd.) als "typologischer Ansatz ohne empirische Forschung" bezeichnet. Weiter beklagt er, dass für ihn keine fundierte theoretische Grundlage des Verfahrens INSIGHTS MDI auszumachen ist. Da sich die theoretische Grundlage nach Aussage des Gutachtens (S. 9) offensichtlich nicht geändert hat, besteht diese Kritik unvermindert fort.
Auf Seite 10 des Gutachtens werden einige wenige Angaben zum Verfahren gemacht. Soweit ersichtlich, werden die Verhaltenssstile auf die gleiche Art und Weise ermittelt, wie das auch bei den bisherigen INSIGHTS MDI Verfahren geschieht. Hierzu schreibt Jäger (2004, S. 22): "Die Basis der Stilermittlung ist nicht nachvollziehbar und inhaltlich nicht zu begründen. Eine Unterscheidung in >natürliche< und >adaptierte< Stile, indem die Antworten von Testteilnehmern >uminterpretiert< werden, ist weder wissenschaftlich noch ethisch verantwortbar. Die blumigen Formulierungen täuschen über Inhaltsleere hinweg."
Zu bemerken ist, dass das Gutachten sich hinsichtlich der Gütekriterien von INSIGHTS MDI (S. 11) teilweise auf Quellen stützt, die schon im Jahre 2001 publiziert wurden. Dabei handelt es sich offensichtlich um Validierungsstudien zu einer früheren Version von INSIGHTS MDI, denn die Version 2 von INSIGHTS MDI wird laut Website von INSIGHTS International erst seit Ende 2003 eingesetzt. Ob und in wie weit diese Studien auf die aktuelle Version übertragen werden können, bleibt unklar.
Das Gutachten – soweit vorliegend – lässt nicht erkennen, dass sich an einer älteren Bewertung von INSIGTHS MDI durch Prof. Dr. Stoll, Zürich, etwas geändert haben könnte: "Unbrauchbares Instrument, dessen schwache theoretische Fundierung durch eine fehlerhafte Operationalisierung verschlimmert wurde und keine partielle Verbesserung zulässt.” (zitiert nach Jäger, 2004, S. 22).
Auch die Bewertung von Prof. Jäger zu INSIGTHS MDI wird durch das Gutachten allem Anschein nach nicht im Geringsten eingeschränkt. Jäger (2004, S. 22) schreibt: "Abschließende Bewertung: Zu dem Verfahren liegen keine Qualitätsbelege vor. Es basiert auf theoretisch veralteten und wissenschaftlich ungesicherten Modellen. Die Dokumentation des Tests im Manual ist unvollständig und nur schwer nachvollziehbar. Das Verfahren erfüllt aus meiner Sicht die Anforderungen der DIN 33430 nicht. Von seinem Einsatz bei Personalauswahl und -entwicklung, Coaching und Training muss daher abgeraten werden."
Literatur:
DIN (2002). DIN 33430: Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen. Berlin: Beuth.
Jäger, R. S. (2004). Test im Test. Insights MDI – Wissenschaftlich betrachtet. PersonalMagazin, 1, 22.
Hambleton, R. K. (2001). The Next Generation of the ITC Test Translation and Adaptation Guidelines. European Journal of Psychological Assessment, 17, 164-172.
Univ.Prof. Dr. Lutz F. Hornke, Obmann der DIN-Kommission
Dr. Martin Kersting, Mitglied der DIN-Kommission
