{"id":2136,"date":"2019-12-01T19:25:06","date_gmt":"2019-12-01T18:25:06","guid":{"rendered":"http:\/\/www.jutze.com\/?p=2136"},"modified":"2020-01-08T07:38:07","modified_gmt":"2020-01-08T06:38:07","slug":"metaanalyse-zur-pradiktiven-validitat-von-studierfahigkeitstests","status":"publish","type":"post","link":"https:\/\/www.jutze.com\/?p=2136","title":{"rendered":"Metaanalyse zur pr\u00e4diktiven Validit\u00e4t von Studierf\u00e4higkeitstests"},"content":{"rendered":"\n

Diese Woche erschien “Leisten fachspezifische Studierf\u00e4higkeitstests im deutschsprachigen Raum eine valide Studienerfolgsprognose? Ein metaanalytisches Update<\/a>” (Post-Print bei ResearchGate<\/a>). Als Erstautor bin ich dar\u00fcber nat\u00fcrlich in erster Linie erfreut. Die Arbeit ist praktisch die Fortschreibung (bis 2018), Best\u00e4tigung (der pr\u00e4diktiven Validit\u00e4t) und Erweiterung (mehr Fachrichtungen, inkrementelle Validit\u00e4t bzgl. Abinoten) der Metaanalyse von Hell, Trapmann und Schuler (2007)<\/a>. Ich m\u00f6chte an dieser Stelle kurz ein paar zus\u00e4tzliche Gedanken festhalten, die insbesondere die Entscheidungen betrifft, die man beim Schreiben eines Artikels unweigerlich treffen muss.<\/p>\n\n\n\n

Die neue Metaanalyse orientiert sich stark an der alten, ist aber keine sklavische Wiederholung. So wurde anno 2019 als Software R verwendet. Das ist bei Validit\u00e4tsmetaanalysen nicht unbedingt geradlinig. Urspr\u00fcnglich hatte ich vor, das Paket psychmeta<\/a> zu verwenden. F\u00fcr die anschlie\u00dfenden Moderatoranalysen sowie f\u00fcr den Fokus auf Fixed-Effects-Modelle war am Ende aber metafor<\/a> das Paket der Wahl, das die Analyse “im Stil” der Methode von Hunter und Schmidt<\/a> vornimmt.<\/p>\n\n\n\n

Es gab die \u00dcberlegung, die Studien der Hell-Metaanalyse auch in die Analyse mit einzubeziehen. Dann w\u00e4re die neue Arbeit aber nicht so eigenst\u00e4ndig ausgefallen. Vielleicht nimmt sich in Zukunft ja jemand der Aufgabe an, alle Studien (seit 1980?) zusammenzufassen. Wir haben nicht zuletzt daf\u00fcr die Datenmatrix unserer Analysen online gestellt<\/a>, um m\u00f6glichst transparent und replikabel (?) zu sein.<\/p>\n\n\n\n

Die Betrachtung der inkrementellen Validit\u00e4t von Studierf\u00e4higkeitstests \u00fcber die Abinote hinaus war mir wichtig, weil das Thema in der Praxis sehr pr\u00e4sent ist. Die Vermutung von Hell, Trapmann und Schuler (2008)<\/a>, dass es ein Inkrement im hohen einstelligen Prozentpunktbereich gibt, konnte numerisch best\u00e4tigt werden. An der Herausforderung der inferenzstatistischen Pr\u00fcfung bin ich allerdings gescheitert. Deshalb f\u00e4llt der Inkrement-Punkt im Artikel eher knapp aus. Ich bin auch skeptisch, dass es eine Spezialform des Wald-Tests gibt, die den Test mit den sp\u00e4rlich vorhandenen Daten rechnen k\u00f6nnte. Vielversprechender w\u00e4re eine Metaregression, f\u00fcr die aber in den Prim\u00e4rstudien die vollst\u00e4ndigen Korrelationsmatrizen (mit Abinoten, Testleistungen und Studiennoten) berichtet werden m\u00fcssen – was bislang nur in selten passiert ist. Dies ist also Zukunftsmusik.<\/p>\n\n\n\n

Fazit: Ungeachtet dieser Punkte sehe ich die Arbeit positiv und die Ergebnisse als belastbar an. So freue ich mich auch auf die gro\u00dfe, positive Resonanz auf unsere Metaanalyse, die es j\u00fcngst bei der DPPD-Fachgruppentagung<\/a> sowie bei der BMBF-Fachtagung zu Eingangstests<\/a> gab. Mal sehen, wer 2031 die n\u00e4chste Metaanalyse zum Thema macht!<\/p>\n","protected":false},"excerpt":{"rendered":"

Diese Woche erschien “Leisten fachspezifische Studierf\u00e4higkeitstests im deutschsprachigen Raum eine valide Studienerfolgsprognose? Ein metaanalytisches Update” (Post-Print bei ResearchGate). Als Erstautor bin ich dar\u00fcber nat\u00fcrlich in erster Linie erfreut. Die Arbeit ist praktisch die Fortschreibung (bis 2018), Best\u00e4tigung (der pr\u00e4diktiven Validit\u00e4t) und Erweiterung (mehr Fachrichtungen, inkrementelle Validit\u00e4t bzgl. Abinoten) der Metaanalyse von Hell, Trapmann und Schuler […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[16],"tags":[799,796,797,798],"class_list":["post-2136","post","type-post","status-publish","format-standard","hentry","category-data-analysis","tag-forschung","tag-metaanalyse","tag-studierfahigkeitstest","tag-validitat"],"_links":{"self":[{"href":"https:\/\/www.jutze.com\/index.php?rest_route=\/wp\/v2\/posts\/2136","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.jutze.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.jutze.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.jutze.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.jutze.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=2136"}],"version-history":[{"count":11,"href":"https:\/\/www.jutze.com\/index.php?rest_route=\/wp\/v2\/posts\/2136\/revisions"}],"predecessor-version":[{"id":2149,"href":"https:\/\/www.jutze.com\/index.php?rest_route=\/wp\/v2\/posts\/2136\/revisions\/2149"}],"wp:attachment":[{"href":"https:\/\/www.jutze.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=2136"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.jutze.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=2136"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.jutze.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=2136"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}