Skip to main content
 
Anja Dresenkamp & Ruth Jäger

Fragebogen zur Qualitätssicherung in der Psychotherapieausbildung (QuaSiP). Eine Methode zur Einbeziehung der AusbildungsteilnehmerInnen

30. April 2007

Eine Maßnahme der Qualitätssicherung in der DGVT ist die seit 2004 jährlich stattfindende Befragung der AusbildungsteilnehmerInnen zu ihrer Psychotherapieausbildung. Die Entwicklung des hierzu eingesetzten Fragebogens wird vorgestellt, seine Differenzierungsfähigkeit belegt und Beispiele für die Ergebnisrückmeldung vorgestellt. Im Ausblick wird auf die Möglichkeit verwiesen, den Fragebogen als Baustein im Qualitätssicherungskreislauf sowohl für die Identifizierung von Verbesserungspotential in der Ausbildung als auch für die Erfolgsbeurteilung von Qualitätssicherungsmaßnahmen einzusetzen.

Schlüsselwörter: Qualitätssicherung, Psychotherapieausbildung Zufriedenheitsbefragung, Fragebogenentwicklung QuasiP

 

Quality assurance questionnaire for psychotherapy training (QuaSiP)
One way for trainees to participate
Abstract

Since 2004 as one measure of quality assurance in the DGVT (German Association of behavior therapy) training participants of psychotherapy yearly have been asked about the training. The development of the questionnaire used is introduced, its ability to differentiate is prooved and feedback examples are introduced. In an outlook possible benefits of the questionnaire as an application for permanent quality assement and assurance are described.

Keywords: quality assurance, psychotherapy training, satisfaction survey, development of questionnaire QuasiP

Einleitung

Die Qualitätssicherungsmaßnahmen in der DGVT setzen sich aus verschiedenen Bausteinen zusammen, umfassen unterschiedliche Bereiche und methodische Zugänge (Überblick siehe Ruggaber, Kuhr, Dresenkamp & Adam, 2005).
Auf externe Qualitätssicherung, wie Zertifizierung, wurde bewusst verzichtet, das Grundprinzip aller Maßnahmen basiert auf interner Selbstkontrolle und größtmöglicher Beteiligung der angehenden PsychotherapeutInnen und PatientInnen.
Bezogen auf die Psychotherapieausbildung sind zahlreiche Qualitätskriterien entwickelt und benannt worden. (Übersicht siehe Kuhr, 2005). Die Entwicklung von Maßnahmen der Sicherung und Verbesserung dieser Kriterien erfordert unterschiedliche Herangehensweisen und Methoden, auch und gerade in Hinblick auf die verschiedenen Blickwinkel der an der Ausbildung beteiligten (vgl. Vogel, Schieweck, 2005)
Ein Baustein in der Qualitätssicherung der Psychotherapieausbildung ist die jährliche Befragung der AusbildungsteilnehmerInnen zur Zufriedenheit mit den verschiedenen Bereichen ihrer Ausbildung. Die Ergebnisse der Befragung mittels Fragebogen und offenen Fragen dienen zum einen der Überprüfung der „Kundenzufriedenheit“, zum anderen sind sie Ausgangspunkt für Diskussionen zwischen den AusbildungsleiterInnen und den TeilnehmerInnen sowie Diskussionsanreiz auf den jährlichen Kurssprechertreffen. Somit werden die Ergebnisse an verschiedenen Orten reflektiert und Verbesserungsvorschläge in den Ausbildungszentren[1] erarbeitet (vgl. auch Ruggaber & Fliegel, 2006).
Quantitative Daten ermöglichen es, die unterschiedlichen Bewertungen sowohl für die verschiedenen Ausbildungsbereiche, wie auch die verschiedenen Ausbildungszentren in Relation zu setzen, während die qualitativen Ergebnisse Hinweise auf den Inhalt der Rückmeldungen geben.

Zufriedenheit als Qualitätskriterium in der Psychotherapieausbildung

Der Fragebogen zur Qualitätssicherung in der Psychotherapieausbildung (QuaSiP, DGVT-AusbildungszentrumsleiterInnen, im Druck). fragt die AusbildungsteilnehmerInnen nach der Zufriedenheit mit verschiedenen Bereichen ihrer Ausbildung.
Ob Zufriedenheit ein geeignetes Maß ist, um die Qualität einer Maßnahme, Leistung etc. zu erfassen, ist besonders im Bereich der Patientenzufriedenheit umstritten (Übersicht bei Williams, 1994). So ergeben globale Zufriedenheitsmessungen meist bis zu 80% große Zufriedenheit (Hiller & Bleichhardt, 2004). Die Ursache liegt hierbei allerdings in der spezieller Situation von PatientInnen und der Charakteristik der Patientenrolle [2].
AusbildungsteilnehmerInnen sind jedoch eher als souveräne Kunden einer Dienstleistung (Ausbildung) anzusehen. Bruhn (1985) definiert Kundenzufriedenheit als „... die Übereinstimmung zwischen den subjektiven Erwartungen der tatsächlich erlebten Bedürfnisbefriedigung bei Produkten und Dienstleistungen durch Konsumenten ...“ (S. 119). Demnach würde eine hohe Zufriedenheit bei den AusbildungsteilnehmerInnen für die Erfüllung oder auch Übererfüllung der Erwartungen sprechen, Unzufriedenheit würde dagegen die Nichterfüllung der Erwartungen kennzeichnen. Zu beachten bleibt, dass Zufriedenheit demnach auch entsteht, wenn geringe oder kaum Erwartungen vorhanden sind und diese dann um so leichter übertroffen werden können als es bei sehr ausgeprägten Erwartungen der Fall ist. Diese Konstellation ist jedoch bei einer kostspieligen Psychotherapieausbildung eher unwahrscheinlich.

Qualitätssicherung als Prozess

Ausbildungsqualität in der Psychotherapieausbildung kann entsprechend der DIN ISO 9004 (1995) wie folgt definiert werden: Ausbildungsqualität in der Psychotherapieausbildungist die Gesamtheit der Merkmale und Eigenschaften der durch den Ausbildungsträger angebotenen Ausbildungsdienstleistungen, die sich auf die Eignung zur Erfüllung der im Psychotherapeutengesetz festgelegten Ausbildungserfordernisse bezieht. Qualität ist also keine abstrakte Entität: Um Qualität abbilden zu können, müssen Soll-Werte expliziert und Ist-Werte auf diese bezogen werden.
Als Qualitätssicherung wird generell das Bemühen um gute Qualität, sprich die Gewährleistung geringer Differenzen zwischen Ist- und Soll-Werten, bezeichnet. Auf Grund des nicht statischen Charakters sowohl der Ausbildungsbedingungen als auch der Ausbildungsanforderungen, ist Qualitätssicherung immerals Prozess zu verstehen. Der Plan-Do-Check-Act-Zirkel (Grol, Wening, Jacobs & Baker, 1993 zit. nach Vogel & Schieweck, 2005) ist eine gute Heuristik zur Beschreibung dieses Prozesses. Demnach lässt sich Qualitätssicherung als Abfolge folgender Schritte beschreiben:

  • Themenauswahl,
  • Formulierung von Qualitätsmerkmalen und deren Operationalisierung,
    Erarbeitung eines Handlungsleitlinie für die Praxis i. S. des Festlegens des Soll-Zustandes,
  • Dokumentation des tatsächlichen Vorgehens i. S. des Erhebens des Ist-Zustandes,
  • Problemanalyse und Erarbeitung von Lösungsmöglichkeiten,
  • Umsetzung geeigneter Maßnahmen in die Praxis und
    Follow-up i. S. der Überprüfung und Evaluation der Ergebnisse,
    erneute Themenauswahl,
  • erneute Formulierung von Qualitätsmerkmalen und deren Operationalisierung,
    … .

Die Entwicklung des Fragebogen zur Qualitätssicherung in der Psychotherapieausbildung (QuaSiP) erfolgte 2004 mit dem Ziel, Hinweise für Verbesserungen in der Ausbildungsorganisation zu erhalten und eine standardisierte Form der Qualitätssicherung einzuführen. Da die Ergebnisse kursweise an die Ausbildungszentren zurückgemeldet werden, sind die Ergebnisse der Anreiz im direkten Kontakt der TeilnehmerInnen mit der jeweiligen Ausbildungsleitung über Probleme wie über gut funktionierende Bereiche zu sprechen, sich gemeinsam Lösungsmöglichkeiten zu überlegen und Veränderungen zu planen. Darüber hinaus bietet die Rückmeldung die Möglichkeit, Ausbildungszentren miteinander zu vergleichen (vgl. auch Ruggaber & Fliegel, 2006). Im Sinne des Plan-Do-Check-Act-Zirkels (Grol et al., 1993 zit. nach Vogel & Schieweck, 2005) stellen demnach die Befragungsergebnisse eine Informationsquelle zur Bestimmung des Ist-Zustandes dar.

Werden Daten zum Ist-Zustand im Rahmen eines bereits länger laufenden Ausbildungsbetriebes erhoben, sind diese von doppeltem Charakter: Sie können einerseits helfen, Bereiche mit Veränderungsbedarf zu identifizieren. Diese prospektive Perspektive entspricht dem oben beschriebenen Verständnis zum Zeitpunkt der Konstruktion des Fragebogens. Andererseits enthalten sie aber auch Informationen, die ggf. den Erfolg oder Misserfolg der Qualitätssicherungs-Maßnahmen abbilden, die in der Vergangenheit realisiert wurden. Diese zweite Auswertungsperspektive eröffnet u. U. die Möglichkeit, die jeweiligen Befragungsergebnisse auch als Informationsquelle im Rahmen des Follow-up-Schrittes im Plan-Do-Check-Act-Zirkel (Grol et al., 1993 zit. nach Vogel & Schieweck, 2005) zu benutzen (Jäger, 2006a). Voraussetzung für einen solchen systematischen Follow-up-Einsatz der Befragungsdaten ist jedoch, dass die verwendeten Items neben der grundsätzlich zu fordernden Differenzierungsfähigkeit auch veränderungssensitiv sind.

Entwicklung des Fragebogens[3]

Die erste Version 2004 des QuaSiP umfasst 31 Items, die auf einer 5-stufigen Skala  „Zufriedenheit mit...“ von ++ über +, +-, - bis – – beantwortet werden können.
Die Items wurden anhand inhaltlicher Gesichtspunkte entwickelt. Aufbau und Inhalte der Ausbildung folgen den Vorgaben des Psychotherapeutengesetzes (PsychThG) und der Ausbildungs- und Prüfungsverordnungen (PsychTh-APrV, KJPsychTh-APrV).
Die entsprechend § 8 des Psychotherapeutengesetzes verfassten „Ausbildungs- und -Prüfungsverordnung für Psychologische Psychotherapeuten bzw. für Kinder und Jugendlichenpsychotherapeuten“ schreiben eine mindestens 4 200 Stunden umfassende Ausbildung fest, die aus einer theoretischen Ausbildung (§ 3), der praktischen Tätigkeit (§ 2), einer praktischen Ausbildung mit Krankenbehandlung unter Supervision (§ 4) sowie Selbsterfahrung (§ 5) besteht und mit dem Bestehen der staatlichen Prüfung (§ 8) abschließt.
Die Bereiche des Fragebogens wurden aus den o.g. Ausbildungselementen des Psychotherapeutengesetzes abgeleitet. Die Inhalte der Items beziehen sich auf die Strukturqualität (Donabedian, 1966) der Ausbildung und auf deren Bedingungsebene (Seipel, 1998). Tabelle 1 gibt eine Übersicht über die Bereiche und Inhalte mit den entsprechenden Itemnummern des Fragebogens.

Bereich

Inhalt

Item-Nr.

Ausbildungszentrum

 

1-4

Ambulanz

Organisation/Betreuung

5-6

Lehrpraxis

Organisation/Betreuung

7-8

Klinik

Betreuung bei der praktischen Tätigkeit I

9

Ausbildungsträger

Dgvt Tübingen, Fern-Uni Hagen: Organisation/Betreuung

10-11

 

Lehrgangsgruppe, Kleingruppe/Supervisionsgruppe

12-13

 

Inhalte, ReferentInnen, Didaktik, Räumlichkeiten, Technik

14-18

 

Inhalte, Leitung, Bedingungen f. vertrauensvolle Atmosphäre, Organisation, Räumlichkeiten

19-23

 

Organisation, Inhalte und Arbeitsweise, Kompetenz der/des SupervisorIn

24-26

 

Seminar- und Semesterliteratur

27

 

Start der Ausbildung

28

 

Prüfungsvorbereitung

29

 

der Ausbildung

30-31

Tabelle 1 : Bereiche und Inhalte der QuaSiP-Items

Zusätzlich werden das Ausbildungszentrum, der Lehrgang und das Ausfülldatum erfasst. Der zweite Teil des Fragebogens besteht aus vier offenen Fragen: „was besonders gut gefällt“, „was auf jeden Fall bleiben sollte“, „was hilfreich wäre“ und „was sich ändern sollte“.

In der zweiten Version von 2005 wurde die Skalierung um die Antwortmöglichkeit „trifft nicht zu“ erweitert. Zusätzlich wird nach dem Ausbildungsbeginn gefragt und danach, ob bereits mit der praktische Tätigkeit und mit der praktischen Ausbildung begonnen wurde. Außerdem wird zum Abschluss folgende Frage gestellt: „Hat sich seit der letzten Befragung etwas an der Ausbildungssituation verändert?“ Wenn diese Frage bejaht wird, ist einzuschätzen, ob diese Veränderung positiv oder negativ ist, um abschließend in einer weiteren offenen Frage die Veränderung zu beschreiben: „Was hat sich verändert?“. Dieser Fragenkomplex ermöglicht die direkte Erfassung von erlebter Veränderung.

Die dritten Version von 2006 wurde um ein globales Zufriedenheitsmaß ergänzt: „Wie zufrieden sind Sie mit der Ausbildung insgesamt?“, beantwortbar auf der gleichen 5-stufigen Skala wie die anderen Items. Außerdem wurde ein persönlicher Code eingeführt, der es ermöglichen soll, anonymisiert Ergebnisse mehrerer Jahre miteinander zu verknüpfen. Der Fragebogen zur Qualitätssicherung in der Psychotherapieausbildung (QuaSiP) in der aktuellen Fassung findet sich im Anhang.

Modus der Befragung und Rückmeldung

Die Befragung erfolgt einmal pro Jahr. In einem vereinbarten Zeitfenster werden die Fragebögen an die Kurse in den verschiedenen Ausbildungszentren ausgegeben und zur zentralen Auswertung von den KurssprecherInnen in einem vorbereiteten Rückumschlag an die unabhängige Datenstelle in der DGVT weitergeleitet. Die AusbildungsleiterInnen erhalten je Kurs eine Power-Point-gestützte Auswertung, die sie mit den einzelnen Kursen vor Ort besprechen sollen. Zusätzlich werden die Ergebnisse auf den jährlichen KurssprecherInnentreffen, auf den Ausbildungsleitertreffen[4] und vom Ausbildungsträger vor Ort in ausgewählten Ausbildungszentren mit den Kursen besprochen. In diesen Besprechungen werden auch Verbesserungsmöglichkeiten beraten.

Art der Rückmeldung/ Auswertung

Die Fragebögen werden kursweise ausgewertet, auf Bereichs- und Itemebene werden Mittelwerte gebildet. Werden Items von weniger als drei Personen beantwortet, fallen sie aus der Bewertung heraus. Seit 2005 werden auch Jahresvergleiche je Kurs und Ausbildungszentrum zurückgemeldet.
Abbildung 1 zeigt beispielhaft eine Rückmeldegrafik. Hier wird der Kurs auf Bereichsebene mit dem lokalen Ausbildungszentrum und allen Ausbildungszentren der DGVT vergleichend dargestellt. Der Informations-Zugewinn, neben dem absoluten Zufriedenheitswertes des befragten Kurses, liegt in der Vergleichsmöglichkeit, der relativen Zufriedenheit.

Abbildung 1

Die Auswertung der qualitativen Daten erfolgt rein deskriptiv: Je Kurs werden die Antworten pro offener Frage aufgelistet. Abbildung 2 zeigt beispielhaft die Rückmeldung eines Kurses auf die Frage: „Was hilfreich wäre“.

Was hilfreich wäre: (n=7)

  • bessere Erreichbarkeit der Ausbildungsleitung
  • Anleiter in der Klinik PT1, Abklärung von Unterstützung in der Klinik, PT1 bezahlen
  • besseres Management von ausbildungsrelevanten Dokumenten / Dateien / Materialien
  • Literatur vor dem Seminar
  • detaillierte Prüfungsvorbereitung
  • mehr konkrete Beispiele aus dem Therapeutenalltag, d.h. ganz konkrete Dialoge, Freitags eher anfangen und aufhören
  • noch mehr kompetente Referenten einbeziehen

Ergebnisse der Sensitivitätsanalyse

Stichprobe

Analysiert wurden die Daten der Befragung in den DGVT-Ausbildungszentren der Jahre 2004 und 2005. Zum ersten Zeitpunkt liegen die Antworten von 457 und zum zweiten Zeitpunkt von 557 AusbildungsteilnehmerInnen vor. Tabelle A1 im Anhang zeigt die Verteilung der Antwortenden auf die 12 Ausbildungszentren getrennt nach den Variablen Erhebungszeitpunkt und Ausbildungsbeginn.

Datenauswertung
Die Aussagen zur Differenzierungsfähigkeit der Items beruhen neben dem Arithmetischen Mittel auf zwei weiteren Maßen, die die Verteilung in den Daten berücksichtigen (vgl. Tabelle 2). Dabei handelt es sich um

den Prozentsatz der Unzufriedenen als relativen Anteil der Antworten mit den Labels „–“ und „– –“ und
den Prozentsatz der Nicht-Zufriedenen als relativen Anteil der Antworten mit den Labels „–“, „– –“ und „+ –“.

 

5-stufiges Zufriedenheitsrating

Label

– –

+

+

++

Arithmetische Mittel

 

 

 

 

 

% der Unzufriedenen

 

 

 

 

 

% der Nicht-Zufriedenen

 

 

 

 

 

Tabelle 2: Systematisierung der Kriteriumsmaße entsprechend der zu berücksichtigenden Antwortausprägungen

Die Beurteilung des Differenzierungspotenzials jedes Items erfolgt durch einen Vergleich. Dabei wird je Item das ABZ mit der geringsten Zufriedenheitsausprägung dem ABZ mit der höchsten Zufriedenheitsausprägung im Arithmetischen Mittel gegenübergestellt. Die Differenzen bilden einen potenziell-realistischen Veränderungsspielraum ab.
Das Differenzierungspotenzial eines Items kann somit über die Größe der Differenz definiert werden: Ein Item soll als differenzierungsfähig gelten, wenn der Unterschied zwischen den beiden Extremgruppen einem großen Effekt gemäß Cohen (1988) entspricht.[5]

Die Aussage zur Veränderungssensitivität der Items soll auf der Grundlage einer inferenzstatistischen Analyse erfolgen. Der Beurteilung der Veränderungssensitivität liegt die Annahme zu Grunde, dass zwischen 2004 und 2005 in den Ausbildungszentren Veränderungen zu verzeichnen sind. Die inferenzstatistischen Ergebnisse geben eine Antwort auf die Frage, ob die Items diese angenommenen Veränderungen abbilden können, d.h. veränderungssensitiv sind. Versuchsplanerisch stellt sich dieser Sachverhalt als zweifaktorieller Ex-post-facto-Plan dar (vgl. Abbildung 3).

 

 

Gruppe

Prä (2004)

Treatment

Post (2005)

 

 

ABZ A

YA.1

XA (?)

YA.2

 

 

:

:

:

:

Ex

 

:

:

:

:

 

 

:

:

:

:

 

 

ABZ L

YL.1

XL (?)

YL.2

AV: Ausprägungen auf Fragebogenitem

Für diesen Plan ist als inferenzstatistisches Verfahren eine zweifaktorielle Varianzanalyse indiziert. Zwar liegt inhaltlich ein Messwiederholungsfaktor vor, da jedoch die Daten der Erhebungszeitpunkte 2004 und 2005 noch nicht personenspezifisch aufeinander bezogen werden können, erfolgt die Auswertung im Sinne einer zweifaktoriellen Varianzanalyse ohne Messwiederholung. Hinsichtlich des zu erwartenden Ergebnisses ist folgende Überlegung leitend: Wenn die Items das Potenzial haben, ausbildungszentrenspezifisch Veränderungen abzubilden, müsste ein beachtenswerter Interaktionseffekt zwischen dem Faktor Ausbildungszentrum und dem Faktor, der die Erhebungszeitpunkte abbildet, vorliegen. Als beachtenswert soll ein Effekt angesehen werden, der zumindest auf dem 5-%-Niveau statistisch signifikant ist (Jäger, 2006b).

Ergebnisse

In Tabelle 3 sind für alle Items die Kriteriumsmaße markiert, die den aufgestellten Differenzierungskriterien entsprechen (jeweils große Effekte im Unterschied zwischen den Extremgruppen). Die dieser Tabelle zugrunde liegenden Daten finden sich in den Tabellen A2 und A3 im Anhang. Sie berichten für 2004 und 2005 je Item die geringste und höchste Ausprägungen auf dem Kriteriumsmaß Arithmetisches Mittel sowie die beiden dazugehörigen Prozentsätze (Prozentsatz der Unzufriedenen bzw. der Nicht-Zufriedenen).

Item

2004

 

2005

 

 

AM

%uzf

%¬zf

 

AM

%uzf

%¬zf

1

Ausbildungszentrum: Organisation/Betreuung

X

X

X

 

X

X

X

2

Ausbildungszentrum: Atmosphäre

X

X

X

 

X

X

X

3

Ausbildungszentrum: Leitung

X

X

X

 

X

X

X

4

Ausbildungszentrum: Erreichbarkeit (telef., pers.)

X

X

X

 

X

X

X

5

Ambulanz: Organisation

X

X

X

 

X

X

X

6

Ambulanz: Betreuung

X

X

X

 

X

X

X

7

Lehrpraxis: Organisation

X

 

 

 

X

 

 

8

Lehrpraxis: Betreuung

X

X

 

 

 

 

 

9

Klinik: Betreuung bei der praktischen Tätigkeit 1

X

X

 

 

X

X

 

10

DGVT Tübingen: Organisation und Betreuung

 

 

 

 

 

 

 

11

FernUni Hagen: Organisation und Betreuung

X

X

X

 

X

X

X

12

Lehrgangsgruppe (die anderen Ausbildungsteiln.Innen)

X

 

X

 

X

 

X

13

Kleingruppe/Supervisionsgruppe

X

 

X

 

 

 

 

14

Seminare: Inhalte

X

 

X

 

X

 

X

15

Seminare: ReferentInnen

X

 

X

 

X

 

X

16

Seminare: Didaktik

X

X

X

 

X

X

X

17

Seminare: Räumlichkeiten

X

X

X

 

X

X

X

18

Seminare: Technik

X

X

X

 

X

 

X

19

Selbsterfahrung: Inhalte

X

X

X

 

X

X

X

20

Selbsterfahrung: Leitung

X

X

X

 

X

X

X

21

Selbsterfahrung: Bed.f.vertrauensvolle Atmosphäre

X

 

X

 

X

X

X

22

Selbsterfahrung: Organisation

X

 

X

 

X

X

X

23

Selbsterfahrung: Räumlichkeiten

X

X

X

 

X

X

X

24

Supervision: Organisation

X

X

X

 

X

X

X

25

Supervision: Inhalte und Arbeitsweise

X

 

X

 

X

X

X

26

Supervision: Kompetenz des/der SupervisorIn

X

 

X

 

X

X

X

27

Seminar- und Semesterliteratur

 

 

 

 

X

X

X

28

Start der Ausbildung*

X

X

X

 

X

X

 

29

Vorbereitung auf die Prüfung

X

X

X

 

X

X

X

30

Image Ihrer Ausbildung in der Fachöffentlichkeit

X

X

X

 

X

X

X

31

Bekanntheit dieser Ausbildung (z.B. an der Uni)

X

X

X

 

X

X

 

Anmerkung. X = Kriterium für Differenzierungsfähigkeit zwischen den Extremen erfüllt (jeweils Effekte größer/gleich 0,8; zur Berechnung der standardisierten Mittelwertsdifferenzen wurde konservativ die jeweils größere Streuung verwendet). %uzf = prozentualer Anteil der Unzufriedenen (Antworten – – und – ). %¬zf = prozentualer Anteil der Nicht-Zufriedenen (Antworten – –, – und + –).
*Daten beziehen sich auf den Start der Ausbildung 2004 bzw. 2005.
Tabelle 3: Vorliegende Differenzierungsfähigkeit pro Item - Darstellung getrennt nach Erhebungszeitpunkten

Im Ergebnis zeigt sich eine hohe Differenzierungsfähigkeit. 87 % aller Items differenzieren zu beiden Zeitpunkten. Von diesen liegen bei 56 % der Items in allen drei Kriterien große Effekte vor, bei 26 % differenziert jeweils lediglich zu einem Zeitpunkt ein Prozentkennwert nicht. Bei den verbleibenden 18 % der Items (Item 7, 9, 12, 14 und 15) zeigen sich konsistente Differenzierungsmuster: Das Differenzierungspotenzial der Kriterien zu beiden Zeitpunkten ist identisch. Bei allen diesen Items differenziert das Arithmetische Mittel, bei den Items 12, 14 und 15 differenziert zusätzlich der Prozentsatz der Nicht-Zufriedenen, beim Item 9 zusätzlich der Prozentsatz der Unzufriedenen. Lediglich beim Item 10 zeigen sich zu keinem Zeitpunkt große Unterschiede zwischen den Ausbildungszentren. Dies ist jedoch nicht verwunderlich, da der Gegenstand der Beurteilung außerhalb der Ausbildungszentren liegt.
Fasst man die Ergebnisse zusammen, so zeigt sich, dass der Fragebogen eine differenzierende Datenerhebungsmethode ist.

Die Tabelle 4 zeigt das Ergebnis der zweifaktoriellen Varianzanalyse über das Kriteriumsmaß Arithmetisches Mittel. Auf Grund vorliegender Kohorteneffekte in den Befragungen (ein Ausbildungsjahrgang = eine Kohorte; vgl. Jäger, 2006b) wurde der Ausbildungsjahrgang konstant gehalten und lediglich die Antworten der AusbildungsteilnehmerInnen analysiert, die ihre Ausbildung 2003 begannen. Aufgeführt sind alle Items, deren Interaktion auf dem 5 %-Niveau statistisch signifikant ist. Angegeben ist jeweils der durch die Interaktion aufgeklärte Anteil in der Gesamtvarianz.

Item                                                    

Interaktion
DGVT-ABZ x Erhebungszeitpunkt

3

Ausbildungszentrum: Leitung

9,3 %

4

Ausbildungszentrum: Erreichbarkeit (telef., pers.)

6,5 %

6

Ambulanz: Betreuung

10,6 %

14

Seminare: Inhalte

7,7 %

15

Seminare: ReferentInnen

12,6 %

16

Seminare: Didaktik

7,8 %

20

Selbsterfahrung: Leitung

9,4 %

22

Selbsterfahrung: Organisation

12,9 %

24

Supervision: Organisation

9,6 %

25

Supervision: Inhalte und Arbeitsweise

9,7 %

Anmerkung. n ≥ 5. Ausbildungsbeginn: 2003. Signifikanzniveau: 5 %. DGVT-ABZ = DGVT-Ausbildungszentrum (Faktor mit max. 11 Ausprägungen, vgl. Tabelle A1). Erhebungszeitpunkt (Faktor mit den Ausprägungen 2004 und 2005).
Tabelle 4: Varianzaufklärung der statistisch signifikanten Interaktion der zweifaktoriellen Varianzanalyse mit den Faktoren DGVT-ABZ und ERhebungszeitpunkt

Bei zehn Items ist der Interaktionstherm auf dem 5 %-Niveau mit überwiegend klassifizierbarem Effekt (vgl. Cohen, 1988) statistisch signifikant. Diese Ergebnisse geben erste Hinweise auf eine vorliegende Veränderungssensitivität des Fragebogens.
Bedenkt man, dass durch die Einführung eines persönlichen Codes ab der Fragebogenversion 2006 zukünftig die Messungen von ein und derselben Person aufeinander bezogen werden können, wird es zukünftig möglich sein, den in der beurteilenden Person liegenden Varianzanteil zu isolieren. Dies erhöht die Wahrscheinlichkeit, ausbildungszentrenspezifische Veränderungen auch inferenzstatistisch abbilden zu können.

Ausblick

Mit dem Fragebogen in der Version von 2006 liegt ein ausgereifter Baustein für die Qualitätssicherung innerhalb der Verhaltenstherapieausbildung vor.
Die von den AusbildungsteilnehmerInnen einmal jährlich erhobenen Daten werden zum einen in Weiterführung des bisherigen Qualitätssicherungskonzeptes die Identifizierung von Verbesserungsbedarf innerhalb der Ausbildungszentren erfolgreich unterstützen. Zum andern werden sie für das Ausbildungsjahr 2006/2007 in ausgewählten Ausbildungszentren erstmals auch zur Evaluation umgesetzter Qualitätssicherungsmaßnahmen im Sinne des Follow-up-Schrittes gemäß der Plan-Do-Check-Act-Zirkels (Grol, et al., 1993 zit. nach Vogel & Schieweck, 2005) verwendet werden.

Literatur

Bortz, J. & Döring, N. (2006). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Berlin: Springer-Verlag.
Bruhn, M. (1985). Marketing und Konsumentenzufriedenheit. Das Wirtschaftsstudium, 6, 118-125.
Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences. Hilldale: Lawrence Erlbaum Associates.
DGVT-AusbildungszentrumsleiterInnen (im Druck). QuaSip - Qualitätssicherung in der Psychotherapieausbildung. Ein Fragebogen zur Zufriedenheitsmessung bei TeilnehmerInnen von Psychotherapieausbildungen. Tübingen: dgvt-Verlag.
DIN ISO 9004 (1995). Qualitätsmanagement und Elemente eines Qualitätssicherungssystems. Leitfaden für Dienstleistungen. Berlin: Beuth.
Donabedian, A. (1966). Evaluating the quality of medical care. Milbank Memorial Funds Quarterly, 44, 166-203.
Grol, R., Wening, M, Jacobs, A. & Baker, R. (1993). Quality assurance in general practice. The state of the art in Europe. Utrecht: Dutch College of General Practitioners.
Hiller, W. & Bleichhardt, G. (2004). Qualitätssicherung in einer psychotherapeutischen Hochschulambulanz. Verhaltenstherapie und Verhaltensmedizin, 25 (3), 315-345.
Jäger, R. (2006a). Qualität in Sicht?! – Evaluation von QS-Maßnahmen in der Verhaltentherapieausbildung. Vortrag auf dem 16. Kongress für Klinische Psychologie, Psychotherapie & Beratung. Berlin: DGVT.
Jäger, R. (2006b). Der Zufriedenheitsfragebogen – Differenzierungsfähigkeit und Veränderungssensitivität. Eine Analyse der Befragungsdaten 2004 und 2005. Unveröffentlichter Forschungsbericht, DGVT.
Kuhr, A. (2005). Strukturqualität in der Verhaltenstherapie-Ausbildung und ihre Sicherung. In A.-R. Laireiter & U. Willutzki (Hrsg.), Ausbildung in Verhaltenstherapie. Göttingen: Hogrefe.Ruggaber, G. (2006). Jahresbericht 2006 der DGVT Ausbildungsleitung. Unveröffentlicht, DGVT.
Ruggaber, G. & Fliegel, S. (2006). Was macht AusbildungsteilnehmerInnen zufrieden? Verhaltenstherapie und psychosoziale Praxis, 38 (3), 741-745.
Ruggaber, G., Kuhr, A., Dresenkamp, A. & Adam, R. (2005). Qualität in der Psychotherapieausbildung. Verhaltenstherapie und psychosoziale Praxis, 37 (2), 327-337.
Seipel, K.H. (1998). Qualitätssicherung in der ambulanten Praxis: Ein Modell und seine kritische Evaluation. In Laireiter, A.-R. & Vogel, H. (Hrsg.), Qualitätssicherung in der Psychotherapie und der psychosozialen Versorgung: Ein Werkstattbuch. (S. 103-133). Tübingen. DGVT Verlag.
Vogel, H. & Schieweck, R. (2005). Qualität in der Psychotherapieausbildung. In A.-R. Laireiter & U. Willutzki (Hrsg.), Ausbildung in Verhaltenstherapie (S. 353-361). Göttingen: Hogrefe.
Williams, B. (1994). Patient satisfaction: A valid concept? Social Science & Medicine, 38 (4), 509-516.

Anhang

Tabelle A1    Stichprobenumfang differenziert nach Erhebungszeitpunkt, Ausbildungsbeginn und Ausbildungszentrum

 

Erhebungszeitpunkt 2004

Erhebungszeitpunkt 2005

 

Ausbildungsbeginn

 

Ausbildungsbeginn

 

ABZ

2000

2001

2002

2003

2004

k.A.

N

2001

2002

2003

2004

2005

k.A.

N

A

 

12

 

9

 

 

21

8

11

8

10

24

 

61

B

 

12

17

34

 

8

63

 

1

26

14

14

 

55

C

 

12

 

16

 

 

28

 

 

11

14

 

 

25

D

 

 

 

14

 

 

14

 

 

13

11

14

 

38

E

 

12

 

13

 

 

25

 

 

12

16

 

 

28

F

 

 

12

 

 

 

12

 

 

 

17

 

 

17

G

 

13

11

13

 

 

37

 

19

15

 

 

 

34

H

 

 

8

10

 

 

18

 

 

10

16

9

 

35

I

1

38

26

20

19

 

104

9

22

6

29

29

 

95

J

1

1

21

14

25

1

63

 

 

17

29

35

 

81

K

 

 

 

20

11

 

31

 

 

30

9

14

 

53

L

 

 

19

14

 

 

33

 

6

14

15

 

 

35

Summe

2

100

114

177

55

9

457

17

40

166

180

154

 

557

Anmerkung. k.A. = keine Angaben.


Zu den Autorinnen

Dr. rer. nat. Ruth Jäger, Diplom-Psychologin mit Schwerpunkt Forschungsmethoden, Statistik und Evaluation. Trägerin des Georg Sieber Preises 2000. Selbstständig mit DatenJäger - Datenerhebung, -auswertung und -interpretation nach wissenschaftlichen Methoden. Seit 03/2005 Stipendiatin der DGVT zum Thema Qualitätssicherung in der Psychotherapieausbildung.

Anja Dresenkamp, Diplom-Psychologin; Forschungsarbeiten in der Arbeits- und Organisationspsychologie, speziell zu Partizipation in Innovationsprozessen und Evaluation. Seit 2004 Mitarbeiterin der Gesellschaft für Verhaltenstherapie Hannover/Hildesheim im Bereich Qualitätssicherung. Dozentin in der Ausbildung zum Thema Figurationsanalyse und Qualitätssicherung. Promoviert an der Freien Universität Berlin zum Thema Qualität in der Psychotherapie aus Patientensicht.

Korrespondenzadressen
DatenJäger
Dr. Ruth Jäger
Hochstraße 9
38102 Braunschweig
kontakt@daten-jaeger.de

Anja Dresenkamp
Ausbildungszentrum für Verhaltenstherapie Hannover/ Hildesheim
Große Seite 14
31174 Dinklar
dresenkamp@web.de


[1] Momentan sind 14 Ausbildungszentren (18 Ausbildungsgänge: 10 PP, 8 KJP) bundesweit unter DGVT Trägerschaft vereint, 3 weitere sind kooperativ angeschlossen. Insgesamt stehen 53 Lehrgänge in Ausbildung (Ruggaber, 2006).

[2] Als Ursache für hohe Zufriedenheitswerte sind zu nennen: Dankbarkeitseffekte (Z.B. nach angstbesetzten Operationen), Entschuldigungstendenzen (der Arzt hatte zwar nur 2 Minuten für ein Gespräch vor der OP, aber er kann nichts dafür) und Erleichterung, Befreiung von der Ungewissheit.

[3] Die erste Version des Fragebogens 2004 wurde von Steffen Fliegel entwickelt, nachfolgende Versionen 2005 und 2006 wurden von Anja Dresenkamp und Günter Ruggaber modifiziert.

[4] In der DGVT ist der Vergleich zwischen den Ausbildungszentren anonym. Es steht den LeiterInnen der Ausbildungszentren frei, bei gemeinsamen Besprechungen die Anonymität zu verlassen und andere Ausbildungszentren von den eigenen Erfahrungen profitieren zu lassen.

[5] Ein großer Effekt liegt vor, wenn die an der Streuung standardisierte Mittelwertsdifferenz bzw. die Differenz der Phi- transformierten Prozentwerte größer/gleich 0,8 ist (Bortz & Döring, 2006).