A radiológiai peer review elsődleges céljai a diagnosztikus hibák csökkentése, a radiológusok hiányos ismereteire és fejlesztendő területeikre való rámutatás, valamint a betegbiztonság növelése. A radiológus szakmai teljesítményének értékelésén felül, a peer review képes felmérni a kommunikációs készséget, az interpersonális kapcsolatokat, a csapatmunkát és a válaszkészséget.
forrás:
Charkhchi, P.; Wang, B.; Caffo, B.; Yousem, D.M. (2019).
Bias in Neuroradiology Peer Review: Impact of a “Ding” on “Dinging” Others.
American Journal of Neuroradiology, 40(1), 19–24. doi:10.3174/ajnr.a5908
A peer review a radiológus teljesítményfejlődésének, egy olyan formája, mely főleg a diagnosztikus pontosság értelmezését célozza meg. A 2007-es közbiztonsági, egészségügyi dolgozókra vonatkozó standardok (http://www.jointcommission.org/) megerősítették a peer review eljárást azáltal, hogy kifejezetten megkövetelik a célzott és folyamatos szakmai gyakorlati értékelést. Ezek a standardok értékelik az orvos tudását, készségét és viselkedését. A célzott szakmai gyakorlati értékelések magukba foglalnak egy erős becslést az orvos jogosultságairól és a jelenlegi szaktudásáról a szakmai gyakorlatban. A folyamatos szakmai gyakorlat értékelése, a jelenlegi orvos-kompetencia rutin ellenőrző eszköze, mely magában foglalja, de nem korlátozódik csupán az orvos személyek közti és kommunikációs készségeire, szakmai magatartására, gyakorlati kompetenciájának és csapatmunkában való viselkedésének becslésére. Ezen standardok betartására a legtöbb radiológiai gyakorlat használ bizonyos peer review formát a radiológusok diagnosztikus pontosságának és teljesítményének megítélésére.
A radiológiai peer review elsődleges céljai a diagnosztikus hibák csökkentése, a radiológusok hiányos ismereteire és fejlesztendő területeikre való rámutatás, valamint a betegbiztonság növelése. A radiológus szakmai teljesítményének értékelésén felül, a peer review képes felmérni a kommunikációs készséget, az interpersonális kapcsolatokat, a csapatmunkát és a válaszkészséget.
Az Amerikai Radiológustársaság (American College of Radiology) jelenleg, az egészségügyi központok orvosainak peer review-ban való részvételét ajánlja, hogy megszerezzék és fenntartsák az akkreditációjukat. Számos radiológiai közösség elkötelezett a peer review rendszer használata mellett, a kórházi követelmények, a közbiztonsági előírások vagy a szakmai társaságok ajánlásai miatt. Több eltérő típusú peer review rendszert ismerünk, beleértve a RADPEER-t, melyet az Amerikai Radiológus Társaság végez.
(https://www.acr.org/Clinical-Resources/RADPEER) Osztályunk jelenleg saját fejlesztésű peer review rendszert használ informatikai összesítő megoldással, mely lehetővé teszi az esetek 24 órán belüli vizsgálatát, ezáltal hamar elhárítja a hibákat, ahelyett hogy ez hónapokkal később valósulna meg. Az eljárás anonim, így sem az adatelemző sem a másodleletező nem tudja, kitől származik a lelet illetve a peer review. Mind a RADPEER, mind a mi belső rendszerünk pont alapú peer review rendszer.
Ahogy azt Kaewlai és Abujudeh jelezte, két kritikus területe van a sikeres peer review-nak, melyek a pozitív peer review kultúra és az elkötelezett csapat. Larson és munkatársai szerint a pont alapú rendszerek hajlamosak egymás és a vezetőség ellen fordítani a benne résztvevőket. Ezen cikkben a célunk az volt, hogy kritikusan értékeljük a kollégáik leleteit, peer review-zó radiológusok viselkedését. Az alapfelvetésünk az volt, hogy amikor egy radiológus hibát jelző értékelést kap a munkájára, nagyobb valószínűséggel fogalmaz meg eltérést megállapító véleményt („kosarat ad”) más radiológus munkájára 2-4 héten belül.
Adatforrás
Ez egy retrospektív tanulmány. A neuroradiológia tárgyköréből választottunk peer review-kat, a személyzet belső rendszeren végzett gyors kivitelezése miatt. A peer review rendszer teljesen anonim: a radiológusok nem tudták ki nézi át az ő leleteiket, valamit azt sem, kinek a leletét értékelik. A program véletlenszerűen választja ki a kollégák leleteit az elmúlt 24 órából és küldi el peer review-ra, a leletező megnevezése nélkül. A program megnyitja az eset képanyagát. A felülvizsgálatot végző radiológusnak döntenie kell, hogy egyetért a leletben foglaltakkal, avagy értelmezési, esetleg észlelési hibát állapít meg. Amennyiben hiba került megállapításra, kategorizálásra kerül, mint „klinikailag szignifi-káns” vagy „klinikailag nem szignifikáns”. Bármelyik hiba is kerül megállapításra, a peer review-t végző egy szövegdobozba írva azonosítja a hibát. A radiológus ezután lezárja a megnyitott esetet, és ha hiányosságot azonosított, az első leletező e-mailben kap értesítést arról, hogy eltérést írtak le, nézze át az esetet.
2018. január 1-től 2018. január 30.-áig gyűjtöttünk adatokat, az adott hó első naptától a 15.-ig, valamint a 16. naptól a tárgyhó utolsó napjáig tartó egységekben (értsd havonta kétszer 25 hónapon át), a létesítményünkben dolgozó mind a 13 neuroradiológusról, a tanulmány teljes ideje alatt. A rendszer adatot szolgáltat az esetek számáról, arról hány db. peer review-t készítettek a radiológusok, hány hibát jelző vélemény született, a radiológiai esetek számáról, melyeket neuroradiológus kollégák néztek át, a „klinikailag szignifikáns” eltérést megállapító esetek számáról, valamint azon esetek számáról, melyekben az elváltozást megfelelően észlelték, de az etiológia tévesen lett értelmezve, s így a tévesztés „klinikailag szignifikáns”. Tanulmányunkban, tévesztést feltáró értékelésként kezeltük az alábbiakat: 1) az észlelési hiba klinikailag szignifikáns, 2) az észlelési hiba klinikailag nem szignifikáns, 3) az értelmezési hiba klinikailag szignifikáns, 4) az értelmezési hiba klinikailag nem szignifikáns.
A radiológiai részleg dolgozóit ösztönzik a mindennapos peer review-zásra. Mindenkinek kötelezően peer review-ban másodleleteznie kell legalább a havi leletszámának 3%-át (azaz, ha 600 leletet írtak, legalább 18 kolléga által írt esetet peer review-zni kell). Ennek a teljesítése beleszámít az év végi „minőség és biztonság” bónusz kiszámításába.
Vizsgálati változók
A független változót úgy definiáltuk, mint a hibás lelet nyugtázását. Összefüggő változóként határoztunk meg, egy hibát jelző vélemény kiállítását ugyanabban a félhavi időperiódusban, amelyben a peer review-t író maga is ilyen értékelést kapott. A második összefüggést mutató változó, a hibát jelző vélemény kiállítása a következő félhavi időperiódusban az után, hogy a peer review-t író maga is egyet nem értő értékelést kapott. Például, ha valaki hibát feltáró másodvéleményt kap egy adott hónap 7. napján, vizsgáltuk ad-e ki ilyen értékelést maga is a tárgyhó 15. napjáig (első összefüggő változó), illetve a hónap második felében (második összefüggő változó). Ha az egyet nem értést, például a hónap 18. napján kapta, a hó második fele lesz az első összefüggő változó, s a következő hónap első fele a második összefüggő változó. Nem vizsgáltunk négynél több hetet, mert azt feltételeztük a reflexes válasz 2-4 hét után megszűnik.
A két éven át tartó, havi két adatgyűjtés során, 2016. január 1.-től 2017. december 31.-éig és hozzáadva az ezt követő 4 hetes követési időszakot 2018. január 31.-ig, 50 adatpontot gyűjtöttünk. Megvizsgáltuk az ellentmondásos leletek közötti összefüggést (a klinikailag szignifikáns csoportot szembe állítva a klinikailag nem szignifikánssal) és azok hatását másokra.
Adatelemzés
Random hatás Poisson regressziós modelleket használtunk, hogy vizsgáljuk a kapott ellentmondásos lelet hatásait a később kiadottra a megegyező és az azt követő félhavi időperiódusban (itt az orvos a random hatás). Emellett egy többváltozós regressziós modellt is beépítettünk az elemzésünkbe, mely a klinikailag szignifikáns és klinikailag nem szignifikáns eltérést használja kovarianciaként, hogy értékeljük az összefüggést a különböző típusú (klinikailag szignifikáns, és klinikailag nem szignifikáns) megkapott, majd kiadott ellentmondásos leletek között. Minden analízis R statisztikai és számítási számítógépes programmal készült (Verziószám: 3.4.3; www.r-project.org).
Két szenzitivitás analízist futtattunk le, belefoglalva és kizárva a kiugró értékeket. Az első analízisben kizártunk egy radiológust, akinek a legmagasabb számú kiállított ellentmondó másodvéleménye volt. Ez a radiológus átlagban 3.26 ellentmondó véleményt formált meg, míg az összes radiológus átlaga 0,75 ± 1,6 volt. Úgy gondoltuk, ez a radiológus befolyásolhatja az eredményeket, mert a vizsgált időintervallumon belül ő produkálta a legmagasabb számú ellentmondó másodleletet. A második szenzitivitás analízisben ellenőriztünk minden extrém eltérést és kizártuk azokat, akik több mint 5 ellentmondó másodleletet állítottak ki vagy kaptak a vizsgált félhavi bontásban, majd megismételtük az analízist.
Eredmények
Az összes benyújtott peer review leletek számának eloszlása minden radiológusra az 1. ábrán látható.
A két éves periódus alatt 486 egyet nem érő peer review-t készítettek, melyek közül 161-et a radiológusok egyenként abban a 2 hetes blokkban készítettek amikor értesítést kaptak, hogy a leleteikkel nem értettek egyet. A többi 325 esetben ilyen összefüggés nem állt fenn. Pozitív hatás mutatkozott (koefficiens = 0,13; 95% megbízhatósági intervallum, 0,08-0,19) aközött, hogy ugyanabban a vizsgálati időperiódusban valaki egyet nem értő véleményt kap, majd ad ki. A relatív arány 14% volt (95% CI, 8%-21%). Más szavakkal, a modell szerint, minden 5. kapott egyet nem értő vélemény után, ugyanezen vélemények száma megkétszereződik (1,93 szeresére nő). Ha valaki egyáltalán nem kap ilyen értékelést, átlagban 0,47 egyet nem értő értékelést ad ki a két hetes blokkban.
Nem volt szignifikáns összefüggés, eltérést mutató értékelés kézhez vétele és a következő 2 hetes követési blokkban megírtak száma között (koefficiens, -0.09; 95% CI,-0.19–0.02) (2. ábra és táblázat)
Ha egy többváltozós regressziós analízist végeztünk, hogy felmérjük a különböző egyet nem értő peer review-k hatását, másokat „kikosarazó” peer review-k benyújtására, akkor szignifikáns összefüggés mutatkozott a nem klinikailag szignifikáns tévedést leíró vélemény (koefficiens = 0,13; 95% CI, 0,05a 0,22) kapása és egy visszautasítás megírása között. Ellenben nem volt szignifikáns összefüggés egy klinikailag szignifikáns tévesztést leíró vélemény (koefficiens = -0.26; 95% CI, -0.04–0.55) megkapása és egy „kikosarazás” megírása között ugyanabban a vizsgált időperiódusban. Nem volt továbbá szignifikáns összefüggés egy klinikailag szignifikáns vagy nem szignifikáns eltérés megállapítása és egy „kikosarazás” megírása között a megkapás utána 2 hetes utánkövetési időszakban. (Táblázat)
Miután az elemzésből kizártuk a kiugró értéket produkáló 1 radiológust, nem volt változás az eredményekben: Az azonos időegység analízisében a koefficiens 0,13-ról 0,12-re változott (95% CI, 0,03-0,21) és továbbra is statisztikailag szignifikáns maradt; a következő időegységre vetített hatás non-szignifikáns maradt (koefficiens = -0,05; 95% CI, -0,18-0,07).
A radiológusok egyedi koefficiensét a harmadik ábra szemlélteti. Összehasonlítva 2 időegységet, nem volt szignifikáns összefüggés egy eltérést feltáró peer review megkapása és megírása között a következő időegység értékeire, egyik radiológus esetén sem. (3. ábra)
A kiugró értékek eltávolítása (több mint 5 eltérést feltáró peer review megírása vagy megkapása) az adott időegység eredményeit szignifikáns (koefficiens = 0,32; 95% CI, 0,12-0,34) és a következő blokk értékeit nem szignifikáns tartományban tartotta (koefficiens = 0,06; 95% CI, -0,08-0,19).
Értekezés
Úgy találtuk, hogy amikor egy, a kutatásunkban résztvevő radiológus tévesztést feltáró értékelést kap, az azt követő 2 hetes blokkban nagyobb valószínűséggel ad ki ő is ilyen peer review-t. A megfigyelt hatás nem volt megfigyelhető a 2 hetes utánkövetési időszakban, ezzel azonnali reakciót sejtetve, mintsem késleltetett vagy hosszabb ideig fenntartott hatást. Egy klinikailag nem szignifikáns eltérést leíró és egy másnak írt, eltérést leíró peer review visszajelzés szignifikáns pozitív korrelációt mutat egy „klinikailag szignifikáns” visszajelzéshez képest.
Legjobb tudásunk szerint ez az első olyan tanulmány, amely az orvosok reakcióit vizsgálja egy eltérést leíró peer review-ra klinikai környezetben. Adatok széles körben állnak rendelkezésre radiológiai tévesztésekről és azokról, hogyan lehet őket elkerülni. Ámbár, ezek közül egy sem vizsgálta kvalitatívan vagy kvantitatívan a radiológusok viselkedését hibát feltáró visszajelzésre.
Általánosságban negatív hozzáállás uralkodik a peer review rendszer felé a radiológusok között. Az Amerikai Radiológustársaság RADPEER programot vizsgáló felmérése szerint, a legtöbb radiológus úgy vélte, a peer review rendszer csak az akkreditációs és kórházi hitelesítési követelmények felmérésére készül. A megkérdezettek közel fele úgy hitte a gyakorlati minták nem változtak a peer review hatására. A válaszadók egyharmada elismerte, hogy nem elegendő az egyet nem értések jelentése a peer review rendszerben. Ez az alul-jelentettség kiemeli a jelenlegi peer review rendszer hiányosságait. A peer review szorongást, szégyenérzetet, megaláztatást és félelmet okozhat, ami miatt vonakodnak az egyet nem értéseket felvállalni. Ezek a tényezők olyan viselkedésmintához vezetnek, melyet a jelen tanulmányunkban bemutattunk. Ha a peer review rendszere a kollégák körében a büntetés eszközévé alakul át, akkor még az értelmetlennél is rosszabb, romboló jellegű lesz.
Másrészt az ellentmondás fogadásának pozitív hatása az ellentmondásos jelentések benyújtására talán a pozitív torzítás, mintsem a negatív reakció jele. Míg előző tanulmányok azt mutatták, hogy a radiológusok hajlamosak alul-jelenteni a tévesztéseket a peer review-k során, a mi adataink azt mutatják, hogy tévesztést leíró értékelés kapása motiválhatja a radiológust, hogy szorgalmasabban és potenciálisan azonosítsa a hibákat, melyek fölött egyébként átsiklana. Bár a mi eredményeink szerint, a résztvevők hajlamosak több ellentmondó értékelést írni a munkatársaik munkájára, amikor klinikailag nem szignifikáns és nem pedig klinikailag szignifikáns tévesztésről kapnak értékelést. Szerintünk elképzelhető, hogy az eredmény megtorlásra motiválja a bírálót nem pedig a lelkiismeretesebb munkára. Ha egy radiológus olyan peer review értékelést kap, mely klinikailag szignifikáns tévesztést tisztáz, sokkal inkább elismerően, köszönettel reagál rá, de amennyiben klinikailag nem szignifikáns („kellemetlenkedő”) bírálatot kap, inkább viszonozza ugyanezzel a kollégáját.
Ezen tanulmányhoz tartozik néhány korlátozás. Az első, hogy a peer review rendszer melyet használtunk eltér a legtöbb peer review programtól, mely múltbéli tanulmányokat használ elemzésre. Más szavakkal, a legtöbb peer review rendszer megköveteli, hogy a radiológus összehasonlító vizsgálatot elemezzen, mely hónapokkal vagy évekkel korábban készült. Ez idő alatt a diagnózis egyértelművé válhat és például az észre nem vett rák növekedése kimutatható lesz. Azáltal, hogy a peer review rendszerünket 24 órán belüli ellenőrzésre korlátoztuk, az eltéréseket hamarabb észrevesszük, de a végdiagnózis nem biztos, hogy tisztázott ezen a ponton. A második az, ha az peer review-t író radiológus belépett a Radiológiai Informatikai Rendszerbe (RIS) vagy az Elektronikus Orvosi Nyilvántartásba (Electronic Medical Record (EMR)), megsérthette az anonimitást a peer review programban, és beazonosíthatta kihez tartoztak az adott leletek. A harmadik, hogy félhavi időintervallumokat használtunk, mert a mi peer review rendszerünk eszerint gyűjt adatokat. Nem tudjuk meghatározni, hogy a radiológus azonnal, abban az órában vagy azon a napon írt e ellentmondó értékelést amikor ő maga is ilyet kapott, mert nem áll rendelkezésre adat a megírás és megtekintés időpontjairól. Ennyire részletesen nem elemeztük a peer review rendszert. Hasonlóképpen, a program lejelentő funkciója adatot tud szolgáltatni, arról hogy egy „kikosarazott” radiológus egyet nem értő értékelést írt, de annak típusáról (észlelési/ értelmezési, szignifikáns / nem szignifikáns hiba) már nem. Végül, ha az elsőleletező megkérdőjelezi a hibát, akkor az osztályvezető bírálja el a két leletet, s ez felülírhatja a „kikosarazott” orvos által írt lelet kezdeti „téves” megjelölését.
Hogyan kezelhetjük ezt a potenciális torzítást a peer review rendszerben? Írhatnánk további parancssort a programba, ami miután egy radiológus egyet nem értést kapott majd írt, a program ezt a felhasználót automatikusan „befagyasztja”, így nem írhat további peer review-t 7 napig. Ezáltal csillapítani lehetne az azonnali „zsigerből adott” válaszadást. Edukáció és folyamatos re-edukáció hasonlóképp hasznos lehet. A közölt adatok összességében mutatják az eredményt és azt, hogy az egyéni teljesítmény hogyan változik pszichológiai behatásra. Ezen túlmenően, a tanszékvezetés támogatja a peer review eredmények teljes anonim tartását még a vezetőség felé is, és azt is, hogy csak azon orvosok számára legyen elérhető akik bővíthetik a részvételi arányt a peer review rendszerben.
Következtetés
Amikor egy radiológus a döntésével egyet nem értő értékelést kapott, nagyobb hajlandóságot mutatott egyet nem értést ő is megfogalmazni ugyanabban a félhavi időperiódusban. A megfigyelt hatás nem mutatkozott az utánkövetési időszakban, mellyel arra enged következtetni, hogy ez inkább egy azonnali válasz a „kikosarazásra”, mintsem fenntartott vagy késleltetett hatás. A legnagyobb hatás azután volt észlelhető, miután „klinikailag nem szignifikáns” hibát leíró peer review-t kapott vissza a radiológus a Radiológiai Informatikai Rendszerben (RIS).
Referálta: dr. Fekete Balázs Imre
DE Kenézy Gyula Egyetemi Kórház, Központi Radiológiai Diagnosztika
