Blank Cover Image

Inter-Evaluator Consistency in Evaluation of Midwifery Studentsʼ Records in Clinical Practice for Antenatal Health Check-ups ‒ Effectiveness of a Developed Rubric ‒

フォーマット:
論文
責任表示:
山田, 貴代 ; 高木, 静 ; 東野, 定律 ; 島田, 啓子 ; 杉本, 公一
言語:
英語
出版情報:
Wellness and Health Care Society — ウェルネス・ヘルスケア学会, 2017-08-08
著者名:
掲載情報:
Journal of wellness and health care = Journal of wellness and health care
ISSN:
2433-3190  CiNii Research  Webcat Plus  JAIRO
巻:
41
通号:
1
開始ページ:
71
終了ページ:
85
バージョン:
publisher
概要:
Background The main concern of clinical practice in Japanese midwifery education is assisting in deliveries. The national guidelines for midwifery schools explicitly require delivery assistance, but with regard to antenatal care, the nation al guidelines require students to handle ongoing care from the second trimester through postnatal confinement in at least one case. Therefore, it has been left to the discretion of each midwifery school whether clinical practice includes antenatal health check-ups, and relatively little attention has been given to instruction or standards for evaluating midwifery studentsʼ records. Therefore, there is a need to develop reliable, objective evaluation methodology for evaluating antenatal health check-ups conducted by students in clinical practice.Objectives This study was performed to raise objectivity in the evaluation of midwifery studentsʼ records in antenatal health check-ups in clinical practice by (1) measuring disparities in agreement among evaluators and (2) developing a rubric for designing evaluation sheets to minimize disparities between multiple evaluators due to individual views.Methods1)Research term  January ‒ August, 20162)Subjects Six midwifery evaluators that had been in charge of clinical practice in performing antenatal health check-ups, including three from the 2-year midwifery program of University A and three from a graduate program at University B.3)Instruments used for evaluation  (1) Evaluation tool developed based on the pregnancy care checklist in the “Nurse Midwife Training Guide” published by the Japanese Nursing Association; (2) a rubric we developed for evaluation of midwifery studentsʼ records from clinical practice in conducting antenatal health check-ups.4)Student records used in the study We examined records from antenatal health check-ups in 10 cases conducted by midwifery students who had completed clinical practice sessions of 2-year midwifery school.5)Analysis method Two assessment instruments were applied in each case of antenatal health check-ups by midwifery students. The six evaluators consisted three from A University and three from B University. Fleissʼ kappa was used to compare the disparities in results between the two groups of evaluators.Results Agreement of evaluatorsʼ student evaluations with the sheet based on Japanese Nursing Association pregnancy care checklist: There was “poor agreement” in three cases (30%) in the University A group and in seven cases (70%) in the University B group. There were no cases of relatively high “moderate” agreement. There was “poor agreement” for 12 evaluation items in the University A group (75%) and for nine items in the University B group (56.3%). There was “slight agreement” for two items in the University A group (12.5%) and five in the University B group (31.3%). Agreement of evaluatorsʼ student evaluations with the sheet based on our rubric: “Poor agreement” was observed in one case in the University A group (10%) and four cases in the University B group (40%). Agreement was “slight” in five cases (50%) in the University A group and four cases (40%) in the University B group. “Moderate” agreement was observed for three cases (30%) in the University A group. There was “poor agreement” for two evaluation items in the University A group (25%) and four in the University B group (50%). Agreement level was “slight” for five items in the University A group (62.5%) and three items (37.2%) in the University B group.Conclusion To assess evaluatorsʼ objectivity in evaluating midwifery studentsʼ records of antenatal health check-ups in clinical practice, this study examined levels of disparities among evaluations given by evaluators from two midwifery schools. Evaluators from University A showed a 30% rate of “poor agreement” in their evaluations of the same student records, while the rate was 70% for evaluators at University B. Disparity levels were reduced to 10% and 40%, respectively, when evaluation standards based on our rubric were used. These results suggest that introduction of the rubric as an instrument for evaluation of antenatal health check-ups could be an effective means of improving consistency among evaluators with regard to evaluation of student performance.<br />背景 日本の助産師教育において、実習の中心は分娩介助である。助産師養成所指定規則では分娩介助について明記されているが、妊婦ケアについては妊娠中期から産褥まで継続して一例以上受け持つとされているのみで、そのため、妊婦健康診査の実習は各養成校に柔軟に任されてきた。ゆえに妊婦健康診査の実習は遅れて始まり、その評価方法も基準の検討も十分でなかった。そこで、妊婦健康診査の実習評価について客観的に信頼性の高い評価方法を考案する必要があった。目的 本研究は、妊婦健康診査実習の実習記録に対する評価の客観性を高めるため、複数の評価者間の評価の一致度から評価者による評価の差異を明らかにし、さらにルーブリックの作成により、評価者間の評価の差異が少ない評価表の作成を目的とした。研究方法1)研究期間 平成 28 年1月~8月2)研究対象 2年課程の助産師養成校、A 大学看護学研究科で妊婦健康診査実習の指導経験がある教員3名と、B 大学の看護学研究科博士前期課程で妊婦健康診査実習の指導経験がある教員3名3)評価用具 (1)日本看護協会「新卒助産師研修ガイド」の妊婦ケアのチェックリストから作成した評価表と、(2)妊婦健康診査実習の実習記録の評価のために開発したルーブリック 4)評価対象 2年課程の助産師養成校で妊婦健康診査実習を終えた助産師学生の妊婦 10 事例についての妊婦健康診査の実習記録5)分析方法 2つの評価用具を用いて、A 大学教員3名と B 大学教員3名が助産師学生の妊婦健康診査実習の実習記録の評価を事例ごとに行い、各大学教員3名の評価の結果について、項目別、実習記録別にフライスのκ係数を用いて各大学での教員間の差異を比較した。結果 評価用具「新卒助産師研修ガイド」の妊婦ケアのチェックリストから作成した評価表を用いた評価結果の三人の評価者間の実習記録に対する一致度は、A 大学教員群で「ほとんど一致しない」は3事例(30%)であり、B 大学教員群では7事例(70%)であった。「わずかな一致」は A 大学教員群では7事例(70%)であり、B 大学教員群では2事例(20%)で、より一致度の高い「中等度の一致」は認められなかった。評価項目については、A 大学教員群で「ほとんど一致しない」は 12 項目(92.3%)で、B 大学では9項目(56.3%)であった。「わずかな一致」を示したのは A 大学教員群では2項目(12.5%)、B 大学教員群では5項目(31.3%)であった。 一方、開発したルーブリックを用いた評価結果では、「ほとんど一致しない」は A 大学教員群で1事例(10%)、B 大学教員群では4事例(40%)であった。「わずかな一致」は、 A 大学教員群で5事例(50%)、B 大学教員群では4事例(40%)であった。また、A 大学教員群では、より一致度の高い「中等度の一致」が3事例(30%)あった。評価項目ついては、 A 大学教員群では、「ほとんど一致しない」を示したのは2項目(25%)、B 大学教員群では4項目(50%)であった。また、「わずかな一致」を示したのは A 大学教員群では5項目(62.5%)、B 大学教員群では3項目(37.2%)であった。結論 妊婦健康診査実習の評価の客観性をみるため、助産学生の実習記録から2つの助産師養成校の評価者間の評価に差異が明示された。同一の実習記録に対する評価の「ほとんど一致しない」の割合は、A 大学教員群 30% と B 大学教員群 70% の差異を認めた。開発したルーブリックを用いた場合、同一の実習記録に対する評価の「ほとんど一致しない」の割合は A 大学教員群10%、B 大学教員群 40% まで減少した。ルーブリックを用いた評価の方が、教員間の評価の一致度は向上したことにより、ルーブリックは今後の妊婦健康診査実習の評価用具として導入する有用性が示唆された。 続きを見る
URL:
http://hdl.handle.net/2297/00048844
タイトル・著者・出版者が同じ資料

類似資料:

1
 
2
 
3
 
4
 
5
 
6
 
7
 
8
 
9
 
10
 
11
 
12
 

島田, 啓子

日本助産学会 = Japan Academy of Midwifery

岩谷, 久美子, 島田, 啓子

金沢大学つるま保健学会 = Tsuruma Health Science Society, Kanazawa University

島田, 啓子

日本助産学会 = Japan Academy of Midwifery

Shimada, Keiko, 島田, 啓子

金沢大学

島田, 啓子, 名取, 初美, 三村, あかね, 田淵, 紀子, 亀田, 幸枝, 関塚, 真美, 丸山, 綾香, 坂井, 明美

Kitajima, Yuka, Awano, Masayo, Shimada, Keiko, 北島, 友香, 粟野, 雅代, 島田, 啓子

Wellness and Health Care Society, ウェルネス・ヘルスケア学会