Construction of the evaluation index system for pharmacist training effectiveness based on Kirkpatrick evaluation model

药师培训效果评价的目的在于为药师自我提升及培训工作不断优化提供依据，因而对药师培训活动进行过程及跟踪评价，并对相关评价主体所提供的反馈信息予以系统分析，从而确定培训价值和质量至关重要。1959 年， Kirkpatrick 提出四层评估模型^[3] ，该模型分别在培训效果评价的针对性、全面性和有效性等方面得到了很好的实践验证，成为目前影响最大且应用最为广泛的培训效果评价工具。具体而言，该模型根据培训效果评价的深度和难度分为反应层（Reaction）、学习层（Learning）、行为层（Behavior）、结果层（Result）四 个递进层次，将质量考核与评估贯穿于整个培训过程，符合药师培训效果系统性评价要求。此外，Kirkpatrick 评估模型还可为培训组织者提供来自学员上级、同事等不同评估主体的反馈信息，满足药师培训活动持续改进需求。基于 Kirkpatrick 评估模型与药师培训评价的内在契合性，本研究以 Kirkpatrick 评估模型为基础，初步确定了药师培训效果评价指标体系基本框架，包括反应评估、学习评估、行为评估和结果评估。

在确定评价指标体系框架后，研究遵循全面性、针对性及可操作性原则，结合我国各类药师培训实践特点及专家访谈意见，初步构建了药师培训效果评价的具体指标，见表1。

反应评估主要考察学员对培训项目的满意度，其反馈信息可推动后续培训项目的修正与完善。通过文献研究发现，培训方案针对性不足、师资队伍水平参差不齐及培训条件不同地区间差异较大均在一定程度上影响药师培训同质性，导致现有药师培训质量良莠不齐。为保证本阶段评价结果的有效性与应用性，研究根据上述药师培训效果影响因素梳理结果拟定了反应评估的主要评估对象，即“培训方案” “师资队伍” “培训条件”。三级指标的设计主要依据培训管理与教育教学相关理论展开，通过详细测量药师对培训方案设置、师资水平和软硬件配备情况的主观感受，从而评定培训基地开展药师培训的客观条件及其培训水平。

学习评估主要考核学员对培训内容的掌握程度。为顺应我国药学服务转型需求与政策发展导向，切实促进药师药学服务能力高质量发展，研究分别围绕“理论知识”与“实践技能”两方面开展评价指标筛选。其中，参考中国药师协会于 2017 年 6 月发布的《药师药学服务胜任力评价标准》^[4]，“理论知识”下主要纳入包括“药物治疗学知识”在内的专业知识指标，与保障药学服务实践顺利开展的人文知识指标“沟通基础知识”；同样，“实践技能”下的三级指标设置除基于药师基本职责纳入“处方调剂能力”等专业必备技能外，还考虑纳入人文胜任力指标，即“沟通协调能力”。

行为评估主要考察学员在接受培训后实际工作行为的改进程度。依据培训迁移理论^[5]，学员对培训内容的转化既包括将所学知识、技能直接应用于实践的直接迁移，也包括将培训过程中潜移默化所学内容（通常与培训主题不直接相关）应用于实践的间接迁移。由此，研究将行为评估细分为“工作能力变化”与“职业态度变化”。结合各类药师药学服务能力建设要求^[6-8]，三级指标分别从临床合理用药知识、技能及内驱力等角度予以拟定。

结果评估主要衡量培训创造的各类效益与成果。研究将该阶段评估重点归纳为“个人绩效”与“组织绩效”两方面，并尝试通过在二级指标下设置“自我满意度” “上级/部门满意度” “患者满意度”等与培训项目有较高相关性的结果型指标，进而实现药师自评与上级、同事、患者评价的结合，在一定程度上确保评价信息的真实性和可靠性。

Delphi 法一般要求遴选的专家为研究对象领域的“知情人士”^[9]，即在相关领域具有权威性与代表性。本研究的专家遴选标准为：①具有中级及以上专业技术职称；②具有本科及以上学历；③具有药学专业领域10年以上工作经验；④具有积极完成本调研的主观意愿。研究最终选取 16 名符合要求的受访专家，包括全国范围内的医院药学部负责人 2 名，高校教授、副教授 10 名，政府药学服务相关工作负责人 2 名，药师协会负责人 1 名，医药企业负责人 1 名。研究方向覆盖药学教育、药事管理等专业领域，深刻了解各类药师岗位特点、需求以及各类药师培训内容等，具备良好的学科与区域代表性，专家基本情况具体见表2。本研究中，专家权威系数为 0.80，表明参与咨询的专家权威程度较高，咨询结果可靠。

根据初始指标体系编制第 1 轮专家咨询问卷，问卷中指标重要性程度依据 Likert 五分量表法分别分为非常重要（5 分）、比较重要（4 分）、重要（3 分）、不太重要（2 分）、不重要（1 分）^[10]。专家根据其对指标的熟悉程度及判断依据对指标的重要性程度进行赋值，如果专家认为某个指标内涵描述不准确，可在“修改意见”一栏内提出建议；如果认为有尚未考虑到的指标，可在“新增指标建议”一栏中填写建议增加的指标及其内涵^[11]。通过电子邮件的方式发放与回收专家咨询问卷，第 1 轮专家咨询结束后，专家评分统计结果见表3。以指标重要性专家赋值均值≥3.5，满分比≥60%，变异系数≤20% 作为筛选标准，结合数理统计结果与专家意见，指标增删及其内涵调整情况如下：①删除1个三级指标：满分率未达到标准的“药物经济学知识”指标（52.94%）。②新增1个三级指标：反映药师在接受培训后，能够运用各类方法（如信息化管理平台等）创新性改善药学服务的“药学服务创新能力”指标。③更名1个三级指标：将“培训资源充足性”指标更名为“教学资源”，并在指标内涵中增加教学资源针对性的表述。

在修正指标的基础上编制问卷，并进行第 2 轮专家咨询。在这一轮中，专家对各级指标未提出修正建议，且对各项指标重要性评分极差小于 2 分，研究认为拟定的药师培训效果评价指标体系经修改已达成共识，专家意见趋于统一。采用同样的指标筛选标准和数据处理方法进行统计发现，各项指标均满足筛选条件。

本研究最终确立的药师培养效果评价指标体系包含4 个一级指标，9 个二级指标和 32 个三级指标，具体指标及指标内涵见表4。

经统计，两轮专家咨询问卷回收率均为 100%，在一定程度上反映了咨询专家的积极程度较高。第 2 轮专家咨询总体肯德尔协调系数值为 0.410，经检验差异具有显著性（P<0.001），说明专家对调整后评价指标的协调程度高；所有指标的变异系数最小为 0.07，最大为 0.19，均在可接受范围，即认为专家意见集中程度符合要求，咨询结果可信度高。

研究构建的药师培训效果评价指标体系确定了我国药师培训效果评价所需考量的详细内容，实际应用时应尽可能兼顾行政成本（即人力、物力、时间等资源）、评价信息量及可操作性等要素。具体而言，为在反应层评价环节获取高附加值信息，建议培训组织根据药师在填写调查问卷的主观心态和理解程度进行问卷设计，从而激发其填答兴趣，增强问卷调查的可信度；学习层评价多采用前后评估法以直观衡量教学成果，对药师能力的前期考核建议由药师所在单位对其进行自主评估，既节约了培训组织者试题设计等行政成本，还能充分发挥单位深度掌握学员基本情况的优势，提高前期评估结果的准确性；对行为层及结果层开展的跟踪评价应尽量避免单纯采用考核形式，建议辅以行为观察、文件查阅等更为“隐蔽”的形式，从而强化对药师实际药学服务能力考察的客观真实性。此外，培训效果评价的最终目的在于推动培训成果顺利实现转化，因而有必要根据培训项目的运行流程，与相关主体进行及时反馈与沟通，最大限度地发挥培训效果评估信息的作用。例如，在培训实施过程中定期将反应层或学习层评估结果反馈给培训组织者或培训教师，以便根据药师实际需求及时调整培训方案和教学工作，进而提高培训项目的整体运行质量。

科学的评价指标体系是衡量和评判药师培训效果的必备工具，本研究以Kirkpatrick 评估模型为基础，分别从反应层、学习层、行为层和结果层四个维度进行指标的筛选和修正，构建了多维度全流程的药师培训效果评价体系，对药师培训效果评价方案设计具有一定指导意义。此外，本指标体系还可为培训组织者提供药师培训工作的完善方向与侧重点，从而推动提高资源配置效率，加快药学服务能力建设进程。但由于受到时间、人力等方面的影响，本研究构建的指标体系完全来源于理论研究和专家咨询，有待通过实证研究予以进一步验证与优化，从而在药师培训评价实践中更好地发挥作用。