龙空技术网

德尔菲法及其在中国地平线项目中的应用

智慧教育教育智慧 161

前言:

此刻兄弟们对“专家咨询法delphi法的工作步骤有哪些”大致比较关切,同学们都需要学习一些“专家咨询法delphi法的工作步骤有哪些”的相关资讯。那么小编同时在网上收集了一些对于“专家咨询法delphi法的工作步骤有哪些””的相关资讯,希望咱们能喜欢,你们一起来了解一下吧!

摘要:德尔菲法是一种定性与定量相结合的研究方法,采用匿名方式来征询专家意见,通过反复征询、 归纳、修改,最后使专家成员组的意见趋于一致。文章阐述了德尔菲法的发展历史、关键特征、实施步骤和应用领域,通过分析其在中国地平线项目中的应用范例,提出了德尔菲法在今后教育学领域中应用改良的方法和建议。具体地说,德尔菲法可以通过多种方式进行改良:增加桌面研究环节能够补 齐专家组的背景知识;通过在线投票的方式收集专家的反馈意见能够加速意见一致性的进程;增加案 例征集环节能够深化研究结果,将研究和应用更紧密地结合起来。改良后的德尔菲法可应用于教育长 期发展趋势预测、教育政策和规划制定以及教育各项指标体系确立等诸方面的研究。

德尔菲法及其在中国地平线项目中的应用

高 媛 陆奥帆 魏雪峰 刘德建 黄荣怀

引言

德尔菲法是一种结构化的沟通技术或沟通方法, 适用于没有精确研究资料的问题研究 (Dalkey N & Helmer O, 1963),有利于实现决策的科学化和民主 化,常被应用在预测和评价研究领域。20世纪50年 代至90年代,这一方法曾一度盛行于西方公共政策 等领域,后来又扩展到其他研究领域。国内对德尔菲法的研究起步较晚,在20世纪70年代才引进和应 用,且较少应用于教育研究中。

国内对德尔菲法的研究主要集中在德尔菲法本身,对德尔菲法的具体应用及成效涉及较少。本文在 介绍德尔菲法的关键特征和应用领域的基础上,提出了改良的德尔菲法,并以其在中国地平线项目①中的应用为例,详述了德尔菲法在教育中的应用。改良和创新后的德尔菲法更易掌握,尤其是与互联网结合使用,将有利于其更为有效地应用于实际调研中,提升教育研究的科学性。

① 中国地平线项目:由北京师范大学智慧学习研究院与美国新媒体联盟合作开展的以中国教育情境为重点的地平 线报告,主要是预测和描述未来五年教育科技应用的趋势、影响技术可行性的重要挑战,以及中国各级教育机构 最有可能采纳的技术的新发展。

一、德尔斐法概述

(一)德尔菲法介绍

德尔菲法开始于冷战初期,用于预测技术对战争的影响 (Custer R L, Scarcella J A, & Stewart B R, 1999)。20世纪50年代,兰德公司在实施德尔菲项 目②的过程中,奥拉夫·赫尔默等人创建了德尔菲法 (Rescher N, 1998)。德尔菲法着重于通过非面对面的互动来整合各方面专家的意见,避免团体参与可能 带来的负面影响,为科学决策提供参考。Linstone与 Turoff(1979)将德尔菲法定义为在团体构建沟通交流的方法,在整个沟通过程中将参与者对议题的讨论 限制在一定范围内,让成员针对一项复杂的议题进行 充分、有效的讨论。德尔菲法本质上是采用背对背的 通信方式来征询专家组成员的意见,经过反复征询、 归纳、修改,最后使专家组成员的意见趋于一致。

(二)德尔菲法的关键特征

德尔菲法的基本特征有四点:① 匿名性,整个 研究过程的专家完全是在匿名或背对背的情况下交流 思想和信息的,匿名是德尔菲法最重要的特点;②一 致性,德尔菲法的主要目的就是通过一系列的互动交 流来获得规模较大的专家团队的意见;③反馈性,专 家组成员们的交流是通过回答组织者的问题来实现 的,可以在任何时候修改自己前期的意见;④统计 性,德尔菲法的每一轮预测反馈都采用统计方法对专 家们的预测和判断意见进行科学的综合,并以定量指标来预测结果。

(三)德尔菲法的实施步骤

林振春 (1992) 将德尔菲技术的实施过程划分为十一个分步骤,我们将其简化为六个步骤。

步骤一:确定研究主题。研究者需要确定研究主 题、研究方法等,明确为什么要在该项研究中使用德 尔菲法,明确研究目的,以及确定如何运用德尔菲法 获得研究结论。

步骤二:选择回答问卷的专家组成员。在德尔菲 法中,专家扮演着十分重要的角色,因而挑选的专家 应有一定的代表性、权威性,通常选取15-30人。

步骤三:编制问卷并发放问卷。首份问卷要包括 作答说明、受访者基本资料、问题陈述三个部分的内 容。由于问卷大都是开放性问题,因而可以通过举例 的方式来给专家解释如何作答。

步骤四:回收问卷与分析。在寄送问卷10-15 天之后,可以清点回收到的问卷。再对回收到的问卷 进行分析和整理,剔除不需要的题目,保留有价值的 题目,作为下一轮问卷设计的基础。整理专家们有异 议的题目等,后续反馈给专家。

步骤五:编制下一轮问卷与发放。此轮问卷包括三个部分:①上一轮问卷的分析结果;②专家对结果提出意见;③专家可对结果进行优先排序的标号。需要注意的是,通常德尔菲法可进行多次的问卷调查, 直到专家们对所有的议题都达成共识并不再提出新的 异议之时,就可进入最后一轮问卷调查。

步骤六:分析问卷及撰写结果报告。整理专家反馈的最终结果,将其作为撰写研究报告的资料。

(四)德尔菲法的应用领域

德尔菲法目前主要应用于以下四个领域:①预测领域。Gordon和Helmer (1964) 编写《长期预测研究报告》,采用了德尔菲法来评估未来一段时间科 学技术发展的趋势。同时,它也成功应用于高精度的 业务预测 (Basu S & Schroeder R G, 1977)。②政 策制定领域。从20世纪70年代开始,德尔菲法应用 于公共政策制定领域。如今各国政府已广泛认同德尔 菲法在社会、学术界中的价值,特别是在诸如技术政 策等快速变革的领域 (Hilbert M, Miles I, & Othmer J, 2009; 张黎辉, 等, 2016)。③医学领域。德尔菲法 在医学中的应用最早开始于护理工作方面的应用。例 如,Mitten-Lewis (2000) 对于澳大利亚的护士面 临的技术和能力问题的研究以及中国协和医科大学护 理学院对护理专业岗位任务分析和护理专业人才培养 标准及规格的研究(李俊漪, 等, 2004)。在中医领域 方面,德尔菲法的应用主要涉及中医病因病机、症候 分布特征、病症诊断标准以及临床病症诊治等方面 (郭倩倩, 2013; 王至婉, 等, 2011)。④教育领域。德 尔菲法在教育中应用的领域主要包括学生的创新实践 平台建设质量、就业竞争力等有关平台质量建设的评 价和学校竞争力评价等指标体系的构建 (袁勤俭, 等, 2011; 孙 红 莉, 等, 2015; 朱 淼, 2016; 王 升, 2011)。

② 德尔菲项目:美国兰德公司为了预测遭受原子弹后可能出现的各种可能的结果而进行的一项研究,目的是通过 一系列的附以反馈意见的问卷调查获得专家的最可靠的一致性判断。

二德尔菲法在中国地平线项目中的应用

(一)德尔菲法的改良

对于德尔菲法的创新与改良主要体现在两个方面。一方面,经典的德尔菲法一般分四轮进行,而改进的德尔菲法不必拘泥于咨询的次数,只要专家意见 达成一致,即可终止专家咨询,使调研流程更为灵活,也节省了传统德尔菲法邮寄问卷所耗费的时间。 另一方面,目前互联网飞速发展,在线德尔菲系统也 乘势而出。在线德尔菲系统是指基于计算机网络在线 进行德尔菲预测的新的德尔菲法。在拉丁美洲创建 eLAC行动计划而开展的五轮德尔菲法就是基于网络 的德尔菲法,它被认为是目前在发展中国家开展的史 上最广泛的在线参与政策制定的案例 (Hilbert M, Miles I, & Othmer J, 2009)。在整个研究过程中,与传统德尔菲法一样,改良的德尔菲法也保持了匿名性 特征,专家以匿名方式登录在线平台进行发言。改良后的德尔菲法应用的典型案例是地平线项目,下面将 以中国地平线项目为例介绍改进的德尔菲法的应用。

(二) 改良的德尔菲法在中国地平线项目中的应用

美国新媒体联盟关注国际范围内新兴技术在教育教学中的应用及发展趋势。自2004年起,新媒体联盟每年发布《地平线报告》,阐述未来五年内可能会 对教学、学习产生重大影响的新兴技术、重要挑战和 关键趋势(张屹, 等, 2012)。新媒体联盟发布的《地 平线报告》主要面向全球教育领域的一线教师和专家 学者,但还不能完全清晰地反映新兴技术在中国教育中的应用情况。因而,为了更好地预测新兴技术在中 国教育实践中的重要进展和应用趋势,北京师范大学智慧学习研究院与美国新媒体联盟合作,开展了中国地平线项目的研究 (包括2016年的基础教育地平线 项目和2017年的高等教育地平线项目)。

在中国地平线项目实施过程中,采用了改良的德尔菲法 (见图1)。具体来说,专家使用了基于计算 机的(或基于网络的)德尔菲法,在维基平台(chi⁃ na.nmc.org) 上展开在线协作讨论,通过多轮讨论和投票提出未来五年教育技术的应用态势。下面将详 述德尔菲法在中国地平线项目的每个阶段中的具体应用。

图1 改良的德尔菲法在中国地平线项目中的系统模型

1. 专家遴选

在德尔菲法应用的过程中,专家组的建立是一项核心任务。若专家组中的成员人数过少,则会限制专家的学科领域的代表性;若专家数过多,会加大调查工作、数据收集、数据处理、数据分析的难度。中国地平线项目遵循公平、公开、公正、科学、规范的原 则,从地域分布、来源类别、职位层级和学校级别四个维度进行遴选,充分考虑专家的职业操守、学术造 诣、行业影响及其承担工作的能力,最终选取了多位 (基础教育地平线项目65位,高等教育地平线项目 85位) 专家,涵盖了教育管理部门、高等院校领 导、高校装备实验系统、教育技术学科、教育信息化行业企业、教育信息化工作机构、电教馆等不同层级 的专家学者,他们均在各自领域研究数年,具有丰富 的理论知识和实践经验,也都具有一定的领域代表性 和权威性,能够最广泛地代表全国基础教育或者高等 教育相关机构及从业人员的意见。

2. 桌面研究

桌面研究阶段是指专家组成员在维基网站 (chi⁃ na.nmc.org) 上围绕拟定问题而展开系统的文献回 顾,进行先前知识的储备。在中国地平线项目中,专家组成员在维基网站平台上对研究者提供的内容进行 系统的文献回顾,所涉及的内容包括与中国基础教育 和高等教育新兴技术应用相关的文献、新闻报道、博 客、研究课题及其他相关材料,并非一些引导性的言论和意见。尽管我们选取的项目专家均是所在领域的权威,但他们却来自基础教育或高等教育不同的机 构,例如装备实验系统、教育信息化行业企业、全国 不同学科的不同院(学)校等,所在领域的专长侧重 点不尽相同。通过文献回顾,专家的背景知识和对于 最新信息的了解会更加广泛、全面、平均。专家组成员需要对已经应用的新兴技术进行探讨,同时也要对 尚未得到应用的技术进行“头脑风暴”。通过阅读大 量与拟定问题相关的文献资料,专家组成员可以更好 地把握研究的主题,补充与研究主题相关的背景知识,在后续的讨论中可以给出更为专业的观点与建议。 桌面研究阶段是中国地平线项目应用德尔菲法的 创新之处,传统的德尔菲法并不会针对研究问题给所 有的专家提供相应的文献,以此来补齐他们的背景知 识水平。在这个阶段里,专家会在wiki上签名,可以 对背景材料进行补充,分享自己阅读过的其他文献材 料等。

3. 回答研究问题

回答研究问题是指专家组成员在文献回顾的基础上,在维基网站上针对地平线项目的主要研究问题进行讨论,发表自己的意见与见解,最终协商出的结果 将应用于下一阶段的投票。本次项目组共列出了四项研究问题:其一是探讨未来五年内中国基础教育 (2016年地平线项目) 或高等教育 (2017年地平线 项目)教育技术的重要发展。地平线项目的维基网站 列出了包括消费者技术、数字化策略、学习技术、互 联网技术、社交媒体技术、可视化技术、使能技术等 七大类几十种具有潜在教育应用价值的新兴技术,并 提供每一项技术对应的词条简介,列出几个提示性问 题激发专家委员会的“头脑风暴”,以此加深专家们 对每项技术的了解。其二是引导专家组成员对技术清 单中漏掉的新兴技术进行相应的补充。其三是专家组 成员需要判断未来五年内中国基础教育/高等教育新 兴技术应用趋势。其四是专家组成员需要判断中国基 础教育/高等教育未来五年内在新兴技术应用中面临 的主要挑战。

在这个环节中,需要专家组成员对这四项研究问题做出全面、系统的回答,发表自己的看法,专家组成员可以加入佐证自己观点的与所预测趋势相关的文献资料及网页链接地址,以供其他专家阅读参考。传统德尔菲法的协作讨论是借助研究者作为中间媒介来实现的,研究者对之前收取的问卷进行阅读、分析、 汇总,再给予专家反馈,专家则可以继续对反馈来的意见进行相应的评述,直至意见趋于一致。相比之下,在线德尔菲系统的互动性更强,专家组成员针对具体研究问题在线发表不同的见解和经验,并可以针对他人的评论再给予反馈意见。改良的德尔菲法减少了研究人员的媒介作用,允许专家组成员之间更为直接的交互,并将所有反馈意见与交互过程完整地记录于在线平台之上,一方面有利于专家组成员在彼此交 互的过程中扩展自己的思路,另一方面减少了研究人 员在研究过程中对于反馈意见的主观归纳和筛选,一定程度上保证了原数据的真实性和客观性。专家们可在规定时间内随时登录账户修改自己的意见,确保其对于研究问题本身以及其他专家意见的深入思考。在中国基础教育和高等教育地平线项目中,此过程持续 25天的时间,之后将关闭更改系统,保存所有在线工作数据。

最终,项目组将专家讨论的内容,按照技术进展、应用挑战和重要趋势汇总整理,确保涵盖专家的集体智慧,专家提到的建议都包含在清单中且不重 复。在中国地平线项目中,改良后的德尔菲法不拘泥 于意见反馈的次数,而是在一定时间段内鼓励专家尽可能多地讨论并发表意见,直至最终达成一致意见。

4. 在线投票

在线投票是指专家使用在线投票的方式将在线讨论阶段的结果中的问题进行优先级的排序以及维度的 划分(时间维度或难度维度),投票采用在线方式开展,嵌入到维基网站上。专家组成员可通过多轮投票 方式对中国基础教育/高等教育技术重要进展、加速 中国基础教育/高等教育技术应用进程的关键趋势和阻碍中国基础教育/高等教育中技术应用的重大挑战 三个问题进行排序,并按照时间维度归入不同类别。 针对每个问题,根据得票数确定入选地平线报告的主 题。在线投票这个环节在整个德尔菲法中占有重要的 地位,依据多位专家投票的结果从而确定了未来研究 发展的方向和趋势。传统的德尔菲法是专家组成员经 过多轮讨论得出最终的结果,多为质性数据;采用在线投票的方式将质性数据体现出来的核心观点用投票 的方式再次进行量化的验证,使得结论更加准确。这 个方法适用于覆盖范围广、地域比较辽阔、涉及专家层级多的大规模调查。

5. 案例收集

案例收集是在应用德尔菲法收集和分析数据的基础上新增加的一个环节,是对德尔菲法的创新。案例收集是在尚未公布专家投票结果的前提下,面向基础教育/高等教育相关机构征集新兴技术应用典型案例,并将案例按照不同主题进行分类。案例评审委员会建立科学合理的评审标准,负责案例评审工作。本次中国地平线项目我们收集了47份案例,经过初审、复审等程序后最终确定了21份案例,案例涉及拟解决的教育教学问题、新兴技术介绍、新兴技术与 教学的融合方式等几个主题。此次收集到的案例 50%是集中在中国高等教育技术的1-2年的短期趋势中, 41%是集中在2-3年的中期趋势上,在3-5 年未来长期的趋势上那些技术的应用还比较少,只占 到9%,说明此时该项技术并没有得到普及,这与我们的投票结果是一致的。

案例收集一方面可以用来验证投票结果,在未公布投票结果之前收集到的案例可以凭借其主体的重要 性与投票得出的最终结果做对比印证,理论与实践得以统一;另一方面对在线投票阶段选出的项目进行具体的深入的剖析,对前阶段排序产生的中国基础教 育/高等教育技术重要进展领域中的各个项目起到支持补充的作用,更加具体和详实地向读者展现技术在 教学和学习中的具体应用方式、应用效果及创新性。 通过这个环节,德尔菲法收集到的最终一致的专家意见得到深入和具体的阐述和演绎。

总体来说,德尔菲法在中国地平线项目中的应 用,是该方法借助互联网技术的一次重要改良与创 新,为教育领域大规模、大范围的预测研究提供了良 好的范例。除了秉持德尔菲法严格的专家遴选和多轮 专家背对背讨论之外,其主要的创新点在于:第一, 全程基于维基平台展开在线协作讨论,解决了传统德 尔菲法需要邮寄问卷等流程复杂的问题,摒弃了传统 的四轮反馈机制,提升了时效性,同时也使数据更加 透明、公开;第二,中国地平线项目增加了桌面研究 和在线投票两个阶段,通过桌面研究阶段补充和加深 专家组关于主要研究议题的背景知识,使专家意见更为专业和准确;采用多轮投票收集更为准确、一致的专家意见,加速了一致性的进程,使德尔菲法兼具定量和定性的双重内涵;第三,在征集专家组的一致意见时,还采用案例征集,以此验证并深化研究结果, 将研究和应用更紧密地结合起来。

三、反思与建议

改良后的德尔菲法是实施较大规模教育研究的一个创新性举措,但也存在一些不足,我们对此进行了 反思并给予了相应的建议:

其一,改良后的德尔菲法立足于开放的在线交互 平台,专家可以自由地登录平台来回答问题、讨论交 流。这种完全开放的形式比起传统德尔菲法中由研究 员主导的四轮意见征集来说缺少了统一的节奏。由于没有统一的要求,可能导致专家登录系统的时间、次 数、付出的劳动和精力不太平均。在今后的研究中, 建议进一步完善专家激励和管理机制,以确保较为一致的参与度。例如,可以在平台后端设置每一步骤的起止时间,以此达到统一轮次的效果;可以通过研究 员的媒介作用,通过邮件群组等方式来建议每位专家登录平台的时间和次数。

其二,尽管桌面研究阶段的文献材料选自时下最 新的文献、简报、热点新闻等,尽可能地做到公正客 观,但难免在材料的选取过程中可能会有一些倾向性 的引导。在今后的研究中,桌面研究材料的挑选应该基于更加规范性的搜索模式,如在确定年代范围、关键字、主题后,在受众最大的数据库中进行检索,以此保证材料的客观性、平等性。

其三,尽管在线德尔菲法在技术上秉持匿名性, 将专家登录方式设置为匿名,使其在无法获知彼此的 真实身份的情况下在线交流, 然而,任何直接在线交流方式都可能因为讨论的内容而泄露其身份。建议未来的研究者能够设置更多的在线交流规范、分析交 互过程 (魏雪峰, 2017),确保改良的德尔菲的匿名 性。同时,研究人员也要对发言内容进行有效监测, 及时对包含个人信息的发言进行删减。

近年来德尔菲法主要应用于直观预测领域,评估 一段时期内科学技术发展的趋势,进入制定公共政策 的相关领域,把风险分析直接结合到社会所面临的复杂问题(如环境、保健、运输等)的处理模式的管理 科学领域等,其在教育研究中的应用还非常有限。本文对于该方法在教育领域中的应用提出如下建议:

其一,在研究类别上,德尔菲法可以应用于教育 发展领域的长期趋势预测、教育政策的制定和规划、 各种评价指标体系的建立等。在进行一些科学发展的研究中,需要对未来一段时间后的科技发展或者是教育发展的前景进行相关的预测。在制定科技长期发展规划、国家教育政策法规时,需要汲取和吸纳领域内 不同专家的意见和观点,或在研究中需要对评价指标进行确定和维度划分。这些常用的定性、定量的方法不足以解决问题,需要聚集来自不同专业领域的有权威影响的专家,通过集体的研究经验和文献知识积累,以背对背的方式进行讨论,提供他们自己的观点和建议,能够对相关问题提出相应的理论依据和价值 判断,从而可以提升整体规划的应用价值,得出更具 有科学性、客观性的结论。

其二,在具体应用上,要根据教育研究内容的实际情况对德尔菲法进行创新。可以借助互联网采用在线德尔菲系统征询专家组意见;可以增加文献回顾部分,以此来补充专家团队的背景知识;可以在德尔菲 法应用中加入其他方法(如投票、案例分析等)对最 终讨论的结果进行印证。

德尔菲法是一种有效的综合评价技术,在广泛征询专家意见的基础上,经过多轮的信息反馈与交流, 使意见逐步趋于一致,得到一个比较一致且可靠性较 高的结论,研究过程得到了充分的讨论,更具有科学性。目前来看,德尔菲法应用前景十分广泛,广泛应 用于市场预测、技术预测、方案比选、社会评价等众 多领域,也已取得成效。对于解决教育研究中的复杂 问题,如教育政策影响、技术在教育中的应用趋势等 (魏雪峰, 2017),具有重要借鉴意义。本文以中国地 平线项目的德尔菲法应用为例,阐述了德尔菲法在教 育研究中应用的范围以及方法。通过对中国地平线项 目中德尔菲法的应用范例进行分析,进而提出了今后 德尔菲法在教育研究中对应用的改良意见。

参考文献

郭倩倩.2013.运用改良德尔菲法对可手术乳腺癌分期辩证规范化 的研究[D].广州:广州中医药大学.

李俊漪,白玫,刘华平,等.2004.Delphi法在护理岗位任务分析及人 才需求预测研究中的应用[J].护理管理杂志, 4 (6):35-37.

林振春.1992.德尔菲法[J].台北:民意学术专刊:168.

孙红莉,蒋鑫.2015.基于德尔菲法的远程教育成本分析框架的构建[J]. 河北广播电视大学学报, 20(2):53-57.

王升.2011.高校本科教学团队建设水平评价指标体系的构建研究[D]. 南京:南京农业大学.

王至婉,李建生,余学庆,等.2011.慢性阻塞性肺疾病急性加重期症 候诊断的专家问卷调查分析[J].中国危重病急救医学,23(9): 518-522.

魏雪峰.2017.问题解决与认知模拟——以数学问题为例[M].北京: 中国社会科学出版社.

袁勤俭,宗乾进,沈洪洲.2011.德尔菲法在我国的发展及应用研究 ——南京大学知识图谱研究组系列论文[J].现代情报,31(05): 3-7.

张黎辉,李小丁,刘黎明,等.2016.用德尔菲法判断我国未来核能发 展趋势的研究[J].核安全,15(3):72-78.

张屹,朱莎,杨宗凯.2012.从技术视角看高等教育信息化——历年 地平线报告内容分析[J].现代教育技术,22(4): 16-20.

朱淼.2016.应用德尔菲法构建高校继续教育培训项目评价指标体 系的研究[J].医学教育管理, 2 (02):449-453.

BasuS.,&SchroederR.G.(1977).Incorporatingjudgmentsinsalesfore⁃ casts:ApplicationoftheDelphimethodatAmericanHoist&Derrick. Interfaces,7(3):18-27.

CusterRL.,ScarcellaJ.A.,&StewartB.R.(1999).ThemodifiedDel⁃ phitechnique-Arotationalmodification.Journal of Career and Tech⁃ nicalEducation,15(2).

DalkeyN.,&HelmerO.(1963).AnexperimentalapplicationoftheDel⁃ phi method to the use of experts[J]. Management science, 9(3): 458-467.

Gordon, T. J., & Helmer-Hirschberg, O. (1964). Report on a Long-RangeForecastingStudy. Report on a long-range forecasting study.

HilbertM.,MilesI.,&OthmerJ.(2009).Foresighttoolsforparticipa⁃

作者简介:高媛,博士;陆奥帆,在读硕士;魏雪峰,博士,副教授; 刘 德建,教授级高级工程师;黄荣怀,本文通讯作者,博士, 教 授。北京师范大学智慧学习研究院(100875)。

标签: #专家咨询法delphi法的工作步骤有哪些