Teaching Design of Experiments Using a 工作辅助工具 and Minitab
L. L. Halbleib email: LLHALBL@桑迪亚.GOV
S. V. CROWDER email: SVCROWD@桑迪亚.GOV
Sandia National Laboratories 桑迪亚国家实验室
简介 传统上,技术方面的课程安排都是集中在所研究的主题上，很少有人关注讲解的方式，原理的内容远远重要于原理的描述。但是调查显示，传统的授课方式：老师在讲台上滔滔不绝的讲解，学生在台下很被动的要求学会老师讲的内容，是最无效的训练方法。另外，问题的主题通常都是由导师决定，很少有学生的意见。因此，为了提供一个以学生为主的课程设计和分析实验，我们邀请了多位专业教育设计专家的帮助。这篇论文概括了我们用来计划和教授课程的教材和方法，以及那些计划的效果。
基于基础 教育设计过程，是一个结构化的方法，它的原则是确保课程的发展能向学生提供正确的教材和最有效的方法。该方法重点在于了解学生的需求，并将这些需求总结归纳，提高课堂的演讲技术，激励学生参与学习和使用课程的主旨。
在确定学生的具体需求时，可以使用一些客户数据收集方法。至于我们的课程，我们选择与我们的目标学生听众面对面的采访。首先，我们确定范围，包括五个等级的技术人员；之后，按人员的实验设计知识和经验进一步细分成三个水平：从未参加过实验设计课程，也没有统计试验设计技术的；有过课程经验但没有使用过统计技术的；既参加过课程培训又曾在工作中有统计技术经验的。按照该水平分配我们有代表性的抽取了24个人员进行面对面的采访。构建的采访问题如下：
确定被访问者的知识水平
决定室内实验设计课程是否需要
了解人员正在使用的实验技术
决定哪个实验设计技术在实验班上是最有效的
采访结果如下：
总的来说，被采访者对统计实验设计技术以及使用它们的好处有一个基本的了解。因此，不需要花课程时间来解释使用这些技术的动机。 大多数被采访者想要了解如何合并多次实验后获得的数据。根据他们的经验，实验的机会多会受制于实验成本。能够通过多次实验构建数据将会十分有用。这些发现让我们在改善课程中注重了多次实验。被采访的学生也表现出了对看到“真实”的桑迪亚实例来解释技术的兴趣。最后，被采访者想要我们将推荐的统计软件包与课程结合起来。
另外，教育设计专家们让我们通过召开一系列的会议来记录实验设计过程以及实验如何显现“真实”的桑迪亚项目。这个过程伴随着被采访者提供的课程建议
课程设计所设计的课程要能：
最大化学生参与练习课上提出的数据信息的时间，提供能让学生逐步完成工作的参考书目和软件。
课程的主要教材有：
学生手册
教师指导书
工作辅助工具
小练习
桑迪亚示范和练习实验
Minitab软件
另外，通过滚球/漏斗实验（甘特，1993）让学生对课上提出的技术有额外的练习，
学生手册学生手册是课程主要的课本。这本手册,和工作辅助工具一起,是学生收到的最重要的教材。手册内容包含:
技术介绍教材(看图表),
小练习的答案,
对示范和练习的实例的解决办法,
实验设计词汇和概念术语表,
在课上讨论的三类实验理论输出
可能用作Minitab替补的设计目录,
参考文本和文章名单。
介绍教材包括五个模块。模块1提供课程的概要。模块2给出实验设计的概要，定义的术语,讨论实验设计的重复性以及六种被介绍的实验类型，部分析因试验实验、全因子试验，在进行重复性实验时会牵涉到的，响应面模型试验的讨论。模块3、4、和5描述如何产生和分析全因子, 析因试验和响应面设计。每个模块包含一个示范和练习实验。另外,Minitab 和工作辅助工具将会在模块3里被介绍。
在大多数的室内课上,技术介绍教材是提供给学生的唯一教材。这类教材很典型的反应了没有考虑学生的需求。一位专业教育设计师要求我们将学生的需求考虑到教材里去并在学习进程中提供其它一些基础帮助教材。
教师指导书 教师指导书是另一本教育设计者们推荐的课本。该课本包含了所有的注解和老师在课上讲解时用到的实例。例如，在介绍实验设计术语时，老师使用一个实例来示范各个术语的含义。这个实例不是基于老师的视图，而是记录在教师指导书上，作为一个建议来辅助学生理解专业词汇。教师指导书改善了课程的连贯性，也使新老师备课准备更加轻松。
工作辅助工具 工作辅助工具是一个逐步参考工具，指导学生进行整个实验设计的过程。对于复杂的罕见的可执行任务，工作辅助工具的创建有一个标准的指导设计原则。我们所创造的工作辅助工具，不仅要能帮助学生在课上执行实验，更要在整个实验过程中指导他们。工作辅助工具贯穿六步任务，帮助实验者做出正确的决定。
测量哪些响应变量(任务1);
实验应该包含哪些因子(任务2);
实验中因子如何组合,执行哪种类型的实验,以及如何设计具体实验(任务3);
如何分配费用和日程表(任务4);
精确度和准确性研究是否必要，若是则如何展开研究(任务5);
怎么分析和记录结果(任务6) 。
任务1,实验者通过一系列步骤，为他/她的实验选择出最合适的响应变量。确定好应变量后，首先,实验者需要记录他/她的研究主题。一般来说，主题的范围将决定实验的规模和执行实验的次数(工作辅助工具的设计将实验的重复性也考虑了进去)。其次,实验者需要准备潜在的响应变量的清单。之后的步骤里,实验者需要记录这些潜在响应变量的信息。信息包括:响应变量对顾客的重要性、标度或计量单位,实施成本,设备和技术人员的精准度要求。所有上面提到的信息都被记录在工作辅助工具提供的工作任务表以及以Microsoft Word的形式存在一个软盘里。利用这些信息,实验者可以选择最佳的候选响应变量。
任务2,实验者确定要进行的实验有哪些变量（即因子）需要研究。首先,实验者为每一个任务1中确定的响应变量拟定一份潜在的因子清单。然后，将这些因子整合成一张清单然后记录在第二张工作任务表上。这张任务表也将保存在盘里。接下来，实验者对潜在的因子添加附加说明，决定实验时的因子组合。这些信息有:实验中因子控制成本，要求的精度，判断因子对应变量的影响程度。实验者利用这些信息决定哪些因子在实验时需要被控制,哪些因子是恒定的，哪些因子需要被监测，哪些因子可以被忽略。
任务3,实验者:决定他/她将选择执行哪类实验,并且设计实验。
首先, 实验者需要定义实验的目的。这个目的与研究的主题是不一样的。研究主题是定义实验的整体目标。因此,要完成主题,需要执行一个或多个实验来实现这个目标。而该目标又定义了各个实验的具体目的。我们将研究目标和实验目的与实验的迭代性结合起来，工作辅助工具有三个可能的目的:
辨认重要因子,估计主效应和交互作用,改善经验模型和最优响应变量.实验者对于所研究的产品或过程的了解程度以及由研究主题确定的目标的知识水平。如果实验者已经找到重要因子，想要得到最优响应变量，他或她也许执行一两次实验就能达到研究的目标。第一次实验的目的主要是识别重要因子之间的交互作用，而第二次实验的目的就是优化响应变量。我们强调辨别主因子的重要性，这就需要多次实验，实验者必须在他/她的实验设计以及确定费用和时间表时说明这点。我们一般推荐学生计划花费预算的25%在他们的第一次实验上。(蒙加马利1991) 。
一旦确定好目标, 高、低两水平下的因子在实验里将发生的变化，都是定义为所有潜在的交互作用。这些信息都被记录在任务3的工作任务表中，(并且提供复制和存盘) 。任务3的下一步是, 决定实验类型。我们教我们的学生如何选择六种实验类型: 混合性试验、封闭性试验、嵌套试验、部分析因试验 (Plackett-Burman设计 或因子筛选试验), 全因子试验以及响应曲面试验(Box-Behnken设计,立方体面, 或中心集成) 。如果实验者认为, 他或她需要执行混合性试验、封闭性试验、嵌套试验，工作辅助工具指导实验者去咨询统计员；如果实验者认为, 某一个保留的实验类型是他/她需要的，工作辅助工具指导实验者设计那个实验的整个过程。实验的设计利用Minitab完成 。对于每一种类型的实验设计，工作辅助工具都通过一系列的命令来指导实验者在Minitab上完成设计。这些命令形成了所需求的实验类型的原始的样式, 复制设计(如果需要的话), 和随机化设计(如果需要) 。使用Minitab, 整个实验都可以打印在在一张工作表上，可以记录实验的结果。
在任务4, 所设计的实验将被复审，来确定它是否满足费用和日程表的限制。计算出实际的成本和日程表，将它与预算比较，确定实验是否能在费用和日程表预算之内执行。再次考虑试验的迭代性和为随后的试验准备的预算。如果实验超出费用和日程表的分配，工作辅助工具就会推荐可行的操作方式来降低试验的费用。
任务5主要是对测量系统的校验，以及当不知道测量系统的精度或存在潜在的不可行性时对响应变量的精度的研究。Minitab可以用来设计测量实验。精度研究的变量包括操作人员/技术员的可变性和以及测量单位与单位间的可变性。计算得出的差异系数与经验值比较，为10% 或更少。另外, 测量可变性还要与任务1中规定的精度值比较。如果测量精度不够高的话，工作辅助工具指导实验者与统计员协商。
最后, 任务6进行操作、分析和记录实验。利用Minitab分析结果。工作辅助工具指导实验者通过正确利用Minitab的菜单来恰当地分析数据，并且指点实验者向统计学家咨询一些特定环境情况。建议进行一次结果的证实分析并以文档形式提记录实验总结和研究分析结果。
工作辅助工具对课程的成功进行至关重要。学生使用工作辅助工具设计工作实验，他们常常在执行实验前，将他们的设计带给我们评论。因而, 我们的意见对这些学生而言是更结构化和高效的。另外, 我们在与不曾上过我们的课程的客户提供咨询时，也会用到工作辅助工具，通过它，这些咨询变得更加高效率。同时，工作辅助工具让这些顾客对实验设计过程和实验作决定所需的信息有一个整体理解。通信很大地被改进了。实际上, 许多顾客在咨询老师过程中使用到工作辅助软件，之后决定参加课程。
小练习
课程还包括一些小练习来帮助学生理解刚学过的概念。小练习是另一个技术指导设计者用来使学生们在学习的过程中积极参与的。这些小练习打破了纯粹演讲式课程的千篇一律，通过练习能够快速的巩固所学的概念。小练习包括：
给学生们12个实验情景让他们选出最适合这些情景的设计类型；
不利用Minitab，让学生们设计一个全因子实验；
让学生们用Minitab设计一个标准部分析因设计和一个Plackett-Burman设计；
让学生们用Minitab设计一个Box-Behnken, Face Centered Cubic, 和 Central Composite design.
所有的练习与在桑迪亚上的操作有得一拼。
示范和练习实验
示范和练习实验是用来：
全因子设计，部分析因设计和响应曲面设计。
示范实验是教师介绍的桑迪亚实验。教师引导班级了解一下工作辅助工具的大概轮廓，示范使用工作辅助工具和Minitab。紧接着这些示范实验的是练习实验，练习实验就是给一个情景让学生们选出响应变量、因子，设计实验，并解释这个实验。练习实验是一系列真实在桑迪亚上操作的实验。这系列实验需要反复的实验操作以让学生们能够了解在实验过程中数据是怎样添加的，以及怎样为后来的实验分配预算。
滚球/漏斗实验
在上课最后一天，学生们通过滚球/漏斗实验设计他们自己的实验来练习反复的实验操作。实验的目的就是决定哪些因子影响在滚球和漏斗中停留的时间以及最大化这个时间。学生们可以用工作辅助工具和Minitab设计一系列实验来开始识别最重要的因子，然后开发实验模型，最优化相应变量。
软件工具在课程中提供Minitab供学生们熟悉使用这个软件。我们也提供学生们有关通过我们网站许可协议购买它的信息。光盘里提供示范和练习实验数据。工作辅助工具的工作任务表也会以光盘的形式提供给大家。
进一步改进我们计划把工作辅助工具（包括工作任务表）和Minitab放在互联网上。这项改进将会使学生们在他们回到工作中时能够更容易的使用到这些工具来练习实验。另外，我们希望最后创建一个设计实验的数据库，利用工作辅助工具和Minitab在桑迪亚上解释。我们希望这样能够使所有的桑迪亚ns能够更容易的访问到曾经在桑迪亚上操作的历史实验。
总结 通过教育设计者的专门技术可以极大地提高我们开发的课程的质量。教育设计需要教师们识别他们的客户底线，理解他们的需求，将他们的需求纳入一个有意义且有效的培训策略中。指导设计者在客户结束课程之后仍需要更先一步了解客户需要，因此，他们将工作辅助工具引入到课程中可以在学生们回到工作中时帮助他们。这些工作辅助工具让我们和我们的学生们受益匪浅，因此在我们与客户进一步沟通中，我们提供了一个更结构化的方法。
参考文献：Gunter, B. H. (1993), "Through a Funnel Slowly With Ball Bearing and Insight to Teach Experimental Design," The American Statistician, 47, 265-269.
Montgomery, D. C. (1991), Design and Analysis of Experiments, New York, NY: John Wiley & Sons.
