本文来自微信公众号：瞭望智库 （ID：zhczyj），作者：戴雨潇，编辑：谢芳 ，原文标题：《哥大教授长文质疑自家数据造假，大学排名还可靠吗？》，题图来自：视觉中国
不久前，排名机构《美国新闻与世界报道》杂志（U.S.News & World Report）（以下简称《美国新闻》）发布了最新“美国大学排名”，受此前数据造假丑闻影响，哥伦比亚大学的排名从去年的第2位猛降至第18位。
几乎与此同时，哥大官方也发布声明，承认此前提交给《美国新闻》以供2021年排名的相关数据“存在夸大情节”。对此，校领导层“深表歉意”并承诺作出改善。
一所学校的排名在一年之内出现如此大起大落，也让美国不少学生、家长和教育者开始质疑大学排名本身的可靠性。
1. 哥大教授的质疑
2021年9月，在《美国新闻》发布了2021年度的全国大学（本科）排名之后，哥大如同大多数对本校排名结果满意的大学一样，在学校官网和媒体中大肆宣传了全国第二的历史佳绩。
哥伦比亚学院（哥大的本科生院）院长詹姆斯·瓦伦蒂尼（James Valentini）在一份现已删除的官方声明中毫不谦虚地表示，全国第二的排名结果“是对我们本科项目所取得的成功的认可，如此的成就有赖于我们诸多教职工和校友的精诚奉献”。哥伦比亚学院的本科招生主任杰西卡·马里纳西奥（Jessica Marinaccio）称：“哥伦比亚（学院）对《美国新闻》将我们视为世界上最好的大学之一的所有理由感到自豪。”
然而，哥大校内并非人人都对本校的高排名津津乐道。
今年2月，哥大数学系终身教授、代数几何学家迈克尔·萨迪斯（Michael Thaddeu）在个人主页发表了一篇长文，抨击哥大排名背后的核心支撑数据“不准确、可疑或具有高度误导性”。他根据自己的亲身经历和已发表的公开数据，质疑哥大在六项排名指标（班级规模、教师的学历、全职教师比例、师生比例、学校财务支出和学生毕业率）中存在数据真实性的问题。
哥大近年来的全国排名稳步上升。图源：迈克尔·萨迪斯个人主页
萨迪斯的数据分析详尽、全面，简要概括其中三项：
第一项是班级规模（class size）。
这是一项衡量大学教学质量的参考指标——通常认为班级规模越小，每个上课的学生得到教师的注意力就越多，学习质量也就越高。哥大在上交给《美国新闻》的数据中称，多达82%的班级，学生少于20个，这个比例超过了美国前100的其他所有大学。在《美国新闻》统计里，这个数据的中位值仅为47.9%。
萨迪斯通过检索大学官方发布的2019和2020秋季学期全体课程目录，计算出真实的数据大概在62.7%到66.9%之间。哥大官员对此的回应是，萨迪斯所依据的全体课程目录并非“官方注册处的数据”，但是并未披露其官方数据的计算过程。
第二项是终极学位（terminal degree）。
哥大声称100%的教师都取得了终极学位，即本领域所能取得的最高学历。对于理工科教师就是哲学、理学或工学博士（Ph.D./Sc.D./DEng），对于医学教师来说就是医学博士（MD），对于法学教师来说就是法学博士（JD），对于美术教师来说就是艺术创作硕士（MFA），等等。要知道，即便是著名的哈佛大学，也只有91%的教师有终极学位。
萨迪斯为了证伪这一点，找到了958名哥大全职本科教师的名录，发现其中有66人没有取得终极学位。这些人要么是最高学历为本科或非艺术类硕士，要么是最高学历与所教授的课程无关。其中包括土耳其作家、诺贝尔文学奖获得者奥尔罕·帕慕克（Orhan Pamuk），他只取得了伊斯坦布尔大学新闻学专业的本科学位。
萨迪斯承认，学历高并不代表学术造诣高，如果哥大没有帕慕克这样的人才，就不会取得今天的成就，但是依然坚持学校数据造假的行为是绝对错误的。哥大官员对此的回应是，像文学等领域并不需要什么硕士、博士，并称学校在决定什么是“终极学位”方面有一定自由裁量权，100%的数据是“四舍五入取整”（rounded up）后得出的。
2. 支出数额的猫腻
第三项，则是学校对每个学生的财务支出（financial resources per student）。
《美国新闻》大学排名关于这项指标的统计包括科研支出、公共服务支出、教学支出和奖学金支出等。哥大汇报给美国政府和《美国新闻》排名的2019-2020年度教学支出高达31亿美元，平摊到每个学生上就是一年超过10万美元。这是一个相当惊人的数字，为美国教育部统计在册的6000多所高教机构之最，比哈佛、耶鲁和普林斯顿这三所大学加起来的还要多。
萨迪斯从其他表格中发现了教学支出数额的猫腻。根据2020财年哥大汇报给校董会的综合财务报表，学校的年度总财务支出和哥大汇报给教育部和排名机构的表格分毫不差，但是“教学和教育管理”一项只有20亿美元，跟排名使用的数据相差11亿美元。
同时，他发现校董会财务报表中多出来了一项政府数据中完全没有的“病人护理费用”，数额为12亿美元，刚好可以补足两个表格教学支出的差额。也就是说，哥大把花在医学院和附属医院所收治的病人身上的钱，算在了花在本科生身上的钱，汇报给了排名机构。
左图为哥大汇报给政府和排名机构使用的财务支出数据，右图为哥大汇报给校董会的财务报表中的支出数据。两张表总数完全相同，各个分项的数额却完全不同。图源：迈克尔·萨迪斯个人主页
对于萨迪斯的这项指控，校方基本承认。哥大的官员称学校每年招收4000名医护领域的全日制学生，很多时候“医学教学和病人护理是同时发生的”。哥大的逻辑是，学校附属医院投入资金治疗病人，在某种程度上相当于中学买青蛙来给学生实验，只要与教学活动沾一点边的支出都可以算教学支出。
值得一提的是，哥大这种滥竽充数的教学支出算法并非惯例。与哥大同城的另一所美国医学强校纽约大学2020财年的财务报表显示，教学支出为20亿美元，病人护理支出为68亿美元。但是，纽约大学给教育部和排名机构汇报的教学支出金额只有18亿美元，位列全国第29，显然没有将高昂的病人护理费用计算进去。如果按照哥大的算法，纽约大学在教学支出这项指标可以轻松夺得全国第一。
在萨迪斯发表文章数周后，哥大官方只承认部分数据的来源和统计方法和萨迪斯有出入，但是对于数据造假的指控全盘否认。直到今年6月，事情出现了反转。哥大教务长玛丽·博伊斯（Mary C. Boyce）宣布学校正在调查排名数据的提交过程，并称今年将不再向《美国新闻》提交任何数据。
经过3个月的调查，博伊斯宣布哥大给排名机构提交了“依据了过时的和/或不正确的方法计算出的数据”，班级规模和教师终极学位这两项数据确实不准确，并对“之前报告中的缺陷深表遗憾”，相当于承认了排名数据造假。
3. 刷高排名的动机
萨迪斯解释，此次揭发数据造假的真实动机，不是为了把自己学校的排名拉下来，而是为了让人们认清，大学排名这个东西本身是毫无价值的，希望学生和家长们不要在意这些大学排名。“这些排名所依据的数据与大学的学术水平几乎毫不相关，更何况这些数据一开始就可能并不准确。”
萨迪斯的另一个目的，是通过此事抨击哥大的管理层。萨迪斯曾在2017年到2020年间担任哥大数学系主任，这段经历让他了解到“学校的管理层有多么神秘和专制”。哥大主校区现有约4500名官员或管理人员，是教师人数的3倍，管理层的不断扩大和自我复制，产生越来越高的行政成本。
学校收到的校友和社会捐款（美国私立名校的重要财务来源），不足以应付这些管理费用，因此只能增加学费，这就意味着“教育项目必须像赚钱的生意那样运作”。萨迪斯认为，学校不惜数据造假也要刷高排名，是为了向学生和家长证明学费上涨是合理的。
现在哥大本科生一年的学费为6.5万美元，是80年代学费的5倍以上。
1977-2011年美国大学学费上涨的幅度远远超过美国人薪水上涨的幅度。
《纽约时报》的报道指出，很多美国家长会将学校的排名看做“孩子通往成功之路的钥匙以及自己在亲朋好友面前炫耀的资本”。
2010年芝加哥大学的一项统计研究发现，《美国新闻》每次发布的综合大学排名榜单，会显著影响当年申请季的申请和录取情况。一所大学在冲进前50之后，其收到的入学申请数会增加3.9%，入学新生中的尖子生（班级前10%）比例会增加2.3个百分点。对于排名前25的大学来说，每提高一名，学校录取到新生的SAT（美国高考）均分就会增加2分，申请数增加1.5%。
可以说，《美国新闻》大学排名和学校收到的申请费以及录取学生的成绩直接挂钩。
由于排名上升可以给学校带来切实的收益，本世纪被发现在《美国新闻》高校排名中造假的学校远不止哥大。
2008年，得州的贝勒大学通知所有已经录取的学生，如果愿意重考SAT刷分，将会获赠一张300美元的校园书店礼券。如果SAT成绩刷高50分以上，还将获得1000美元的“奖学金”。
2009年，加州的克莱姆森大学的一位行政人员承认学校歪曲财务数据，并且故意在同行评议中贬低其他学校。
2011年，纽约州的艾奥纳学院的官员承认，多年来不仅在考试成绩方面造假，还谎报了毕业率、学生教师比例、录取率以及校友捐赠等数据。
2012年，加州的克莱蒙·特麦肯纳学院被发现持续数年虚报SAT分数；同年，华盛顿州的乔治·华盛顿大学承认其报告的高中尖子生占录取总人数的比例虚高；佐治亚州的埃默里大学则承认已经持续4年虚报录取学生的高中成绩，连续近10年虚报SAT分数。
而对于一些商学院的项目来说，排名和申请者的选择以及学校收入之间的关系，更加直接。
美国知名商业教育网站Poets & Quants编辑约翰·伯恩（John Byrne）援引的一项调查显示，63%的工商管理硕士（MBA）申请者认为，排名是决定其选校最主要的因素。
宾夕法尼亚州天普大学商学院院长莫斯·波拉特（Moshe Porat）被发现在2014至2018年期间向《美国新闻》排名提供虚假的数据，使得该校的“在职工商管理硕士”（part-time MBA）和“线上工商管理硕士”（online MBA）两项排名显著提升。其中，天普大学的线上工商管理硕士在2015到2018年间被《美国新闻》评为全国第一。在弊案被揭发后，这个项目的排名立刻跌至第100名。
MBA项目通常学费高昂，在数据造假、排名飙升的几年间，这两个项目据估计为天普大学创造了约4000万美元的额外学费收入。
鉴于造假情节恶劣而且牵涉数额巨大，美国联邦检察官对参与造假的波拉特院长发起了“电信诈骗罪”（wire fraud，丙级重罪）指控。今年3月，波拉特被法院判罚14个月监禁和25万美元罚款，成为美国首个因为大学排名造假而被起诉和定罪的学校官员。
4. 利用漏洞“钻空子”
在一套标准化的检验体系下，直接造假作弊一旦被发现就可以立刻处理，但是充分利用规则漏洞的“钻空子”行为，通常很难得到惩治。
在美国，靠“钻空子”提升大学排名的一个标志性案例，是位于马萨诸塞州的东北大学。
1996年之前，东北大学还是一个“培养蓝领为主的三流走读大学”。美国联邦政府从80年代起大幅削减预算的决策和美国高校录取人数不断下跌，让这所学校面临严重的财务危机。此前的校长为了勉强维持生计，不得不裁撤了800多名教职员工。
当时，学校如果想要继续运作下去，不得不调高学费。而为了说服学生和家长掏更多的钱，学校必须让他们觉得物有所值。
这种情况下，新校长理查德·弗里兰（Richard Freeland）走马上任。他敏锐地观察到《美国新闻》大学排名越高的学校，知名度和声望就越高，申请人水平和校友捐赠也跟着越来越强。
因此，弗里兰得出了结论，《美国新闻》大学排行榜已经成了左右一所美国大学成败的关键，“我们必须挤进前100名，这对东北大学来说是生死存亡的事情”。
从那以后，弗里兰将东北大学的行政重心完全放在了提高排名上，他本人对此毫不讳言：“每年我们都会讨论我们现在排在什么位置，预计明年排在什么位置。我们需要采取什么措施爬到那个位置。”
《美国新闻》排名对班级人数小于20人的学校有加分，弗里兰就把东北大学每个班的人数设置为19，从1996年到2003年，东北大学排名上涨了35位。
《美国新闻》排名对录取率低的学校有加分（显示学校更难进），弗里兰在2003年开始让东北大学使用全国通用招生系统，让学生更容易申请。这样学校就可以拒绝更多的学生，人为制造更低的录取率。一年之后，东北大学排名又上涨了7位。
2004年，也许是招数已用尽，弗里兰直接敲开了《美国新闻》统计部门负责人罗伯特·莫尔斯（Robert Morse）办公室的大门。他一方面试图说服后者将东北大学一些传统长项纳入排名中，同时详细地询问了更多关于排名的内幕消息。从那以后，东北大学的排名持续上涨。
到2006年弗里兰退休的时候，东北大学的排名从当年的第162名奇迹般地上涨到了第98名，成功挤进了前100名。
弗里兰离任后，东北大学并未停下刷排名的步伐，他的继任者从2006年至今继续贯彻着“排名压倒一切”的特色方针。
考虑到《美国新闻》开始在排名中对国际学生占比高的学校加分，东北大学宣布自2009年起，免除外国申请者的SAT要求。这样既能提高国际学生的比例，也会增加了申请者的数量，还不会损害其整体录取生的SAT平均分（没有考SAT的学生自然不会被平均分公式计算在内）。从2006年到2019年，东北大学国际学生的比例从5%暴增到了20%。在2012-2013学年度，东北大学成了整个新英格兰地区国际学生最多、全美国际学生数量排名第10的大学。
今年，在《美国新闻》公布的最新排名中，东北大学已经排到了全国第44。排名的上升为学校带来了显著的经济收益：1989年，东北大学本科生学费是一年9500美元，现在已经上涨到了60000多美元。
东北大学的“传奇”，激励着越来越多学校在《美国新闻》排名中占重要比例的方面付出更多资源和精力。随着各大高校争先恐后加入到“排名军备竞赛”之中，高等教育的花费也会让越来越多的美国普通家庭难以负担。
5. 排名问题的根源
毫不夸张地说，从1983年开始发表的《美国新闻》大学排名，已经不可逆地改变了美国乃至全世界的高等教育生态。正是受到美国《美国新闻》的启发，2004年英国QS公司（Quacquarelli Symonds）和《泰晤士高等教育》（Times Higher Education，简称THE）合作推出了THE-QS世界大学排名，即今天两大主要世界高校排名QS和THE的前身。
大学排名的显著优点，无疑是提供了一套标准化的评判体系，为学生和家长的选校、教育者和高校管理者评价工作得失以及各国教育部门的帮扶和拨款提供可供参考的依据，有助于高校完善教学和科研的激励机制，同时深化全世界学校之间的学术交流。
但结合前文提到的几个美国大学展现的负面案例，大学排名体系的缺点也一目了然：第一，排名用同一套指标评价所有的大学，导致学校为了提高排名只能向同一个样板努力，这对高等教育机构的多样性和独立性造成了一定破坏；第二，排名会进一步扩大教育资源分配不均衡的情况——学校的排名和能聘请到的教师素质、能录取到的学生水平以及可以得到的各项赞助和拨款直接挂钩，这就会出现强者愈强、弱者愈弱的“马太效应”；第三，排名的存在为造假或钻空子的行为提供了重要的动力，高排名有利可图，就总会有学校铤而走险歪曲或者伪造数据。
不过，以上并不完全是排名本身固有的问题，而是不科学的排名指标和不科学的使用方法带来的不良结果。如果参考排名但是不唯排名，就可以尽可能地避免因为僵化标准的问题破坏学校的多样性和独立性；如果及时根据现实情况和国家政策更新排名指标和权重，同时保持对某些教育资源匮乏地区的政策倾斜，就可以缓解排名导致的强者愈强、弱者愈弱的情况；减少排名中相对主观的指标，增加排名机构的监管责任，也可以在一定程度上避免造假的情况。
参考资料：
[1]http://www.math.columbia.edu/~thaddeus/ranking/investigation.html
[2]https://provost.columbia.edu/statement-common-data-set
[3]https://www.theguardian.com/us-news/2022/sep/16/columbia-whistleblower-us-news-rankings-michael-thaddeus
[4]https://www.nytimes.com/2022/09/15/us/us-news-college-ranking.html
[5] Bowman， Nicholas A.， and Michael N. Bastedo. "Getting on the front page: Organizational reputation， status signals， and the impact of US News and World Report on student decisions." Research in Higher Education 50.5 (2009): 415-436
[6]https://www.nytimes.com/2021/11/29/us/temple-university-moshe-porat-fraud.html
[7]https://www.justice.gov/usao-edpa/pr/former-temple-business-school-dean-indicted-fraud
[8]https://www.bostonmagazine.com/news/2014/08/26/how-northeastern-gamed-the-college-rankings/
[9]https://www.northeastern.edu/admissions/student-life/diversity-at-northeastern/
[10]Bekhradnia， Bahram. International university rankings: For good or ill?. Vol. 89. Oxford: Higher Education Policy Institute， 2016
[11]Diver， Colin. "Is there life after rankings?." Atlantic Monthly 296.4 (2005): 136
本文来自微信公众号：瞭望智库 （ID：zhczyj），作者：戴雨潇，编辑：谢芳