作者Dr.2，珍立拍股份公司董事长。本文头图由海洛创意授权，未经许可，不得转载
昨天开始，朋友圈内就开始撕，先是今日头条和艾瑞，接着是易观和美洽，后面还有一堆不明真相的群众围观。其实关于数据分析，从来就不是一件容易的事情，这里面有学术，有苦功，有商业，有利益，有道德，有丑陋，还有营销宣传与事实真相之间的偏差与关联方的冲突。但是情报工作却永远都很重要，对指挥决策和形势判断，对企业的生死存亡都非常关键。
其实无论艾瑞和易观，在有效数据采集源中都会遇到几个大问题
1、在PC时代，流量为核心，可以用网络爬虫分析，网站数据套录和借助很多第三方数据进行加权分析，相对来说会比较容易把控。但是进入了移动互联时代，有微信和App，都是相对封闭的体系，各种第三方的工具越多，恰恰说明这事挺难。
2、几乎没有实地去拜访客户与抽样调查，反向验证不够，如果开始一个基础数据错了，由于他们的影响力会“以讹传讹”，多点反射回来后，数据被其他相关方进行了部分的人为调整，但是又在一个跟他们接近的“可信区间范畴”，于是他们就自我强化认为是真的。
3、受制于成本，主要去访谈相关企业的领导者，要么不告诉你实情，说是商业秘密；要么告诉你大幅掺水的数据，为了商业目的。所以原始数据源的强力干扰，你让这些主要在家做数据分析的人怎么办？于是又开始上网搜索，看看谁的报道多，信息多，于是再进行一定的人为修正。
4、移动端的刷榜和造假，导致Android应用市场的数据基本上不能用，iOS又不公开，只能进行推测。但是偷懒的数据分析员会将Android市场的数据套录后简单粗暴地进行互相比较，得出结论，而写报告的人有时连这些应用都没有下载过，别说体验和测试了。
5、第三方的友盟、个推和百度腾讯等都是通过手机预装某些监测软件，或者作为很多应用的内嵌用户行为分析系统获取相关数据的，每个公司都只能覆盖一部分手机和应用，也不大开放给别人或者需要购买，这也是艾瑞和易观的商业模式之一。
因此在大众应用和大样本覆盖的App等产品，基于采样数据比较大，所以计算后也能放大得比较准确，相对而言，艾瑞的数据比易观强。但是在小众应用，低频应用如移动医疗，专业应用如医生工具和社区，由于采样点很难足够match到目标用户，他们的数据都一团糟，没有多大参考价值，其实即使BAT也不怎么样，机缘巧合之下我看过了腾讯某月对各移动医疗活跃数的内部数据报告，却严重低估了，这样其领导者在可以拉取自己投资或者将要投资的公司的后台数据后，一比较，做出愚蠢的形势判断和决策是有情可原的。
6、给钱了就排在前面，不少已经沦为广告和公关公司了，这是一个成熟产业链。
那么关于移动端数据采集的方法论，我来公开一下我们团队是怎么做的。
问诊平台的数据拉取
(1) 穷举法，列出平台上所有主要科室（内分泌、妇科、肾内科、肿瘤、神经内科、心血管内科会是重点）的医生列表，包括职称、地区、科室，服务人数等，比较医生的质量。步骤是：①医生界面截图，②图文识别上传，③识别好的进行整理。
所以任何平台跟我吹牛有XX万医生都没有意义，你如果真把这个医生上到了平台，会让患者找不到吗？所以我们会做所有这些数据分析人员都不会做的事情，穷举，就是一个个全部拉出来。而那些数据公司，包括BAT都是聪明人太多，没有人肯干这种苦活。
(2) 但是并不代表平台上来的医生就是真的，包括青苹果和杏仁在内都有大批代注册，虚假注册和卸载的医生，统计每天平台上的活跃医生，每个平台抽样100次进行问诊（分时间段进行），统计回复时间；可通过两次提交问题后生成的订单数之差，获得提问用户数。
(3) 合并在多个平台上出现的医生；对出现在2个或3个平台上的医生，进行集中抽样，推算各平台之间的活跃度关系，还要比较不同科室的活跃度。会有一个比较系数的区间范围，那么当我们可以比较精确地“锚定”一个平台的数据，就能进行可信的比较推算。
(4) 实际大量问诊后获得有效数据，有时候会出现对同一问题，不同医生不同平台的完全一致性的整段回答，答案是什么并不重要，但是这个现象本身难道不能说明一些事情吗？由此对一些可疑平台，如青苹果和平安好医生的大量一致性回复，我们将答案复制黏贴去百度，发现源于百度和一些医学知识库的整段问答，一个标点符号都不差；再深入调研，原来他们请了好多实习生，护士和一些文秘，教会这些方法，来用医生的名义去代替医生回答患者的问题。
实战案例
1、同时用四个手机测试在同一平台上，在同一时间，在同一个科室内，根据同一问题，获得答复之间的时间差，以及参与回复的医生的数量，并且查看医生是否有循环回答的情况。通过在同一科室内的反复测试就可以知道在这一时间段，平台上这一科室内真实有效的活跃医生数量。
2、随后，我们同步测试这一平台上所有的十几个科室，取加权平均，就可以进一步推测这个平台上这一时间内总活跃（所有科室）的医生的数量。
3、最后，取多天多点时间，就可以大致推算出这个平台目前为止总活跃用户的数量和活跃程度（使用时间，因为我们在测评中发现有些医生总是在线，有些总是不在）。
我们在测试的时候，发现有些医生活跃的时间在上午，有些在下午，但是大多数的医生整块活跃时间都在中午11点~2点多，以及晚上8点之后，不过会随着患者问诊的量而发生动态变化。根据统计学分析，我们先做散点图，得出医生活跃数据数量的分布图，等到了我们要进行测试计量的时间段之内，测试的不同分组内还会有一些活跃的细微的差别。周末、节假日、工作日等因素都会导致结果之间有差别。
因此在做分组统计之前，我们要做均衡性检验，多点取样，多重因素回归，避免单一分析出现较大误差。还有，我们可能从之前的测试中推断出某个科室的某个医生是非常活跃用户，然后我们为了反过来验证其是否是重度活跃用户，我们会把某个问题问这个科室的医生，再把同样问题问其他科室的医生，把其他科室医生的问题再拿回来问这个科室的医生等等，这是一个数学上循环代入、验证测试的方法。将之前推断出的活跃医生和重度用户进行反向推测验证，再将多个测试点的情况进行带入情况进行加权平均，看是否符合我们之前猜测的数学模型，是否需要修订结果，然后结果还要再取加权平均。
那么我们为什么要测医生流量呢？因为我们需要依靠医生流量来推测患者流量。我们不知道该平台覆盖的患者数量，但是患者是来这个平台是咨询医生的，所以我们可以根据这个平台上现有活跃医生的数量，计算出这个平台在某个时间内所能接待的最大患者数量，用这种方法进行反向推定上限。换句话说，根据平台上的医生数量，那每天有多少患者流量的上限肯定是能算出来的，这是使用间接法来测量。
为了便于理解，我给大家举一个我儿子参加小学生奥数培训的一道题目来类比，用数学上行船顺流逆流的问题演算方法来进行患者流量的判断。顺流逆流其实是一个数学思想，我们并不知道目前水流的速度和我的船速，但是顺流速度=船速+水速，逆流速度=船速-水速，因此根据船分别在顺流和逆流中行进到达某目标的时间不同，我们就可以通过公式计算得到我们的船速和水流速度，或者两者的关系。
在我们的流量测试中，这个概念是相同的——我不知道某具体流量情况如何，但是我们可以通过多点取样，反复代入来对相对的情况进行推测，随着时间样本的不断增加就会比较准确，不过这种方法测量的一段时间的平均值，无法预测峰值，对于爆发式增长的平台不适合，需要等他稳定下来再说。
医药电商
（1）天猫医药馆：穷举法列出所有商品的SKU指数，包括名称、价格、销量，其中销量以月为单位统计（已拉取1月份的销量）通过相邻两月的销量差，得出某种商品当月销售量，累计所有商品的月销售量，获得总销量。
（2）App：通过下单后获得的订单差来计算销量，刚开始可连续三天下单，获得每日的销量，后面可间隔一周，然后两周，挨着顺延，间隔四周时APP销量数据调研告一段落。
但是有些App很聪明，进行了随机修订，比如：
X药网：在X药网的App上2号、3号和4号分别下了单，单号分别是20160202153530345135、20160203155912377206、20160204155625337309，其中2号和4号的单是用同一账户付款的，3号的单是另一账户付的款，可以看出除了前面的年月日的8位，后面的12位的后10位也是没规律的，并不像其他平台同一账户付款的话最后四位是一样的。通过单号是不能看出销量差别的。但是请注意，随着采样数目的增加，还是可以看出部分规律的。
比如某药网：3号下了两单，两笔订单的间隔时间是5分钟，订单号分别是42596980179和42597620179，中间三位数看起来是有规律的，后面一单比前面一单多64。3号晚上10点又下了一单，订单号是42630820124，距离下午下单间隔大概5个小时，多了三千多，但是五个小时多这么多订单不合情理啊，于是你可以立即连续下单，你就能够发现单与单之间的数据倍数关系，这是小学数学应用题的解法“归一法”。可能是为了扰乱做数据分析的人，还可能是为了给投资人等直接拉后台数据时看的。
那么将天猫和App的数据进行综合分析，可以大致拉出该医药电商的真实流量，乘上平均客单价再乘一个退货和刷单系数，就是真实流水的推算。
以上说了那么多，都只不过是网络数据拉取分析的冰山一角，我们也一直在实践中总结新的方法。但是网络的造假和刷榜你只有大概印象，无法精确分析，这时候就需要大量的实体营销人员去拜访客户，点对点访谈，长期抽样调查来进行交互印证了。说一句话很容易，这要花多大时间和人力消耗呢？所以这些方法就算全告诉大家又怎么样？没有一个数据分析公司会养六个全职，十多个地推三年时间去专门做一个这么小的行业，他们都喜欢一下抓住重点“捞干货”。
（欢迎转载，注明作者和出处即可，愿意与Dr.2交流的请加微信号：2823095726）