自序:一切皆可量化
人们作决策时,经常得不到本应得的充分信息,出错的概率当然就就增加了。
人们普遍认为,某些事物,即使是非常重要的事物,也许根本就不可量化,而这种观念就像散布在整个经济传动齿轮里的沙子。
第一部分 量偏天下:没有什么不可量化
第1章 无形之物有法可测
当你能够量化你谈论的事物,并且能用数字描述它时,你对它就确实有了深入了解。但如果你不能用数字描述,那么你的头脑根本就没有跃升到科学思考的状态。
在绝大多数组织里,由于相关的“无形之物”在人们眼里是不可量化的,因此在做决策时,人们几乎从未获得充分信息。
看起来完全没有踪迹可循的无形之物,是可以量化的。
量化是减少不确定性、优化问题的有效手段。
第2章 不同时代,不同领域的量化大师
古希腊人埃拉托色尼通过深井和阴影计算出地球的周长。
物理学家费米通过芝加哥人口数量测算出芝加哥调音师的数量。
评测我们目前了解的事物的数量,是量化那些似乎根本不可量化的事物的重要步骤。
艾米丽通过实验证明在抚触疗法中,医生根本就无法感知到能量场,以此揭穿抚触疗法骗局。
量化的概念是“减少不确定性”,而且没有必要完全消除不确定性。
第3章 他们为什么说无形之物不可量化?
有3个原因让人们相信一些事物是不可量化的,它们分别是量化的概念、目标和方法。
对传统量化定义的挑战
一个真正的量化过程不需要无限精确。
量化不需要彻底消除不确定性。只要进行量化工作的花费远远少于因此而带来的收益,那么量化就是值得的。
在分类量表中没有次序之分,数字并不表示相对大小,仅表示某个事物是否属于某个集合而已。
并非所有量化都需要一个传统的量值,量化也可以用于离散数据。
澄清链:量化方法就隐藏在量化目标中
一旦管理者弄清楚要量化什么以及被量化的事物为什么重要,就会发现事物显现出更多可量化的方面。
澄清链就是把某物想象为无形之物再到有形之物的一系列短的链接过程。
定义要量化的究竟是什么常常是量化工作的关键所在。
5人法则:只需很小的样本就可以减少不确定性
仅仅5个随机样本就可获得93.7%的确定性。
4个假设让量化看上去很简单
假设1:你的难题并非你想的那么独特
假设2:你拥有的数据,比你认为的要多
假设3:你需要的数据,比你认为的要少
假设4:要获得适量的新数据,比你想象的更容易。
量化真的需要不菲的代价吗?
问题在于,管理者只是简单地量化看起来最容易量化的部分,也就是说仅仅量化他们现在知道如何量化的部分,而没有量化最重要,最应量化的部分。
可以相信统计数字吗?
围绕统计学和概率论的基本误解都来自于于持“不能完全预测未来”这一观念的阵营。
99岁患病老人不如5岁儿童的命值钱?
如果在高度不确定的情况下凭空想作决策,那么政策想作决策,那么政策决策者或商人就极可能错误地分配有限的资源。
量化的5大步骤
步骤1:定义需要决策的问题和相关的不确定因素
步骤2:确定你现在知道了什么
步骤3:计算附加信息的价值
步骤4:将有关量化方法用于高价值的量化中
步骤5:作出决策并采取行动
第二部分 量化什么:不确定性、风险、信息价值
第4章 厘清待量化事物与决策的关系
如果一项量化工作至关重要,那是因为它会对决策和行为产生一些可感知的效果;如果一项量化工作不能影响或改变决策,那它就没有价值。
清晰定义“不确定性”和“风险”
不确定性:缺乏完全的确定性,也就是说,存在超过一种可能。
不确定性的量化:为结果集合中的各种可能结果赋上相应的概率。
风险:不确定性的一种状态,该状态包括出现亏损、崩溃或其他不希望结果的可能性。
风险的量化:可能性的一个集合,每种可能性都有相应的发生概率和损失量。
为退伍军人事务部IT安全项目进行量化工作
IT安全性的提供意味着一系列不希望发生的事件发生频率和严重性的降低。
第5章 校准训练:修正你的判断
校准练习:让“估计”变得更准确
“等价赌博测试”,研究表面,仅仅大幅提高赌注金额就会提高一个人的评估能力。
研究表明,校准一个人评估不确定性能力的另一个关键方法就是重复和反馈。
一旦在脑海中有一个值作为“桩子”,我们其他的估计就会倾向于向它靠拢。为了改变天生的“锚定向”在设置范围时,先不要在心中设一个锚点,设置一个很荒谬的大范围。
你的估值范围=你的认知范围
无论人们觉得他们对一个事物了解得多么少,最终总会发现,他们还是知道某些值是荒谬的。然后区间逐步缩小,数据变得不再荒谬,区间的上下限逐渐具有了合理性。
90%的信心意味着90%的概率吗?
我们认为90%的置信区间,其包括真实值的可能性或概率就是90%。
经过校准训练的人往往预测得更准确
校准除了能提高对不确定性的主观评估外,还会消除决策过程中对概率分析的反对意见。
第6章 蒙特卡洛模型:评估风险大小
近似正确胜于精确错误,风险来自于你不知道自己要做什么。
减少风险是计算量化价值的基础,也是选择量化什么以及如何量化的基础。
分清“感觉很好”与“真的很好”
“真的很好”应该由长时间的跟踪记录证明,还必须有量化的证据证明决策和预测水平真的提高了。
蒙特卡洛模型:范围也能进行加减乘除
任何项目的投资风险最终可用一个方法表达,那就是风险和收益的范围以及可能对它们产生影响的其他事件的发生概率。
寻找盈亏平衡点
风险就是未来存在损失的可能性。
标准差是一组数据值相对于它们的平均值的分散程度的一种度量。
量化风险常用的方法是将亏损额和亏损概率相乘,这很简单,但也会产生误导。
风险悖论:越重大的决策,越缺少风险分析
最大、最具风险的决策几乎没有风险分析,至少没有采用精算师或统计学家熟悉的方法,我把这种现象称为“风险悖论”。
第7章 一条减少不确定性的信息价值多少?
如果信息本身有市场价值,那么就有市场预测的问题,这和评估任何其他产品的销售没有什么不同。
预期机会损失:出错的机会和成本
预期机会损失(expected opportunityloss,EOL)就是出错的概率乘以出错的成本。
信息价值等于风险减少所带来的价值。
信息的期望值(EVI)=预期机会损失(EOL)的减少值=EOL量化前—EOL量化后。
EOL=出错的概率*错误的代价。
完全信息的期望值(EVPI)=EOL量化前
消除所有不确定性的价值有多大?
计算连续变量的EVPI需要分以下5步:
- 将分布分成几百或几千段
- 取每段的中点计算机会损失
- 计算每段的概率
- 将每段概率和机会损失相乘
- 将第4步得到的所有段的值相加,求出总和。
不确定性越高,你需要的信息越少
人们可能认为如果不确定性很高时,就需要很多数据来减少不确定性,但实际情况恰恰相反。
量化倒置:最重要的常常被忽视
一个被量化的事物的经济价值,和它所受到的关注常常成反比。
功能点评估是IT组织中最大的独立量化工作,但它并没有增加任何价值,因为它没有减少任何不确定性。然而人们总是强调量化特定项目的好处,因为这样更容易获得经费。
分清有价值和无价值的量化
量化不确定性、风险和信息价值,是我们做任何其他量化工作前需要理解的3种因素。
第三部分量化方法:如何减少不确定性
第8章 选择和设计量化方法
使我们陷入麻烦的通常并非我们不知道的事情,而是那些我们知道得不确切的事情。
广义的测量仪器=测量方法
仪器一般有一下6个优点:
- 可以探测到你不能探测的
- 更具稳定性
- 可以校准
- 忽略人们观察时的偏见
- 自动记录
- 成本更低,速度更快
将不可量化之物分解为可量化之物
分解一个不可量化的变量,是量化的重要步骤,有时本身就会极大减少不确定性。
通过互联网获取方法
通过互联网你可以获取更广阔的信息资源。
寻找、观测、跟踪相关线索
寻找量化线索的4个方法:
- 事物是否会留下某种线索
- 如果线索已经不存在了,你能观测到吗
- 如果事物没有留下任何可以观测到的线索,你能想出办法从现在开始跟踪它吗
- 如果现有的跟踪条件不能满足要求,可以做试验吗
数据不在多,够用就好
应该统一考虑信息价值、相关阈值、决策和当前的不确定性。
准确度≠精确度
简单来说,精度高就是随机误差低,而不管系统误差有多大;准确度高就是系统误差低,而不管随机误差有多大。
确定测量仪器
明确你的测量仪器(测量方法)。
第9章 随机抽样:窥一斑而知全豹
统计学教材的局限性在于它没有考虑如何帮助管理者们解决决策难题,因为它关心的是整个统计行业的统计分析问题,而非如何解决具体问题。
凭直觉估计数值范围
随着获得的数据越来越多,你每次估计的范围可能变得更窄一点。
T统计量法:只需一个小样本
当不确定性很高时,少量的样本会极大地减少不确定性,尤其是群体的同质化程度较高时。
统计显著性:结果是真还是假?
我们需要利用一种方法保证抽样不是来自某一特殊群体。
首先要了解所量化的事物以及他们为什么量化,才能确定需要多少样本量。
如何处理异常值?
在异类值比大多数样本值大得多的情况下,平均值也许收敛得非常慢,甚至根本没法估计。
不用计算,就可以估计出平均值
评估者有时可以依据有限的几次观测,使用参数方法或者非参数方法,就能极大地减少不确定性。
两次独立抽样:抓与重抓就能算出湖里有多少鱼?
抓与重抓是两次独立抽样,比较两次抽样的重合程度,可以估计群体总数。
定点抽样是对人、流程或事物在某一时刻、某一地点的随机抽样。
整群抽样是将总体以群为单位抽取样本的一种方式。
每个群组内部的同质化程度相当高,我们可以采用分层抽样,不同群组可以使用不同的抽样方法。
对照组实验:当事件还未发生时
“实验”可以理解为为了达到目的而特意创造出的某种量化方法。
通过了解客户推荐的人数,了解客服的工作质量。
变量的相关程度:风马牛之间有多大关系?
散点图量化收视率影响因素
第10章 贝叶斯方法:利用已知估算未知
贝叶斯定理:若A发生,则B发生的可能性有多大?
贝叶斯定理处理的是概率和条件概率的关系问题。条件概率是指在特定条件下某事件发生的概率。
使用你天生的贝叶斯本能:用新信息更新旧信息
脑子里始终想着先验概率有助于解决难题,更重要的是,应尽量明确地估计每一个概率和条件概率,并尝试找到一个前后一致的值的集合。
异构标杆法:借助“类比法”评估
我们与被测事物不同但有关的事物作为基准,以此更新先验信息的方法,称为异构标杆法。
贝叶斯法教会我们什么
行是待量化事物的各种可能的状态,列是各种可能的观测结果,每个观测都有一个初始概率,每一行也有一个初始概率。
第四部分 量化抽象事物——偏好、态度和判断
第11章 量化人们的偏好和态度
如果一个问题能够清晰地表述,那么我们就已经解决了一半。
观测人们的意见、价值观和幸福感
陈述偏好是人们口头上说的,显示偏好是人们通过实际行动展示出来的。
观测人们做什么是量化人们真实意见更加可靠的方法。
支付意愿法:通过讨价还价估算生命价值
如果想对绝大多数东西估值,一个行之有效的办法就是问人们愿意为之付多少钱,或者观察他们过去为它付了多少钱。
投资边界曲线:量化风险承受能力
软件投资是商业决策者最具风险的投资决策之一。
效用曲线:选鱼还是选熊掌
“等效用曲线”是曲线上的效用是常量或固定的,曲线上的任意两点都有同等效用,对人们来说没什么差别。
绩效量化:一切都归结于利润
聪明的分析师应该有能力从统计角度建立价值分析模型,显示次品率、时效性等因素对利润的影响。
分析问题时用成本、收益方面的诸多变量来计算最终回报或投资净值,本来就是商业的逻辑。
关键在于搞清楚要量化什么,因此无论你认为绩效是什么意思,要做的就是彻底弄清其真实意义。
第12章 人的判断和测量仪器哪个更准?
人类的心理如何影响决策?
影响人们认知偏差的心理效应:锚定、光环/喇叭效应、从众效应、新兴偏好。
很少有专家会真正对他们长时间的表现进行统计和测量,他们更倾向于将记忆的零星碎片汇总起来。
令人惊讶的简单线性模型
线性模型通过平均值和标准差的计算进行信息的量化。
不变比较原则:将任何估值都标准化
要预测被试者能否正确回答一个真假问题,应该确认其他人回答这个问题的正确率。
透镜模型:消除评估过程中的不一致
通过专家进行反复的判断和收集,以达到分析更加准确的分析结果。
第13章 新型测量方法和仪器
全球定位系统(GPS):革命性的量化工具
电子追踪器可以判断两位佩戴在是否进入谈话距离。
用屏幕抓取软件和混搭法挖掘网络信息
在我们的有生之年,互联网也许会成为最重要的测量仪器。
不同网站之间数据的“混搭”。
通过电子邮件就可量化客户满意度?
发现问题本身就是量化的成功。
预测市场:苹果公司何时倒闭?
市场走势会受到参与者情绪的影响。
第14章 通用的量化方法:应用信息经济学
量化的通用框架和一般步骤
- 定义决策和确定相关变量。
- 用这些变量对当前的不确定状态进行建模
- 计算附加信息的价值
- 量化高价值信息的不确定因素
- 在不确定性适当减少之后,制定风险回报决策。返回步骤1,处理下一个决策。