分类模型的性能评估.docx -...

This preview shows page 1 - 4 out of 31 pages.

分类模型的性能评估——以 SAS Logistic 回归为例 (1): 混淆矩阵 胡江堂 关键词: Confusion Matrix ; Logistic 回归 ; SAS ; Sensitiveity ; Specificity ; 分类模型 ; 命中率 ; 数据挖掘 ; 混淆 矩阵 ; 覆盖率 跑完分类模型( Logistic 回归、决策树、神经网络等),我们经常面对一大堆 模型评估的报表和指标,如 Confusion Matrix ROC Lift Gini K-S 之类 (这个单子可以列很长),往往让很多在业务中需要解释它们的朋友头大:“这 个模型的 Lift 4 ,表明模型运作良好。——啊,怎么还要解释 ROC ROC 如何如何,表明模型表现良好……” 如果不明白这些评估指标的背后的直觉, 就很可能陷入这样的机械解释中,不敢多说一句,就怕哪里说错。本文就试图 用一个统一的例子( SAS Logistic 回归),从实际应用而不是理论研究的角度, 对以上提到的各个评估指标逐一点评,并力图表明: 1. 这些评估指标,都是可以用白话( plain English, 普通话)解释清楚的; 2. 它们是可以手算出来的,看到各种软件包输出结果,并不是一个无法探 究的 “黑箱”;
Image of page 1

Subscribe to view the full document.

3. 它们是相关的。你了解一个,就很容易了解另外一个。 本文从混淆矩阵 (Confusion Matrix ,或分类矩阵, Classification Matrix) 开始,它最简单,而且是大多数指标的基础。 数据 本文使用一个在信用评分领域非常有名的免费数据集, German Credit Dataset ,你可以在 UCI Machine Learning Repository 找到( 下载 数据 描述 。另外,你还可以在 SAS 系统的 Enterprise Miner 的演示数据集中找到 该数据的一个版本( dmagecr.sas7bdat )。以下把这个数据分为两部分,训 练数据 train 和验证数据 valid ,所有的评估指标都是在 valid 数据中计算 (纯粹为了演示评估指标,在 train 数据里计算也未尝不可),我们感兴趣的 二分变量是 good_bad ,取值为 {good, bad} Train data good_bad Frequency Percent ------------------------------------------- bad 154 25.67 good 446 74.33 Valid data good_bad Frequency Percent -------------------------------------------- bad 146 36.50 good 254 63.50 信用评分指帮助贷款机构发放消费信贷的一整套决策模型及其支持技术。一般 地,信用评分技术将客户分为好客户与坏客户两类,比如说,好客户 (good)
Image of page 2
能够按 还本 付息 履约 ), 违约 的就是坏客户 (bad) 具体做 法是 历史 个类 履约 违约 )的 若干 样本,从 已知 的数据中 考察借 的哪些 对其 拖欠 违约行 为有 影响 ,从而 违约风险 ,为信贷决策提 据。 Logistic 回归是信用评分领域运用最 成熟 广泛 的统计技术。 约定 在我们的示例数据中,要 考察 的二分变量是 good_bad ,我们把感兴趣的 取值 bad (我们 计算 违约 率), (Positive, 1)
Image of page 3

Subscribe to view the full document.

Image of page 4
  • Fall '14

{[ snackBarMessage ]}

What students are saying

  • Left Quote Icon

    As a current student on this bumpy collegiate pathway, I stumbled upon Course Hero, where I can find study resources for nearly all my courses, get online help from tutors 24/7, and even share my old projects, papers, and lecture notes with other students.

    Student Picture

    Kiran Temple University Fox School of Business ‘17, Course Hero Intern

  • Left Quote Icon

    I cannot even describe how much Course Hero helped me this summer. It’s truly become something I can always rely on and help me. In the end, I was not only able to survive summer classes, but I was able to thrive thanks to Course Hero.

    Student Picture

    Dana University of Pennsylvania ‘17, Course Hero Intern

  • Left Quote Icon

    The ability to access any university’s resources through Course Hero proved invaluable in my case. I was behind on Tulane coursework and actually used UCLA’s materials to help me move forward and get everything together on time.

    Student Picture

    Jill Tulane University ‘16, Course Hero Intern