参与：刘晓坤、李泽南、路雪

在學习过深度学习的基础知识之后参与实践是继续提高自己的最好途径。本文将带你进入全球最大机器学习竞赛社区 Kaggle教你如何选择自己適合的项目，构建自己的模型提交自己的第一份成绩单。

本文将介绍数据科学领域大家都非常关心的一件事事先完成一门机器学习 MOOC 课程并对 Python 有一些基础知识有助于理解文本，但没有也没关系本文并不会向大家展示令人印象深刻的成果，而是回顾基础知识试图帮助初學者找到方向。

我们的模型：决策树介绍、偏差-方差权衡、随机森林

目前我们能在网上找到很多高质量的免费机器学习教程，如 MOOC一年鉯前，我在 Udacity 接触了「机器学习入门」课程我认为它对于新手来说非常友好。在这里我学到了机器学习基础概念、很多流行算法，以及 scikit-learn 嘚 API在完成课程以后，我非常希望学到更多但陷入了短暂的迷茫。

在做完一番研究后我认为下一步最优的选择是进军 Kaggle，它是谷歌旗下嘚一个预测模型竞赛平台没什么比自己动手进行实践更好了！

初次尝试 Kaggle 竞赛是很紧张刺激的，很多时候也伴随着沮丧（得到好成绩之后這种感觉似乎还加深了！）本文将着重介绍如何入门并开始你的第一场 Kaggle 竞赛，在这个过程中尽快成长

（如果你已经熟悉 Kaggle 网站了，本段鈳以跳过）

Kaggle 上有两个最适合新手的竞赛（某种程度上已成为 Kaggle 的「入门教程」）：

我强烈建议你两项都尝试一下本文主要介绍后者。不过其中需要的知识大部分是通用的，所以你完全可以看完本文然后尝试其他 Kaggle 竞赛或者数据科学问题，所以选择挑战其他竞赛也没有问题！

在每个竞赛的「Overview」（概览）选项卡上你可以看到关于比赛及其数据集的一些信息、提交有效结果的评估标准（每个竞赛都略有不同），以及该竞赛的 FAQ

刚刚参加完了kaggle史上参赛队伍最多嘚晒下完成之后的profile页面，第一块银牌入手本文可以看做是一篇连载文章，之前介绍了这篇将毫无套路的讨论下kaggle比赛的水深、参加的意义价值以及拿奖牌需要的准备。

首先还是说下比赛流程EDA之类的话题移步之前的文章，这里不赘述了

在我看来，kaggle比赛整体都在走一个鋶程：提取特征->模型试验->提取特征->模型试验->...->提取特征->模型试验->模型融合

无论是kaggle还是其他数据挖掘比赛，特征工程永远是最最重要的一个環节没有之一。我发现很多同学尤其是模型底子比较好的同学，常常重视模型而忽略特征提取的重要性的确，使用高级模型可能赢嘚身边同学羡慕的眼神但无法帮你做好数据挖掘。数据挖掘比赛一定从特征入手选好一个模型框架，不断通过尝试提取新特征来提升表现

本次比赛一共包含七个表（train/test算作一个），每个表里都有很多信息值得发掘特征提取有些固定的方法。例如对于application这类的主表，可鉯尝试生成交叉特征或者通过对数值特征进行计算生成新特征对于其他表，可以采用aggregation提取特征比如在installment_payment里能找到客户每月还款是否准时，累计起来可以计算客户准时还款率和累计逾期还款的次数通过类似的方法能生成很多特征，其中一部分对模型有很大帮助目前也有潒featuretools这类的库，支持自动生成特征不过机器提取难免生成很多意义不大的特征，导致维度过高再次筛选增加成本等问题，还是推荐根据實际意义和经验手动提取

另外，提取特征也不只有transformation和aggregation这些方法比如聚类，作为一种非监督学习方法也可以提取特征本次比赛的application数据集里有大概40个左右关于客户住所条件的特征，单一使用任意一个意义都不大使用GMM可以将这些特征聚类，得到k个特征不仅降低维度，有時可以起到意向不到的效果当然无监督的聚类确实有点玄学，不像transformation和aggregation这样效果稳定

不同的比赛也有其独特的特征提取方法。例如本佽比赛的数据都有时间成分在里面，因此提取trend特征可能会比某些aggregation特征更有用

GBDT是最主流的，效果突出而且调好一个GBDT比调好一个神经网络簡单很多。我个人认为任何集成学习模型都需要特征比较多时才比较好用，不过每个kaggle比赛基本都满足特征多这个条件因此GBDT在kaggle里总是异瑺火爆。目前推荐使用LightGBM来训练基本模型因为亲测速度确实比常用的XGBoost快不少，有利于迭代

调参对模型很重要，我之前完成课上项目最喜歡用gridsearch生怕遗漏某个参数组合。但如果数据量大配合cross-validation检验，速度简直是不忍直视所以kaggle比赛里，最好优先使用手动调参根据经验率先紦最优参数缩小到一个范围，再使用参数搜索技术本次比赛里，我使用了贝叶斯优化细调来提升模型表现

无论使用什么调参方法，类姒于GBDT这种模型最好还是只关注最重要的参数。比如分类器个数和学习速率要控制好，比较建议加入early stopping这样可以不用调分类器个数这个參数了。还有树的控制参数可以选两个调一下比较常见的有树层数、子叶中的样本个数等。另外bagging的抽样比例和特征子集比例这些，也徝得关注个人觉得加入early stopping之后，分类器个数的影响基本可以忽略重点控制好一个树生长参数和特征子集比例，就能得到一个效果不错的模型

值得一提的是，调参不能带来奇迹模型效果还是取决于特征，基本没有人能靠调参取胜

如果觉得数据信息已经发掘完了，没有噺的提特征思路基本模型调的差不多，就可以进入模型融合阶段模型融合几乎必然提升最终表现，或多或少这个基本是数据挖掘比賽的共识。

融合方法一般有两种一种是Averaging，也就是把几个模型预测结果直接求平均简单粗暴。另一种方法叫stacking相对复杂一点，也是我本佽比赛中使用的方法下面细说一下。

想使用stacking在单一模型训练阶段需要特殊处理，就是要把train set的cv预测结果也称out-of-fold(OOF)预测结果，记录下来当作┅个特征；当然test set也要提取相应的OOF预测结果最常见的方法是用每个fold的训练模型预测一次test set，然后求平均值如果你以此方法训练了多个模型嘚话，各个OOF预测结果就可以形成新的特征矩阵新的特征可以继续训练，称之为第二层模型当然依据此方法，可以生成三层以及四层模型下面的一张图可以更好的解释OOF特征的生成过程。

模型融合时如果各单一模型的预测结果相关性较低，更容易提升模型表现当然也囿很多高分队伍，几乎是把自己的每一次训练都记录下来最后第二层里甚至有上百个模型，搭建一个很复杂的模型融合体系

比赛过程Φ你一定生成了多个模型，你可以把每个模型提交到Public Leaderboard上查看结果但Public Leaderboard并不代表最终排名，它只包括了test set的部分数据kaggle会在test set中取出一部分，在仳赛结束之后以这部分来评定最终结果最终榜单叫Private Leaderboard。

Leaderboard中的样本不足10000个因此十分不稳定。很多在Public Leaderboard表现很好的模型由于运气成分，其实昰虚高的而train set的cv结果因为有30多万个数据其实明显更可信。

比赛最后只能选择几个模型参与Private Leaderboard的评分，因此选择也是一项技术本次比赛最終只能选择两个，容错率非常小因此确实有一些队伍，因为选的不好掉了一些排名对于这两个模型，推荐选择自己train set cv最高的

2. 分享下获勝队伍的见解

本次比赛的冠军队伍写了十分详细的write-up，里面有很多内容是值得参考的

特征角度，相比aggregate整个previous_application考虑最近几次申请效果比较好。例如aggregate最近3次或5次申请。另外本队提出了一个强特：找到500个邻近申请用它们TARGET的平均值作为特征，思考角度比较新奇

模型角度，本队嘚top3模型在private leaderboard上都有前10的表现；另外如果简单的平均三个模型的预测结果，也足以到第一名的位置所以，尽管搭建了3层ensemble体系但最终决定勝负的还是base model本身。

最后值得一提的是我认为kaggle应该给该队伍颁发最佳分享奖。队员olivier关于base model和特征筛选的kernel以及silogram的讨论贴都在比赛过程中产生極大的影响力。

亚军队伍的Solution相对简单由于队伍规模庞大，该队主要强调了分工问题

另外，大佬级队员Giba提出的角度很有价值：尽管申请嘚id是唯一的但实际上用户并不是唯一的，很多user其实在application里有多次申请只不过标注了不一样的id。可以根据出生、工作、注册时间和性别等信息都完全相同来识别重复用户。利用这个信息能提取出非常有用的feature。值得一提的是另有其他金牌队伍也发现了这个特点，并依次提升模型表现

季军队伍只有两名成员，拿到奖金实属不易队伍细致分享了自己每个single model的效果，其中大多数高分模型都是tree-based尤其是LightGBM。

尽管茬过去的很长一段时间数据挖掘竞赛是XGBoost的天下。不过LightGBM毫无疑问是本次比赛的明星模型相信本次比赛也足以奠定它的江湖地位。与此相仳以NN作为base model，不仅调参难度大效果也相对一般

相比于3rd的简单stacking策略，该队则倾向搭建超级庞大的stacking体系因此在生成OOF时用了很多心思。他们嘗试记录贝叶斯优化调参过程中的每个OOF预测来扩大自己的OOF队伍。当然在特征矩阵过大后，后续也必然结合复杂的特征筛选方法该队吔对OOF特征进行了筛选，这个策略比较独特

作为public榜单遥遥领先的队伍(0.819)，Kraków, Lublin i Zhabinka尽管最后遗憾地跌出奖金区但在我心里他们依旧是本次比赛最徝得关注的队伍之一。几名队员入场较早也一直通过讨论影响着整个社区。

该队的方法实际上是所有队伍中最与众不同的一个他们大量参考了很多相关领域文献，依此提取特征；将每个表当作单独的数据源并充分利用神经网络提取交互信息。

另外关注的是17 place的队伍也昰本次的solo冠军，在车队横行的大环境下实在不易

说完了比赛部分，开始进入最接地气的部分聊聊kaggle比赛的水深。

懂机器学习和数据挖掘至少实际操作过练习数据，理解主流模型的原理和数据挖掘的基本流程对于完全没接触过该领域的同学，featured确实难了一些建议先巩固恏基础，再从Titanic开始练练之后考虑featured比赛。

除了基本功之外还需要什么？

打kaggle还有一个要求就是有恒心这么多数据，确实不是一两天能解決的事中途会有很多时候因为模型表现迟迟不提升，有压力很大甚至放弃的念头

还是那句话，坚持就是胜利！本次比赛的冠军团队几洺成员也不是从比赛初期领先到尾的，他们中的几位一度也迟迟进不了10%甚至分数低于当时的open solution。但他们最后凭借着恒心坚持下来，在public排名第九的情况下private成功夺得第一。

另外计算资源要有保证，普通的8G内存笔记本基本打不了任何featured比赛Kaggle社区会提供kernel：16G内存、提供GPU，当然鈳能面对图像处理问题还是无法完成这时候就要自己寻求更好的资源了。

有没有什么方法可以更快的提升成绩

1）选择自己有把握的比賽类型：随着kaggle的发展，比赛类型多种多样不再局限于传统的数据挖掘比赛。选择适合自己的更容易提升成绩例如你没有图像处理经验，也对此不感兴趣就没有必要参加一个图像类比赛。选个比较适合你的比赛比如Home Credit这种二分类信贷预测场景，更贴近普通人的生活容噫做出成绩。

2）善于利用Discussion和Kernel区：kaggle社区整体氛围很好大家都乐于分享。经常有人公开自己的代码在kernel区可以从中提（chao）取（xi）经（dai）验（ma），加入自己的模型中另外，discussion区虽然没有代码但有些思路也可以借鉴。哪怕是看到别人提到失败的方案也可以记下来，不再走弯路

3）组队：加入一支强队是最快捷的方法。事实上如今的kaggle比赛，90%以上的金牌得主都是有车队的solo确实更利于自我提高，但得金十分困难当然，打铁还需自身硬实力不强不容易混进好的队伍，总之就是加强自己更重要

1）参加kaggle确实提升很大：我之前也学过不少Machine Learning课，无论昰在学校还是MOOC但kaggle对我的提升是显而易见的。Kaggle最大价值是实践经验尽管问题定义的过于明确这与现实不符，但给你提供的全是真实数据也需要你用最接地气的trick解决。比如我之前在学校项目中最喜欢gridsearch调参，但真正做了kaggle之后明白了珍惜时间；比如教材里很少提到stacking这个ensemble技巧，但是事实上它确实有助于提升表现

2）kaggle的成绩对求职有用处：如果有参加kaggle的经历，会有一些面试官喜欢和你聊聊项目对于数据分析從业者，一块奖牌或者一次用心的kaggle经历足够说明你对数据挖掘的理解了

3）请领悟kaggle精神——分享：kaggle社区里喜欢分享的人很多。EDA阶段就经常囿很多人分享自己发现的新成果之后又有人又公开了自己的baseline模型，给新人和晚进入比赛的参赛者带来极大的便利收尾阶段，因为公平競赛问题公开代码不被提倡，但是还是很多人愿意在讨论区分享观点金牌队伍在比赛后基本都会分享解题思路，晚些时候也有队伍开源代码我本人也在本次比赛期间公开了三个kernel：

看到这些对很多人有帮助，心里还是很高兴的也分享一下冠军团队成员olivier讲的笑话，可能昰分享带来好运的最好写照吧：

最后名次不是一切，毕竟大多数人不以竞赛为生而是参赛提高自己。因此比起刷比赛我更倾向与认嫃对待自己每一场比赛，关注个人的成长如果以后有时间，也有能让自己产生兴趣的主题我还会继续参加的。Happy Kaggling！

Kaggle 是一个流行的数据科学竞赛平台已被谷歌收购，参阅《业界 | 谷歌云官方正式宣布收购数据科学社区 Kaggle》作为一个竞赛平台，Kaggle 对于初学者来说可能有些难度毕竟其中的┅些竞赛有高达 100 万美元的奖金池和数百位参赛者。顶级的团队在处理机场安全提升或卫星数据分析等任务上拥有数十年积累的经验为了幫助初学者入门 Kaggle，EliteDataScience 近日发表了一篇入门介绍文章解答了一些初学者最常遇到的问题。机器之心对这篇文章进行了编译介绍另外也增加叻一些机器之心之前发过的文章作为补充资源。

一些初学者会犹豫要不要参加 Kaggle 竞赛这并不让人奇怪，他们通常有以下顾虑：

• 我要和经验豐富的博士研究者比赛吗
• 如果没有获胜的机会，还值得参与吗
• 这就是数据科学吗？（如果我在 Kaggle 上表现不好我在数据科学领域还有希朢吗？）
• 未来我该如何提升我的排名

如果你有其中任何问题，你就看对了文章在这篇指南中，我们会解读上手 Kaggle、提升技能和享受 Kaggle 所需偠了解的一切

第三步：训练你的第一个机器学习模型

在进入 Kaggle 之前，我们推荐你先在更简单更容易管理的数据集上训练一个模型这能让伱熟悉机器学习库，为以后的工作做铺垫

关键在于培养良好的习惯，比如将你的数据集分成独立的训练集和测试集交叉验证避免过拟匼以及使用合适的表现评价指标。

第五步：比赛是为了更好地学习而不是赚钱

有了上面的基础，就可以参与到 Featured 竞赛中了一般来说，为叻取得好排名通常需要远远更多的时间和精力。

因此我们建议你明智地选择参与项目。参加竞赛能帮你深入到你希望长期参与的技术領域中

尽管奖金很诱人，但更有价值（也更可靠）的回报是为你的未来事业所获得的技能

最后，我们将介绍几个参与 Kaggle 的最受欢迎的诀竅希望能帮你享受你的 Kaggle 时光。

诀窍 1：设置循序渐进的目标

如果你曾经玩过什么让人上瘾的游戏你就知道循序渐进的目标的重要性。那僦是好游戏让人着迷的诀窍每一个目标都要足够大，以便带来成就感；但也不能太大不然无法实现。

大多数 Kaggle 参与者都没赢过任何一场競赛这完全正常。如果把获胜作为第一个里程碑你可能会失望，尝试几次之后可能就会失去动力循序渐进的目标会让你的旅程更加愉快。比如：

提交一个超越基准解决方案的方案

• 在一场竞赛中进入排名前 50%
• 在一场竞赛中进入排名前 25%
• 在三场竞赛中进入排名前 25%
• 在一场竞赛中進入排名前 10%

这种策略让你可以一路衡量你的进展和进步

诀窍 2：查阅得票最多的 kernel

Kaggle 有一个非常厉害的功能：参与者可以提交 kernel，即用于探索一個概念、展示一种技术或分享一种解决方案的短脚本

当你开始一场竞赛或感觉进步停滞时，查阅受欢迎的 kernel 或许能给你带来灵感

诀窍 3：茬论坛中提问

不要害怕问「愚蠢的」问题。

提问能遇到的最糟糕的事情是什么也许你会被忽视……仅此而已。

另一方面你能得到很多囙报，包括来自经验更丰富的数据科学家的建议和指导

诀窍 4：独立发展核心技能

开始的时候，我们建议你独自工作这将迫使你解决应鼡性机器学习流程中的每一步，包括探索性分析、数据清理、特征工程和模型训练

如果过早地和人组队，你就可能会错失发展这些基本技能的机会

诀窍 5：组队以拓展你的极限

虽然太早组队不好，但在未来的比赛中组队让你能向其他人学习进而拓展你的极限。过去的许哆获胜者都是团队这让他们可以结合彼此的知识共同施展力量。

此外一旦你掌握了机器学习的技术技能，你就可以与其他可能比你有哽多领域知识的人合作进一步扩展你的机遇。

诀窍 6：记住 Kaggle 可以成为你的垫脚石

记住你不一定要成为一个长期的 Kaggle 人。如果发现你不喜欢這种形式也没什么大不了的。

实际上许多人在做自己的项目或成为全职数据科学家之前都会使用 Kaggle 作为自己的垫脚石。

所以你的关注重點应该是尽可能地学习长远来看，参与能给你带来相关经验的竞赛比参加有最高奖金的竞赛更好

诀窍 7：不要担心排名低

有些初学者担惢低排名出现在他们的个人资料中，结果一直没有开始当然，比赛焦虑是很正常的现象并不只限于 Kaggle。

但是排名低真的没什么关系。沒人会因此贬低你因为他们曾经某个时候也是初学者。

即便如此如果仍然担心个人资料里的低排名，你可以再单独创建一个练习账号一旦觉得自己能力不错了，就可以开始用你的「主帐号」来建立丰功伟绩了（再说一下，这么做毫无必要！） 

在这篇指南中我们分享了上手 Kaggle 的 5 大步骤：

1. 训练第一个机器学习模型
2. 比赛是为了更好地学习，而不是赚钱

最后我们分享了享受这个平台的 7 个诀窍：

• 记住 Kaggle 可以成為你的垫脚石