微软开源的梯度提升框架，直方图算法让训练更快、内存占用更低，适合大规模特征。

LightGBM：训练快、内存省的梯度提升框架

如果你手头有一份特征维度很高、样本量也不小的表格数据，跑 XGBoost 时被训练时间和内存卡住过，那 LightGBM 值得你花半小时认真看看。它是微软开源的梯度提升决策树（GBDT）框架，核心卖点很直接：直方图算法把连续特征离散成固定数量的桶，训练速度明显快于传统的预排序方案，内存占用也降下来了。做风控评分卡、点击率预估、销量预测这类任务的算法工程师和数据科学家，基本都会把它放进工具箱。

它到底快在哪

传统 GBDT 在每次分裂节点时，要对特征的所有取值排序找最优切分点，特征一多、数据一大，这部分开销就很可观。LightGBM 换了个思路：先把每个特征的连续值分桶成直方图，之后找分裂点只需要在桶上扫一遍。桶的数量是可控的，默认 255 个，这意味着无论原始特征有多少个不同取值，单次分裂的计算量都被压在一个常数级别。

在此基础上，它还有两个关键设计。一个是 Leaf-wise 的生长策略，每次从当前叶子节点里挑分裂增益最大的那个继续长，而不是像 Level-wise 那样一层层铺开。同样的叶子数量下，Leaf-wise 通常能得到更低的训练误差，代价是需要用 num_leaves 和 max_depth 控制树的复杂度，否则容易过拟合。另一个是单边梯度采样（GOSS），保留梯度大的样本、对梯度小的样本随机采样，在不大幅损失精度的情况下减少计算量。

稀疏特征和大规模数据的处理

高维稀疏场景是 LightGBM 的舒适区。它用 EFB（Exclusive Feature Bundling）把互斥的稀疏特征捆绑在一起，相当于减少了有效特征数。这对 one-hot 编码后动辄几千上万维的数据特别友好，训练时不用再为稀疏矩阵的内存发愁。类别特征也支持直接输入，不需要事先做 one-hot，框架内部会用类似直方图的方式处理，省掉一轮特征工程。

和 XGBoost 相比，LightGBM 在数据量大、特征维度高的场景下优势更明显，训练时间常常能差出几倍。数据量小的时候两者差距不大，这时候选哪个更多看团队习惯和调参经验。

上手和生态

安装很省事，pip install lightgbm 就能跑，Python、R、C++ 都有接口，也提供了命令行版本。参数体系不算少，但常用的就那么几个：learning_rate、num_leaves、min_data_in_leaf、feature_fraction、bagging_fraction。官方文档（就是你现在看的这个站点）结构清晰，参数说明、调参指南、GPU 训练、分布式训练都有专门章节，示例代码可以直接复制来改。

社区方面，它在 Kaggle 竞赛里出场率极高，遇到问题搜一下基本都能找到现成答案。如果你的数据是结构化的表格，又对训练效率有要求，从 LightGBM 开始试是个稳妥的选择。

常见问题

LightGBM 是什么？

微软开源的梯度提升框架，直方图算法让训练更快、内存占用更低，适合大规模特征。

LightGBM 的官方网站是什么？

LightGBM 的官方网站是 https://lightgbm.readthedocs.io/，可直接在浏览器中打开使用。