如何为 LightGBM 的 mmlspark 实现设置 n_estimators

如何解决如何为 LightGBM 的 mmlspark 实现设置 n_estimators

我正在使用 LightGBMRanker 的 mmlspark 版本（但同样的问题似乎适用于 LightGBMClassifier 等） - 在实例化估算器时，似乎没有办法设置“n_estimators”参数存在于LightGBM 的普通（非火花）版本。

这基本上设置了集合中树的数量..有谁知道如何做到这一点，或者是否以某种方式自动设置？

谢谢！

解决方法

根据 mmlspark 的测试，在 Scala 中您可以使用实例方法 .setNumIterations()。

def baseModel: LightGBMRanker = {
    new LightGBMRanker()
      .setLabelCol(labelCol)
      .setFeaturesCol(featuresCol)
      .setGroupCol(queryCol)
      .setDefaultListenPort(getAndIncrementPort())
      .setRepartitionByGroupingColumn(false)
      .setNumLeaves(5)
      .setNumIterations(10)
}

参考：https://github.com/Azure/mmlspark/blob/36ee274e93e1f7a07fc863061ad726e5ca5b49ee/src/test/scala/com/microsoft/ml/spark/lightgbm/split2/VerifyLightGBMRanker.scala#L62

如果您在 Python 中通过 mmlspark 使用 pyspark，您可以在估算器的构造函数中设置 numIterations。

from mmlspark.lightgbm import LightGBMRanker

features_col = 'features'
query_col = 'query'
label_col = 'labels'
lgbm_ranker = LightGBMRanker(
  labelCol=label_col,featuresCol=features_col,groupCol=query_col,predictionCol='preds',leafPredictionCol='leafPreds',featuresShapCol='importances',repartitionByGroupingColumn=True,numLeaves=32,numIterations=200,evalAt=[1,3,5],metric='ndcg'
)

参考：https://github.com/Azure/mmlspark/blob/663d9650d3884ece260a457d9b016088380c2cb9/notebooks/samples/LightGBM%20-%20Overview.ipynb

在 LightGBM 中，n_estimators 和 n_iterations 都表示相同的意思，如 https://lightgbm.readthedocs.io/en/latest/Parameters.html#num_iterations 所述。