Machine Learning 科技小本子

为什么频繁主义者的机器学习方法比贝叶斯方法更成功？

人们经常将贝叶斯方法称为考虑了我们不确定性的方法。总而言之，这通常可以提高数据效率，并且可以更好地泛化到看不见的数据，但是在计算上也具有挑战性，并且在概念上更加复杂。例如，标准的神经网络是一个常客模型，我们只考虑一个具有随时间更新的特定权重集的神经网络。从贝叶斯角度来看，最能解决我们问题的权重值是未知的。因此，我们根据训练示例为我们更新的每个权重建模一个分布。为了做出预测，我们可以为每个权重采样一个具体值，或者更好地，对所有可能的权重（通过训练获得的权重分布进行加权）计算平均预测。贝叶斯方法在这里通常数据效率更高，并且泛化效果更好。同时，它在计算上更昂贵，概念上也更复杂。这是频繁主义者方法在机器学习中占主导地位的主要原因。目前，贝叶斯模型在较小的数据上能够做出更好的预测，但是许多人正在努力将其扩展到可用于许多任务的大型数据集。

机器学习课程需要什么数学？

正如其他人之前提到的，它将主要归结为统计和线性代数。但是，我很惊讶答案如此模糊。您可以专长于许多不同的技术，因此我将尝试提及一些可以开始的地方。希望它将使您意识到，有很多内容要涵盖，以及如何开始这样做。线性代数主题：向量和矩阵矩阵乘法与变换特征向量分析线性方程组学习的好地方：微积分| 可汗学院线性代数| 可汗学院线性代数 http://cs229.stanford.edu/sectio… 结石…

可以有无监督的回归吗？

有点-您不会发现使用此术语，但是我认为可以将混合模型视为无监督回归。在回归问题中，您具有某些函数形式[math] y = f（x），[/ math]您同时具有[math] x [/ math]值和[math] y [/ math]值，并且您重新尝试确定[数学] f（x）[/数学]的形状。* 在诸如聚类之类的标准无监督学习问题中，您有一堆[math] x [/ math]，并且您试图将它们分类为明智的类别。有时，将这些聚类解释为某个[math]…

2017年最重要的机器学习进步是什么？

很难相信只有一年的时间……在AI和机器学习领域发生了太多的事情，很难将其归纳为一个答案。这是我的尝试。不要期望太多的细节，但希望有很多链接可以跟进它们。如果必须选择本年度的主要亮点，则必须使用AlphaGo Zero（纸张）。这种新方法不仅在某些最有希望的方向上有所改进（例如，深度强化学习），而且还代表了范式转变，在这种模式下，此类模型无需数据即可学习。最近我们还了解到Alpha Go Zero可以推广到其他游戏，例如国际象棋。您可以在Quora答案中阅读有关我对这一进步的解释的更多信息。最近的一项元研究发现，在GANs相关研究论文的报告指标中存在系统性错误。尽管如此，不可否认的是，GAN继续呈现出令人印象深刻的结果，尤其是在将其应用于图像空间时（例如，渐进式GAN，pix2pix中的有条件GANS或CycleGans）。由于今年的深度学习，NLP是另一个取得了令人瞩目的进步的领域，即NLP，尤其是翻译。 Salesforce提出了一种有趣的非自回归方法，可以解决完整的句子翻译问题。也许更具突破性的是Facebook和UPV提出的无监督方法。深度学习在临近家庭的领域也发挥着巨大的影响：推荐系统。但是，最近的一篇论文也通过展示像kNN这样的简单方法在深度学习方面的竞争力，也质疑了一些最新进展。就像GAN研究一样，令人难以置信的是，人工智能研究的快速发展也可能导致科学严谨性的损失。…

在二元情感分析中，将低可信度文本视为第三中立类是否合理？

当然！当许多污物进入二元分类问题时，它们通常会将正分类的临界值设置为> = 0.5。然而，随着我们变得更加开明，我们了解到这样的阈值是任意的，并且误报率急剧上升。因此，我们进行了进一步的分析，并尝试找到理想的阈值，该阈值可将误报率保持在较低水平，而将真率保持在较高水平，但又避免数据集过拟合-是的，正如您所猜测的那样，无法通过多种措施来改善它们所以我们做出让步。（找到理想阈值的另一种方法是使用弯头方法，但您可以自己搜索它）简而言之，可以将阈值设置为任意值–如果您查看许多ML库的源代码，则它们会将其设置为0.6。

对机器翻译进行真实案例训练，开发和测试数据集通常是一个好主意吗？

它在很大程度上取决于基础翻译算法。在使用真实案例数据进行训练时，有些算法效果更好，而在没有真实案例数据的情况下训练某些算法效果更好，但必须将结果通过真实案例算法传递（通常更容易构建）。以神经机器翻译为例，这是一种基于递归神经网络模型的翻译算法。基于单词的神经机器翻译（NMT）可以从较低的数据存储量中受益，因为vocab的大小会更小，从而使网络的softmax层更轻松。使用小写数据训练的基于单词的NMT系统可以具有更好的测试困惑，这与更高的翻译质量高度相关。但是，基于单词的NMT系统使用启发式将单词标记为共享的片段，可以提供更高的翻译质量，而无需降低单词的大小写。词片标记器考虑大写和小写字母，构建具有合理大小的词片“词汇表”以供softmax层学习，并且不需要后续的大小写校正系统，这很容易更多错误。因此，将真实案例数据用于培训和开发是一个只能凭经验进行测试的决定。但是，测试数据以及其他措施（例如BLEU，TER等）应为真实情况。使用大写/小写是语言和语法的复杂功能，不应仅由于某些算法困难而忽略该功能。

哪种数据挖掘和机器学习平台更适合初学者？

有几个很好的数据挖掘和机器学习平台，它们对初学者都非常友好，并且需要最少的编码。这是一篇可能会让您感兴趣的帖子，其中有19个面向初学者的数据科学工具。刚开始时，我使用RapidMiner和Alteryx进行数据挖掘，并使用Weka进行机器学习。它们是专为初学者和非开发人员的需求而设计的。我强烈建议您检查一下！最后，这是一个非常不错的网站，可供您搜索可比较的软件Alternatives和类似的软件– AlternativeTo.net，我相信您会发现在决定使用哪种工具时会有所帮助。使用这些工具，您将立即挖掘数据并构建出色的模型。

当我用10倍CV获得良好的F量度结果但在测试数据上获得差的结果时，如果我将原始数据集划分为训练/验证集中的结果相似，那意味着什么？我在验证中获得了良好的结果，但在测试集上却获得了较差的结果。

凭直觉我会依次看三件事数据集：特征/尺寸的比例是多少？不同集合相对于特征有多大？低于某个p / n水平，性能测量在数学上是没有意义的。模式：它有多灵活？太多二次方会适得其反。数据准备是否正确完成（尤其是如果您具有灵活性）？你有多余的功能吗？共线性？您是否怀疑协同效应（由于x2，x3仅是回归器或多数是回归器）等？目前尚不清楚您的简历的设置方式。也许我没看清楚这个问题。我假设您每次都在整个集合中创建10折，在训练和测试之间创建不同的方差混合。如果不是，您可能想要这样做，然后在CV上运行新模型，请参阅它们的比较。

Yandex机器学习过程使用什么算法？

Yandex最近发布了CatBoost [1]（分类增强）算法。 CatBoost可以在决策树库中提供梯度增强功能，并且具有开箱即用的分类功能支持。该版本显示，巨头们仍然使用经典的机器学习算法，而不仅是深度学习技术。众所周知，神经网络特别擅长处理同构数据，但是当数据是由数字和分类特征组成的异构数据时，良好的旧梯度提升就可以发挥作用。目前已实现Python和R支持。您可以在基准[2]页面上的不同数据集上找到比较结果。 Yandex正在使用CatBoost改善搜索结果，对Yandex.Dzen的建议进行排名并预测天气。脚注 [1] CatBoost [2] Catboost /基准

是否有逻辑回归，线性回归，SVM，PCA，K-means或任何其他机器学习算法的多目标版本？

我建议您改写这样的问题，例如，是否存在针对（半）监督和非监督的多用途算法？甚至更好的是，有（半）监督和无监督的“数学工具”吗？为什么改写？您应该首先关注透视图，然后再关注模型。无监督学习用于发现数据中的隐藏结构，以标记数据。另一方面，监督学习用于在给定一组输入变量的情况下预测某些输出变量。如果您的问题是上述第二个重述问题，那么“数学工具”可以是贝叶斯非参数模型，例如从Dirichelt过程中使用贝叶斯非参数模型对无监督学习进行聚类。高斯过程可用于监督学习中。有关https://doi.org/10.1016/j.jmp.20…的更多详细信息，