谈球吧官方网站-体育技术平台

全国咨询热线

021-62492477

您的位置: 主页 > 新闻动态 > 企业新闻

「布道师系列」杨健——算法、模型、框架、平台是些什么鬼?

发布时间:2026-08-01人气:

  

「布道师系列」杨健——算法、模型、框架、平台是些什么鬼?(图1)

  ,通常做软件开发的同学第一时间想到的是排序算法、搜索算法、图遍历算法、加密算法等等,但在机器学习领域说算法我们可能指的是用于解决分类或者回归问题的逻辑回归、贝叶斯分类、随机梯度下降。

  本文中我们讨论这些概念或名词并不追求在学术层面的准确性和严谨性,更多的目的是对这些概念有个初步的理解,在后面的内容中提及这些名词的时候大家知道我们说的是什么。

  这里提到的算法我们特指机器学习算法,简单的说机器学习算法就是用来学习、训练一个模型的计算方法,这个模型可以用于解决几类问题:

  分类问题:推断明天的天气是晴天、多云、下雨。推断一张图片里面的动物是什么。

  常见的算法包括:线性回归、逻辑回归、决策树、KNN、支持向量机、朴素贝叶斯、感知机等等,下面有一张在不同分类维度下常用机器学习算法的图表:

  为了不陷入机器学习的知识黑洞这里不展开对算法的讨论,有兴趣的同学建议翻阅专业资料,国内比较扎实的入门读物推荐李航老师的《统计学习方法》和周志华老师的《机器学习》,吴军博士的《数学之美》可以作为酒菜,味道鲜美可口。

  模型是机器学习输出的结果,使用模型可以输入相应的特征从而得到一个预测结果。传统机器学习算法输出的可能是一个概率分布,也可能是一个决谈球吧论坛策函数,在深度学习中输出的是一个神经网络架构和神经元上的权值信息。

  我们千辛万苦的建模过程,从数据加工、特征提取、特征变换、算法选择、模型训练、评估、调参,最终的目的就是得到一个理想的模型。

  训练好的模型可以导出成一个模型文件,模型文件在指定的运行时环境中可以加载成模型对象用于预测。

  上文中说到的算法通常在书本上可以看到它的原理和相关的统计模型、数学模型的推导过程。让算法能应用到现实工作中需要使用计算机语言编程实现算法的计算过程,所以我们比较熟悉的Scikit-learn、MLLib、Tensorflow这些就是实现了一系列算法的机器学习框架。

  完整:具备端到端的机器学习建模能力,能够完成特征加工、模型训练、模型评估、模型输出、模型预测全部任务。

  易用:提供友好的API接口,可以快速、简单的完成模型训练。为多种编程语言提供API接口。

  Scikit-learn:基于Python的通用机器学习框架,主要提供传统机器学习算法

  H2O:提供高性能的机器学习算法,同时也提供了分布式训练的框架以及基于GPU完成高性能训练的算法库

  Tensorflow:Google开源的用于深度学习的计算引擎和算法框架

  机器学习框架更详细的特性解析和身世背景请看我接下来会发布的另一篇文章:《机器学习框架那些事》

  我们介绍了机器学习算法、模型、框架的含义,在现实中我们在本地的笔记本电脑上通过简单的pip命令指定一个合适的机器学习框架安装到操作系统中,就已经具备训练模型的全部条件。搭建一个训练环境最基本的条件包括:

  上图就是一个最基础的机器学习训练平台,很多数据科学家在做建模探索和验证阶段,都是在自己的电脑上完成的。是的,机器学习并不要求非常苛刻的谈球吧论坛条件,但在本地电脑上做模型训练有时也会遇到各种困扰:

  ● 我们的训练数据通常存储在后台数据库或是大数据集群上,需要定期的导出到本地更新数据集。

  ● 如果需要用到多个不同的算法框架,在环境管理和维护上是一个非常复杂的工作。

  ● 模型在不断的调优和迭代,模型的版本难以管理,模型和对应的训练代码之间很难保持一致关系。

  这还是单兵作战遇到的问题,如果是在一个团队中通过协作完成建模任务会遇到更多更复杂的问题。解决问题的办法就是搭建一个可以满足团队协同工作的分布式机器学习平台,当然我们推荐使用DataCanvas APS。

推荐资讯

021-62492477