云核算将会是未来社会的基础设施,把握云核算的技术,对个人来说提升工作发展层次,对企业来说把握云核算核心技术,将取得极大竞争力。在云核算中机器学习是重要一环,下面和我们聊聊云核算所需的5种机器学习技术。
1. 数据工程
如果IT专业人员想在云渠道实施任何类型的人工智能策略,都需求了解数据工程。数据工程包含一系列要求数据收拾和工作流开发的技术,以及一些软件架构的常识。
IT专业常识的不同范畴能够分解为IT专业人员应该完结的不同使命。例如,数据收拾通常触及数据源标识、数据提取、数据质量评价、数据集成和管道开发,以在生产环境中履行这些操作。
数据工程师应该能够轻松地运用关系数据库、NoSQL数据库和对象存储系统。Python是一种流行的编程语言,能够与批处理和流处理渠道(如apachebeam)和分布式核算渠道(如apachespark)一起运用。即便IT人员不是精通Python程序的专家,把握一些Python语言的常识将使其能够从很多的开源东西中获取数据工程和机器学习。
数据工程在所有主要云渠道中都得到了很好的支撑。AWS公司供给了全面的服务来支撑数据工程,例如AWS Glue,适用于Apache Kafka的Amazon Managed Streaming(MSK)和各种Amazon Kinesis服务。AWS Glue是数据目录以及提取、转化和加载(ETL)服务,其间包含对计划作业的支撑。MSK是数据工程管道的有用构建块,而Kinesis服务关于布置可扩展流处理管道特别有用。
谷歌云渠道供给了Cloud Dataflow,这是一项保管的Apache Beam服务,能够支撑批处理和Steam处理。关于ETL流程,谷歌云渠道供给了基于Hadoop的数据集成服务。
Microsoft Azure也供给了几种保管数据东西,例如Azure Cosmos DB、Data Catalog和Data Lake Analytics等。
2. 建立模型
机器学习是一门正在不断发展和进步的学科,IT人员能够经过研讨和开发机器学习算法来从事自己的工作。
IT团队运用工程师供给的数据来构建模型和创立能够提出建议,预测值和对项目进行分类的软件。重要的是要了解机器学习的基础常识,即便许多模型构建进程都是在云中主动完结的。
作为模型构建者,需求了解数据和事务方针,制定问题的解决方案,并了解怎么将其与现有系统集成的工作。
市场上的一些产品包含谷歌公司的Cloud AutoML,这是能够协助组织运用结构化数据以及图画、视频和自然语言来构建自定义模型的服务,而无需对机器学习有更多的了解。 微软Azure在Visual Studio中供给了ML.NET模型构建器,该模型构建器供给了用于构建、练习和布置模型的界面。Amazon SageMaker是另一项保管服务,用于在云中构建和布置机器学习模型。
这些东西能够选择算法,确认数据中哪些特征或属性最有用,并运用称之为超参数调整的进程优化模型。这些服务扩展了机器学习和人工智能策略的潜在用途。正如人们驾驭汽车不必成为汽车机械工程师相同,IT专业人员也不需求取得机器学习的研讨生学位来构建有效的模型。
3. 公正与误差检测
算法做出的决策直接而显著地影响个人。例如,金融服务运用人工智能来做出有关信贷的决策,这或许会无意中对特定人群产生成见。这不仅或许有回绝信贷对个人带来的影响,而且还会使金融机构面临违反《相等信贷时机法》等法规的危险。
这些看似艰巨的使命关于人工智能和机器学习模型是必不可少的。检测模型中的误差或许需求具有统计和机器学习技术,可是与模型构建相同,某些深重的工作能够由机器完结。
FairML是用于审阅预测模型的开源东西,可协助开发人员识别工作中的成见。检测模型误差的经历还能够为数据工程和模型构建进程供给协助。谷歌云的公正性东西在市场上抢先,其间包含假设剖析东西、公正性指标和可解释的人工智能服务。
4. 模型功能评价
模型构建进程的一部分是评价机器学习模型的功能。例如,依据准确性和召回率对分类器进行评价。回归模型(例如那些预测房子出售价格的模型)是经过丈量平均误差率来评价的。
现在体现良好的模型将来或许会体现欠安。问题不在于该模型是否以某种方式被破坏,而是该模型是依据不再反映其运用环境的数据进行练习的。即便没有突然的重大事件,也会产生数据漂移。重要的是评价模型并在生产中持续对其进行监督。
Amazon SageMaker、Azure Machine Learning Studio和Google Cloud AutoML等服务包含一系列模型功能评价东西。
5. 范畴常识
范畴常识并不是一种特定的机器学习技术,但它是成功的机器学习策略中最重要的部分之一。
每个职业都有一定的常识系统,云核算也是,有必要以某种才能进行研讨,特别关于构建算法的决策者。机器学习模型遭到束缚以反映用于练习它们的数据。具有范畴常识的IT人员关于知道在哪里应用人工智能,并评价其有效性至关重要。5种机器学习技术便是今日 和我们分享的内容,期望对我们有所协助。