JFrog:人工智能/机器学习将为DevOps注入全新活力

眼下,人工智能(AI)和机器学习(ML)等赛道被热议,已经成为了习惯。事实上,在DevOps领域,与之相关的话题更是备受瞩目。随着科技不断演进,这三个领域的融合对于企业的数字化转型和多层次的创新发挥着越来越重要的作用。基于这一庞大的市场规模的增长源于基于云的技术和自动化工具的广泛应用,JFrog便立志要推进DevOps在具体业务中的实践。本文将探讨,在未来短期之内,由于AI和ML等技术的采用,企业会更加灵活地构建、部署和管理应用,从而提高整体业务敏捷性的趋势。

AI和ML的崛起为DevOps注入了全新的活力。通过AI和ML的引入,企业能够更加智能地进行运维和决策,从而优化工作流程、降低错误率,并实现更高效的自动化。这一趋势在全球初创企业和大型企业中都得到了广泛的应用,推动了整个DevOps生态系统的蓬勃发展。在全球范围内,初创企业积极采用这些先进技术和工具,以提高其竞争力并快速适应市场变化。大型企业则逐渐意识到,特别在数字时代,采用云原生、AI和ML等技术不仅是一种趋势,更是提升企业创新力和业务效率的关键所在。因此,它们纷纷投身于这些技术,通过数字化转型赋能业务。

1. AI和ML对于DevOps的影响

首先,随着运维机器,包括版本发布频率的不断增加,未来如果有成熟的产品,通过AI工具实现自动化将成为可能。特别是在测试领域,AI测试的自动化实现将会得到强化,其学习能力的提升将显著帮助开发者。因此,AI对于Ops团队和开发者的支持将实现显著提升。

其次,模型的安全性也将成为一个重要关注点。Hugging Face是一个在互联网上管理大型模型的平台,国内的模型企业通常在这个平台上搜寻最热门的大型模型,例如来自Facebook的模型,并将其下载到本地。然而,其中存在一个潜在的问题就是恶意上传模型的风险。恶意上传者可能在模型中嵌入一些恶意代码,在本地执行模型时就会触发这些恶意代码。这种攻击方式包括但不限于在机器上植入矿机、窃取密码等多种攻击方式。目前,尚无工具能够完全阻止利用模型进行此类投毒攻击。

对此,JFrog可提供一些支持,但模型攻击的方式繁多,对策仍需进一步的研究和发展。另外,还有一种潜在的威胁是利用大型模型如ChatGPT,通过训练使其生成恶意代码。黑客可以通过故意训练GPT以产生恶意回答,当其他人查询时,就会得到这些恶意的回复。这种潜在的威胁也需要引起足够的重视。

2. 良好的基础设施是AI/ML计划实现长期成功的关键

高度可扩展、有弹性、分布式、安全和高性能的基础设施可以决定一个组织的AI/ML 战略的成败。JFrog有客户从事超级计算,并提供机器学习服务,但与此同时,JFrog并未自己使用这些服务,而是将其提供给客户使用。客户的应用场景通常涉及在JFrog的超级计算平台上进行订单操作。若构建一个模型集群,以进行大规模的模型计算。为此,需要在平台上投入资金,首先购买所需的计算机资源,其次购买模型,还需要相关的监控服务。用户在完成支付后确认订单,此后所有操作都依赖于JFrog系统平台的分布式、可用性、安全性和高性能的基础设施即可实现。

由于模型文件非常庞大,甚至单个文件就可能达到100GB,而用户可能分布在全球各地。假设模型文件存储在用户位于北京的总部,但用户需要在西安的分公司进行训练,这就要求将整套与模型相关的文件立即传输到西安。因此,解决如何快速而又确保成功地将100GB的文件传送到西安,成为了当务之急。众所周知,这些文件传输可能经过公共网络,因此可能引发许多性能问题。这些模型的学习运算操作都依赖于底层基础设施,为实现本地建设和部署则需要大量的资源,而JFrog会将这些因素都纳入考虑。

3. AIOps和MLOps的应用情况及优势

互联网企业因需要管理大量的机器,对于AIOps的需求非常高。AI能够智能地预测流量的变化,识别高峰和低谷,并智能地分配资源,这是互联网领域非常基本和重要的需求。比如在金融领域,对于AI运维平台的使用并不是那么频繁,尽管对于一些错误日志分析有需求,需要在出现故障时利用AI工具快速定位并解决问题,但金融行业对于超前采用AI管控运维的意识并不是很强烈。

MLOps通常是由大型互联网企业所推动,在这个环节中,JFrog也能够提供支持。因此,一些大型企业在这方面的落地较为顺畅,他们将模型开发的能力赋予了DevOps工具平台上,使得这个过程更为奏效。

4. AI/ML应用过程中需关注的安全问题

JFrog关注到,北美用户对安全问题的投入已经达到了一个非常高的水平,软件工程师及企业的首席信息官普遍具备安全意识,他们会主动采用安全措施。早前,就有名为软件供应链安全SBOM被制定和发布,目的是定义软件供应商提供的软件包含哪些成分,每个成分的开源组件使用什么样的许可证,存在什么样的漏洞,这些都是必需的信息。在国内,企业并没有这样的要求,相关的标准也没有完全形成,中国信息通信研究院正在致力于这项工作。未来,伴随相关标准和法规的出台,这将引导企业采用开源治理来保障其软件的安全。在这种情况下,每个企业都将不得不在DevOps流程中加入软件包的安全考虑,这就是一个明显的趋势。

JFrog Xray专注于漏洞扫描,只需将软件包上传到制品库,就能自动生成SBOM软件物料清单。相信在2024年,它将变得非常流行,并成为每个企业都必备的工具。

对于AI工具如何赋能研发团队,部分企业已经开始利用一些高端芯片进行机器学习,为开发者提供代码补全的能力。当然,这是为了帮助开发者更快、更好地编写代码。与众不同的是,JFrog更加注重支持模型供应链。企业要训练模型,首先需要从互联网获取模型,然后管理和训练这个模型。在模型中,需要编写自己的代码,重新训练模型,最终发布自己的模型。因此,JFrog在模型开发方面提供了对整个端到端生命周期的支持,包括模型内的漏洞扫描和license储备器,以确保为企业提供全方位的保障。

2024年,AI和ML将继续深刻地塑造DevOps领域,通过自动化执行和智能决策提高整个开发和运维过程的效率,从而减轻开发团队的负担,为团队提供更高效、智能和创新的开发和运维解决方案。随着技术的不断进步,这些趋势有望进一步推动DevOps实践的发展,使其更适应快速变化的业务需求。

官网 机器学习实战 基于Scikit-Learn Keras和TensorFlow 原书第2版 奥雷利安 深度学习 人工智能指南教程¥ 101.3 京东 购买