生成式AI时代已至 亚马逊云科技如何引领云上创新?

从蒸汽机、电气再到如今的互联网,每一次工业革命的背后都代表着科技的飞速发展和人类文明的巨大进步,如今随着生成式AI的火热发展和广泛应用,以人工智能为代表的新一轮科技浪潮正在引领整个社会走向第四次工业革命,作为一种模拟人类智能的前沿技术,AI可以通过自主学习、推理和和自我修正等方式,实现自主的决策和行动,并在医疗保健、金融、交通、教育等领域发挥重要作用。

在这种背景下,很多企业都希望抓住生成式AI的红利,积极利用生成式AI为业务赋能,加速自身数智转型的进程,不过高昂的开发成本和技术投入也让不少企业望而却步,而作为云计算的探索开创者,亚马逊云科技这些年来始终践行创新实践,用来帮助客户突破复杂的技术,实现对科技的惠普。

“亚马逊云科技为千行百业应用生成式AI降低门槛,重塑每个产业,改变每个人的生活。这其中就包括如何兼顾规模与成本,真正让业务收益,如何选择最适合业务场景的模型,如何用企业自己的数据定制并快速行动,当然还有如何充分保护数据的安全隐私的前提下负责人的应用生成式AI,因此亚马逊云科技选择在应用生成式AI的端到端的三个层面进行持续投入。”亚马逊云科技大中华区产品部总经理陈晓建表示。

自研芯片创新夯实基础设施

早在13年前,亚马逊云科技就看到了GPU加速计算芯片的价值,并成为了第一家将GPU部署到云端的云服务提供商,现在GPU服务器已经广泛用于HPC、视频、AI的工作负载等等多种应用。足见亚马逊云科技对底层硬件的重视程度。

现如今面对生成式AI的热潮,亚马逊云科技在今年推出了用于生成式AI和机器学习训练的专用芯片Amazon Trainium2处理器,与第一代相比,性能提升高达整整四倍,而延迟只有第一代的1/10,并针对数千亿甚至数万亿参数的大模型训练做了特别的调优。

但只有硬件显然是不够的,高效率的软硬结合可以更好地释放硬件潜力,因此亚马逊云科技还推出了Amazon Neuron软件开发工具包,可以帮助用户通过很少的代价来更好、更快捷地使用定制化的训练和推理芯片。兼容性方面,Amazon Neuron支持Tensorflow、PyTorch这样常用的ML框架,客户通常只需要几行代码,就能够利用他们已有的知识构建训练和推理管道,来移植到这些全新的硬件上来。

在本次re:Invent 2023全球大会期间,亚马逊云科技还和英伟达共同宣布了几项最新合作:亚马逊云科技将提供首款搭载NVIDIA Grace Hopper超级芯片和亚马逊云科技Ultra Clusters技术的云AI超级计算机;首款使用NVIDIA最新芯片GH200 NVL32 的NVIDIA DGX云即将登录亚马逊云科技;此外,两家公司将共同开展“Project Ceiba”合作项目,将全球最快的GPU驱动AI超级计算机和NVIDIA DGX云超级计算机用于NVIDIAAI的训练、研发、定制化模型的开发,它将拥有1.6万个最新的GH200超级芯片,提供高达65 ExaFLOPS的惊人算力。

最后,为了提高分布式环境下模型训练的效率,亚马逊云科技提供了Amazon SageMaker HyperPod,能够自动管理多达上千台机器的大规模训练环境,自动检测和定位硬件故障,并且能够更换故障的实例和更改配置来自动规避所遇到的这些问题。此外Amazon SageMaker HyperPod还能自动备份,从上次所保持的检查点来恢复训练,从而将训练时间大幅缩短40%。

通过基础模型构建和拓展生成式AI

对很多企业来说,自身在AI方面的需求是随着业务场景和行业属性而变化的,所谓一个模型走天下的情况在现实世界几乎不可能存在。模型选的太复杂,可能会大材小用,选择能力不足的模型,则会白白浪费企业的成本投入。

因此针对模型选择,亚马逊云科技为诸多企业提供了全托管式生成式AI服务Amazon Bedrock,Amazon Bedrock是利用大模型构建和扩展生成式人工智能应用的最简单方法。各行各业的客户已经在使用Amazon Bedrock 重塑他们的用户体验、产品和流程,并将人工智能带入他们的业务核心。

目前Amazon Bedrock已经实现了对Anthropic Claude 2.1和Meta LLama 270B的支持。前者为企业提供了先进的关键功能,包括业界领先的200K标记上下文窗口,而后者则适用于大规模任务,如语言建模、文本生成和对话系统。

此外,由亚马逊云科技自己构建并由Amazon Bedrock独占的基础模型Amazon Titan也包含了多种用例,例如能将文本转换为向量的Amazon Titan Text Embeddings;可以支持聊天机器人问答或文本摘要的Amazon Titan Text Lite;可用于开放式文本生成和对话聊天的Amazon Titan Text Express;能够创建丰富的多模态搜索和推荐体验的Amazon Titan Multimodal Embeddings多模态嵌入模型;以及能够使用自然怨言提示生成高质量图像的Amazon Titan Image Generator等等。

在模型定制方面,Amazon Bedrock支持多种定制化技术,包括通过Amazon Titan Text Embedding实现的RAG增强检索生成;对Meta Llama2、Cohere环境进行微调的能力以及持续预训练。

“持续预训练是一个使用大量未标记数据,比如内部报告、财务计划或者研究成果等等原始文本来提升大模型对于定制领域的知识和推理能力。也就是说这种方式,如果您想在您的专业领域拥有专业的大模型最有效的工具,它可以产生一个实际的大模型的实例,在您的私有环境下跟您的数据相结合,进行持续地训练,这种环境无疑是作为一个深度定制化的最有效方式。”陈晓建总结道。

在模型集成方面,Amazon Bedrock的代理功能可以使生成式AI应用跨公司系统和数据源执行多步骤任务。通过代理功能,客户在进行访问权限等简单设置后即可用自然语言编写要求,随后代理即可自动分析请求并将其分解为逻辑序列,以及采取相应的行动。

最后在数据安全和隐私方面,Amazon Bedrock不会保存任何客户数据用于底层模型的训练,且所有数据在传输和静态时均经过加密,同时支持GDPR和HIPAA等标准。

定制AI助手实现“开箱即用”

对很多企业来说,将生成式AI引入工作场景中后,往往会发现效果并不尽如人意,由于通用的生成式AI应用不了解企业的业务、数据、客户、运营或者员工,因此能力会被极大限制,针对这一现状,亚马逊云科技在今年的re:Invent 2023上推出了专为企业业务量身定制的生成式人工智能工作助手Amazon Q。

Amazon Q的推出对企业来说意义非凡,首先它是亚马逊云科技的专家,由亚马逊云科技17年来积累的知识和经验训练而成,可以在多种界面回答客户提出的各种亚马逊云科技相关的专业问题,例如在Amazon CodeWhisperer中回答开发人员的各种代码相关的问题并附上可一键实施的代码,并提供代码转换功能。

其次,它也是企业业务的专家,其拥有40多个兼容流行数据源的内置连接器,并支持自定义连接器,企业可以轻松将其连接至其业务数据和系统中。Amazon Q可使用身份验证系统来确认用户职能和访问权限,并支持指定话题屏蔽或关键词过滤等管理控制功能。

然后,它也是商业智能专家,支持将其引入多种服务和应用中以提供基于生成式AI的帮助。将Amazon Q引入BI应用Amazon QuickSight中,它能够在几秒钟内响应用户要求,创建精准且美观的月度业务变化的相关描述。

最后,它也是联络中心专家,将Amazon Q引入云联络中心应用Amazon Connect中,它能够根据实时对话检测客户问题,并能够自动回复、给出建议以及提供相关资料。

当然,生成式AI的潜力不止于此,随着物联网的发展和信息化的普及,在未来越来越多的数据都会产生自边缘测,如何快速地将数据整合到数据湖中并将其用于生成式AI是未来的重要方向,亚马逊云科技也在围绕这一方向展开技术创新。

“亚马逊云科技针对生成式AI所提供的三层的工作不光是为底层开发人员构建的,无论是对使用大模型环境的人员,或者对大模型并不了解的只是想使用生成式AI的业务人员,我们都提供了完整的解决方案。当然在生成式AI时代,拥有强大的模型是远远不够的,通过亚马逊云科技构建的强大数据基石,企业可以具备全面的数据能力,并使这些能力能够在不同的环境中打通,在不同的产品之间流通,并且在应用中实现可治理和可管理。”陈晓建在最后表示。

云计算通俗讲义(第4版)¥ 88.4 京东 购买