关于ZAKER 一起剪 合作 加入
CSDN 2021-12-06

阿里灵杰,让 AI 工程化由畅想照进现实

在 Gartner 发布的《2021 年重要战略科技趋势》中,"AI 工程化 " 毫无意外地被列为了 2021 年九大重要战略科技趋势之一。半个世纪以来,AI 技术从概念性地提出到蜻蜓点水般在千行百业中应用,人工智能产业正经历前所未有的发展高峰期。但谈及真正意义上的 " 落地 "," 工程化 " 仍是绕不过的一项关键难题。

在今年 10 月举办的云栖大会上," 阿里灵杰 " 横空出世,犹如石投静水,激起千层涟漪,引发了行业内外的热议。12 月 3 日," 阿里灵杰 AI 工程化峰会暨英特尔创新大师杯颁奖典礼 " 于线上成功举办。在本次峰会上,阿里云面向开发者聚焦阿里灵杰平台层的能力,从多维角度进行了深度解析。

AI 开发者的奇幻漂流:人工智能下半场,来自开发者的呼声

阿里巴巴集团副总裁、阿里云计算平台事业部负责人、达摩院 AI 平台负责人贾扬清为参会者讲述了他作为一个 AI 开发者在人工智能技术起起伏伏发展历程中的所闻、所感与所想。在少年派的奇幻漂流故事中,我们见证了大自然的波澜壮阔与信仰的力量;而在贾扬清的描述中,我们领略到一个 AI 老兵,虽不那么 " 奇幻 ",但足够精彩的开发故事。

阿里巴巴集团副总裁、阿里云计算平台负责人、达摩院 AI 平台负责人贾扬清

在人工智能上半场中,AI 开发者其实更多的扮演了一个拓荒者的角色,他们身兼数职的同时不断尝试将 AI 算法与应用逐渐落地下去。从算法研究员到软件工程师,从数据工程师再到系统工程师,AI 老兵们不断重复扮演着不同的角色,通过人拉肩扛的方式试图解决 AI 落地过程中产生的全链路问题。

但是,在如今这个时代,这样的方式还是否适用?

答案是否定的。

在 AI 应用愈发复杂的大趋势下,今天的开发者需要应对来自数据、软件、模型三方面的挑战。数据层面,需要解决从模型标注到 AI 应用数据回流全周期的数据问题;软件层面,依然还有很多 AI 框架在不断重复着设计语言、搭建开发环境等基础性工作;模型层面,无论是学术界的 modelhub、工业界提供的各类 AI 服务、亦或是开发者本身拥有的各类模型,都会面临部署、连接以及结合应用的功能实现问题。因此,AI 开发者迫切地需要一个统一的空间来拉通算法迭代、数据管理、模型训练以及项目上线,以便更好地管理资源,实现更加高效地开发。

面对这些痛点,当下开发者与企业在推动 AI 项目落地中对于平台的需求也逐渐明了:

最底层基于云的基础设施有更灵活弹性的资源调配能力

大数据与 AI 平台相互鱼水交融,有机结合的能力

在开发层面完成对 AI 开发者开发效率的提升

在工程平台上完成对 AI 算法的创新

阿里灵杰:平台层基于 AI 三大要素打造核心价值

目前为止,阿里灵杰围绕 AI 开发过程中不同类型的需求,提供一系列拳头产品和方案,开发者可以按需取用。包括大数据 +AI 平台类产品(云原生大数据计算服务 MaxCompute、实时数仓 Hologres、大数据开发治理平台 DataWorks、开源大数据平台 EMR、实时计算 Flink 版、数据检索分析 Elasticsearch,数据湖构建 DLF、机器学习平台 PAI),AI 开放服务类产品(视觉智能、智能语音交互、自然语言处理、智能增长等领域丰富的 AI 原子能力),以及丰富的场景化解决方案(城市大脑、工业大脑、AIEarth、数字人等)。

在大数据 +AI 平台层,据阿里云机器学习 PAI 平台和大数据平台技术负责人林伟介绍,阿里灵杰基于数据、算力、算法的人工智能三要素,打造了独一无二的技术核心竞争力。

阿里云智能研究员、机器学习 PAI 平台和大数据平台技术负责人林伟

数据质量决定模型高度

通过湖仓一体化、数据分析引擎和 AI 一体化以及基于 DataWorks 打造的数据质量监控体系,灵杰围绕数据层面建立了完善的全链路体系以支持开发者进行 AI 模型的开发。

算法开发迭代速度是重要生产力

阿里灵杰基于云原生打造了极具开放性的弹性算力,为用户提供快速迭代算法的基础能力。同时为了帮助客户实现算法模型的落地,阿里灵杰提供了针对模型编译以及部署等流程的优化能力,为大模型提供了从训练到落地的一体化服务。

AI 系统能力是核心能力

围绕超大规模稀疏模型训练及服务、超大规模多模态预训练模型、自动编译、大规模集群调度与 MLOps 能力,阿里灵杰针对工程领域打造了从开发到部署的端到端 AI 系统能力。

PAI 为基底,向上支撑,AI 工程化愿景初成

在本次峰会上,阿里云机器学习 PAI 平台产品负责人黄博远带来了 PAI-AI 工作空间、PAI-iTAG 智能标注、PAI-Designer、PAI-DSW、PAI-DLC 等一系列全新产品的介绍,并针对 M6 大模型的生态体系与开发平台进行了深入解读。

阿里云机器学习 PAI 平台产品负责人黄博远

PAI-AI 工作空间

AI 项目开发过程中,涉及到大量关于算力、存储的资源对接访问。PAI-AI 工作空间能为开发者及团队提供了基于 PAI-DLC、MaxCompute、Flink-VVP 等资源进行分布式训练的对接能力。同时采用基于角色的访问控制方式,可保障空间内工作协同的高效与安全。

针对现有的 AI 资产,工作空间内部采用了细粒度的管理模式,数据集、模型、镜像、代码等 AI 生产资料均可进行管理沉淀及跨模块复用。此外,为了支撑 AI 开发端到端流程一体化需求,PAI-AI 工作空间配备了一站式工作台,支持产品模块向导式链路流转与实例实施快速共享写作。

PAI-iTAG 智能标注

数据是 AI 三要素中的重要一环,如何高效获取高质量的数据是每一位 AI 开发者必须研究的课题。PAI-iTAG 智能标注围绕三大能力层构建了全场景、智能化的标注服务。其中,工具能力层为用户提供了基于 AI 能力打造的智能标注、预标注能力,并基于阿里云最新的数字安全传输技术极大保障了标注数据的安全性。管理能力层则带来了任务分发验收与人员权限管理能力,在提升人员、任务管理能力的同时保障标注数据的高质量交付。最后一层是服务能力层,对于企业及个人所需的专业全托管数据标注服务,在 PAI-iTAG 智能标注平台上也能够得到满足。

PAI-Designer

PAI-Designer 是一款依托 PAI Flow 的云原生工作流设计器,开发者可以通过该产品自定义灵活串联自身所需的 Python 训练。同时 PAI-Designer 还提供了面向行业场景的 Easy 系列深度学习套件以及 Alink 端到端传统机器学习套件。开发者可以通过托拉拽的方式构建机器学习 PAIPlan,并支持实验对照组功能,此外可视化大屏与开放 OpenAPI 集成功能够帮助 AI 开发者打造 " 所见即所得 " 的开发体验。

PAI-DSW

对于 AI 开发者而言,基于云原生的交互式建模工具能够为开发工作带来极大的便捷,所以一直以来对于此类工具的呼声一直很高。此次推出的 PAI-DSW 便是一款全托管式云上的开发环境,通过云的能力为开发者提供了实例环境的持久化能力。同时基于云的特性,PAI-DSW 能够提供灵活的环境以及多数据集的支持能力。在开发流程上,DSW 做到了全生命周期的实例管理与实例权限控制。同时和上文中提到的 PAI-Designer 一样,PAI-DSW 也开放了 OpenAPI 集成能力。

PAI-DLC

PAI-DLC 云原生基础平台一站式解决了 AI 模型训练过程中的问题,该平台基于云原生的 Kubernetes 架构开发而成,同时支持公共资源与专有资源,并为开发者提供了灵活的开发环境,支持预设、自定义镜像与挂在多个数据集。此外在管理层面该平台支持全生命周期任务管理与实例权限控制,并支持 OpenAPI 集成能力。该平台的出现能够极大帮助开发者与企业用户迅速跨过大规模、分布式等难关。

除了上述新产品的发布,黄博远在会上还带来了 PAI 集成 NNI 的全新功能发布,NNI 是微软亚洲研究院发布的时下最热门的自动机器学习(AutoML)开源项目之一。PAI 的 DSW 工具完美集成了 NNI,以 jupyter 插件的方式使得开发者可以便利地使用 AutoML 能力,此外开发者可以通过 DLC 分布式训练集群进行 NNIHPO 分布式训练。

在演讲的最后,黄博远以阿里云十万亿大模型 M6 为例,展示了通过 PAI 机器学习平台构建此类超大规模多模态预训练模型,通过机器学习平台 PAI 对大模型进行打磨并实现最终部署的成果全过程成果展示。通过 PAI 机器学习平台所提供的坚实基础能力,开发者与企业能够真正做到将 AI 带进千家万户。

以上内容由"CSDN"上传发布
一起剪

一起剪

ZAKER旗下免费视频剪辑工具

一起剪