随着人工(gōng)智能(néng)(AI)发展进程的加快,高性能(néng)计算(HPC)与人工(gōng)智能(néng)(AI)的融合越发紧密。AI离不开HPC的支撑:一方面,AI平台架构于HPC基础能(néng)力上,借助HPC扩展AI的规模;另一方面,数据科(kē)學(xué)家解决问题的规模得以扩大,用(yòng)于解决问题的深度學(xué)习算法性能(néng)得到提升。
乘势而行,奥工(gōng)科(kē)技(jì )自主研发的面向终端计算用(yòng)户的、安(ān)全、可(kě)进化的密集计算服務(wù)平台(OGSP)提出面向AI用(yòng)户专属计算场景的解决方案。上一期(点此回顾)广而泛地介绍了OGSP如何大幅降低AI用(yòng)户的使用(yòng)门槛。在深度學(xué)习算法模型的开发过程中(zhōng),算法工(gōng)程师需要频繁地进行算法调整和优化等动作(zuò),这类操作(zuò)具(jù)體(tǐ)如何实现?
使用(yòng)场景一
可(kě)视化标注工(gōng)具(jù)
操作(zuò)
通过OGSP图形可(kě)视化的遠(yuǎn)程工(gōng)作(zuò)空间打开LabelMe/EISeg等图形标签标注软件,自动分(fēn)配具(jù)有(yǒu)GPU的硬件环境,即可(kě)实现在页(yè)面中(zhōng)进行AutoLabeling标注工(gōng)具(jù)的使用(yòng), 保障标注数据的安(ān)全,实现标注任務(wù)的协同。
(EISeg标注工(gōng)具(jù),加载自动标注权重)
使用(yòng)场景二
“可(kě)视化”WEB界面和AI模型遠(yuǎn)程代码IDE调试资源的调度
操作(zuò)
方式一:
通过OGSP提交WEB交互作(zuò)业至GPU节点,在浏览器打开jupyter进行模型调整。即在网页(yè)页(yè)面中(zhōng)直接编写代码和运行代码,运行结果也可(kě)在代码块下实时显示。
(jupyter调试环境分(fēn)配4个CPU和1块GPU)
方式二:
通过OGSP提交WEB交互作(zuò)业提供的服務(wù)转发端口+OGSP地址,再通过本地的VSCode或Pycharm的IDE工(gōng)具(jù)连接服務(wù),便于用(yòng)户实现AI模型的调整。
采用(yòng)资源隔离PAM身份认证,保障用(yòng)户在调试环境中(zhōng)的资源相互隔离,实现在单个节点上多(duō)用(yòng)户资源合理(lǐ)分(fēn)配,防止出现多(duō)个用(yòng)户同时进行模型调试时,GPU显存不够的情况发生。
使用(yòng)场景三
面向用(yòng)户的自定义AI作(zuò)业模版
通过OGSP模版系统,通过低代码模块可(kě)以快速配置AI作(zuò)业模版,简单的实现不同类型的任務(wù)作(zuò)业,如单GPU任務(wù)或者单机多(duō)GPU作(zuò)业任務(wù)的定制化模版,降低用(yòng)户的作(zuò)业提交难度和复杂度。
操作(zuò)
开发运营管理(lǐ)员创建新(xīn)的分(fēn)布式训练模版,并进入模型定制页(yè)面通过拖拉拽实现定制化,配置训练端口、epochs、batch_size等参数。
(低代码AI作(zuò)业模版创建页(yè)面)
(利用(yòng)定义好的作(zuò)业模版提交作(zuò)业)
(自动生成的AI作(zuò)业任務(wù)脚本)
大数据、算力、算法是AI的三驾马車(chē)。面对愈加复杂的生产(chǎn)场景,越来越多(duō)的AI企业将目光放在HPC的超高算力上。奥工(gōng)科(kē)技(jì )密集计算服務(wù)平台OGSP面向AI用(yòng)户进行计算场景赋能(néng),加速其算法迭代和价值获取,助力企业在垂直领域取得技(jì )术性突破。
关于OGSP
OGSP(Ongineer Service Platform)是奥工(gōng)科(kē)技(jì )自主研发的一款面向终端计算用(yòng)户的、安(ān)全、可(kě)进化的密集计算服務(wù)平台。
OGSP秉承云原生设计理(lǐ)念,搭建密集计算场景中(zhōng)基础侧、平台侧、应用(yòng)侧的生态服務(wù)架构,谋求基础侧的稳定、健康、可(kě)扩展性;平台侧的高效、动态、易用(yòng)性;应用(yòng)侧的专业、交互、场景化。将服務(wù)产(chǎn)品化、产(chǎn)品场景化,為(wèi)用(yòng)户提供基于实际生产(chǎn)场景的一站式密集计算服務(wù)。
hwclould@ongineer.cn
南京市雨花(huā)台區(qū)锦绣街(jiē)绿地之窗C4栋326室
025-86738812
版权所有(yǒu) ©南京奥工(gōng)信息科(kē)技(jì )有(yǒu)限公(gōng)司 京ICP证000000号
技(jì )术支持:网站建设