近期业界传言的“医渡科技正研发医疗大模型”在7月3日得到了证实,医渡科技(02158)首席技术官、首席人工智能科学家闫峻在该公司2023财年业绩发布会上确认了这一消息。
闫峻表示,公司在大语言模型的训练和面向场景的调优上早有布局,也做了很大投入。医渡科技的“医疗智能大脑“YiduCore一直在自然语言处理领域深耕,语言模型的训练也一直是其中很重要的组成部分。从整个技术链来看,大语言模型并非新鲜事物,未来的大模型训练数据规模更大,并且要针对一些特定场景进行调优,这样才能解决很多的实际问题。
大语言模型的训练和调优对数据、算力和算法以及工程都有着极高的要求。在数据层面,医渡科技正在注入更多的专业知识型数据。相比之前,公司对这些知识型数据的表达方式做了很多精细化加工与处理,并使用了课程学习等手段。在计算资源上,公司也重点增强了算力,用以支持从之前几亿参数,到几十亿参数乃至几百亿参数的模型。
闫峻还介绍到,医疗健康垂直领域与开放领域有着很大的不同。对于医疗健康垂直领域而言,其下游任务相对比较明确,因此参数规模和要解决下游任务上存在一个性价比的平衡点。
在以传统方法为基础的模型算法和工程经验上,医渡科技已有大量积累。在模型规模放大的过程中,公司还在持续针对下游任务调优投入大量精力。
闫峻强调,由于医疗健康领域的严肃性,在这一垂直领域的大模型训练过程中,对于专业性和信息安全等多方面要求都非常高,需要从业者心怀敬畏并以谨慎的态度去提供服务。
比如,在众多开放领域遇到的问题,机器提供的答案能够达到70-80分便可达到应用水平;但对于医疗健康领域而言,下游任务要求足够的专业性和模型的精准度,而且要同时确保信息安全,做到95分甚至更高才能达到真正的应用水平。因此,需要更多的时间补充知识及测试调优。
智通财经APP了解到,医渡科技将于近期在适当的时间针对部分目标场景推出小范围邀请测试,所涉及场景将包括内部生产效率提升,面向当前业务产品的智能化升级,以及提供对患者的新服务能力,也不排除对行业中的科研及商业机构开放提供专业医疗垂直领域大模型服务的可能。