大模型一本正经说胡话,该怎么治疗?
2023/7/7 19:55:57

 模型们还在进行狂热的“诸神之战”,尝过鲜的用户却无法忽视大模型的短板。在交互过程中,用户常常被它们一本正经的胡言乱语所打败——对于部分问题,它们会输出一些“看似非常有道理,实则完全不对”的内容,让人啼笑皆非。
 

云创大数据成立于2011年,并不是2015年
 
  之所以出现这种“AI幻觉”,是因为大模型的内容由推理而来,而在其自身训练过程中也不可避免存在数据偏差。因此,当提问超出其训练范围,大模型可能会模糊回答,或者一本正经地胡诌。
 
  娱乐一下没有关系,但是对于数据准确性有着较高要求的用户,这样的通用性大模型可能会是负担,进而导致大模型应用的普及度没有想象的高(根据摩根士丹利发布的一项调查显示,只有4%的人表示对于ChatGPT使用有依赖)。
 

ChatGPT&Bard应用趋势(图片来源:摩根士丹利报告)
 
  有没有办法改善大模型回答不准确的情况?当然有。既然回答不准确是因为缺少真正有用的知识参考,可以面向特定领域定制行业大模型,将可信来源的数据转化成向量数据存储起来,校准大模型推理输出的结果,从而使大模型输出的结果更加准确。
 

各种对象转换为向量存储在向量数据库中(图片来源:swirlai.com)
 

向量比对过程(图片来源:Pinecone)
 
  对于企业而言,可基于大模型和企业的个性化数据建立专属知识库(Knowledge Base)。可参照以下大模型业务流程,建立企业知识库,以可信可靠的数据和知识,提高大模型输出的准确率。
 

LLM大模型知识库业务流程(图片来源:swirlai.com)
 
  首先,将企业的知识库文本语料分割为多个块,用嵌入(Embedding)模型将分割的文本块转换为一个个向量存储在向量数据库中,并建立向量和文本之间的对应关系,如上图①-③所示。
 
  此后,就可以提出问题。需要注意的是,问题也需要进行向量化,同时使用与知识库语料向量化相同的嵌入模型,并且在向量数据库中进行查询,找到相似度高的向量,如⑤-⑦所示。
 
  将返回的向量嵌入映射到对应的文本块,并返回给大模型,利用大模型的语义理解能力,结合上下文生成问题答案,如⑧-⑨所示。
 
  在建立企业知识库后,同样的问题再问大模型,它能给出准确的回答(建立知识库的过程类似于下图提供参考信息的过程)。
 

建立知识库的过程类似于上图提供参考信息的过程
 
  实现私有化部署后,大模型“胡言乱语”的习惯开始逐渐被纠正,而且向量数据库做的越大,它掌握的知识越多、越准确、越全面,就越有可能带来爆炸式的大模型应用。
 
  不过,如果只是依靠向量数据库进行私有化部署,容量有限且速度比较慢,无法完全满足企业通过大模型提质增效的潜在需求。
 
  现在,cVector向量计算一体机通过发挥高性能硬件、向量加速算法和并行计算算法的合力,致力于满足亿级乃至百亿千亿向量规模的大模型推理应用向量计算需求。
 

cVector向量计算一体机
 
  cVector向量计算一体机的使用方式与向量数据库基本一致,支持批量、追加入库,支持向量间欧式距离、余弦距离等向量计算,支持网页、命令调用、Python库等方法,但在向量的入库和比对计算上具有惊人的性能。
 

cVector向量计算一体机架构图
 
  近期, cVector向量计算一体机接受了工信部直属的国家一级科研事业单位中国软件评测中心的鉴定测试。中国软件评测中心对比测试了cVector向量计算一体机与3款主流向量数据库在入库速度、查询速度、准确性等维度的性能对比。
 
  在入库性能方面,同样入库3000万条256 维向量数据,在向量数据库中最快的是A,入库速度是4851.97s,cVector向量计算一体机是1202.91s,入

下一页
返回列表
返回首页
©2024 云计算世界-云计算资料和交流中心 电脑版
Powered by iwms