谷歌推出的大型开源公共统计数据库及其大模型——解决AI幻觉的新路径探索

近日，谷歌推出了一项重要的开源项目——大型公共统计数据库DataCommons及其大模型DataGemma。
这是一个致力于解决人工智能领域中的一个长期困扰的问题，即AI模型在回答涉及统计数据的问题时，经常产生的幻觉现象。

一、背景与挑战

对于语言大模型来说，准确地回答涉及统计数据的查询是一个重大挑战。
原因在于准确统计数据与时效性强信息的获取是一大难题。
虽然知识是现成的，但对于模型而言往往难以学习和应用。
这一现象并非因模型懒惰或懈怠，而是由于现实世界中存在的诸多阻碍。
对此，谷歌的DataCommons和DataGemma项目应运而生。

二、谷歌的解决策略：DataCommons与DataGemma

为了解决上述问题，谷歌推出了DataCommons这一大型数据库。
目前，整个语料库包含超过2500亿个数据点和超过2.5万亿个三元组，这是一个庞大且全面的数据源。
在此基础上，谷歌研发了DataGemma大模型。

本文地址：[
开源模型地址：[（具体网址可能会变更，建议以实际访问为准）。在模型的研发过程中，研究者提出了一种将LLM（大型语言模型）桥接到数据的通用架构，并探讨了需要解决的三个主要问题。首先是LLM需要在适当的时机选择是使用模型内的知识还是外部获取信息；其次是决定从哪个外部源查询所需信息；最后是LLM需要生成一个或多个查询来获取这些数据。对于这些问题，谷歌的研究人员进行了深入的探讨和实践。

三、对抗幻觉：DataCommons与LLM的结合

为了对抗AI模型产生的幻觉现象，研究人员采用了多种策略。
其中，DataCommons数据库作为一个庞大的数据源，为LLM提供了丰富的实时、准确信息。
在此基础上，研究人员开发出了两种主要的策略：检索交错生成（RIG）和检索增强生成（RAG）。
这两种策略都允许LLM有效地利用外部数据来回答问题。
特别是通过自然语言接口，用户可以用通用语言提出问题，并通过图表等方式来探索庞大的数据库。
同时，为了确保数据的质量，研究人员还采用了一系列的技术手段进行事实检查和数据验证。

四、数据共享与评估方法

DataCommons的数据共享涉及两项重要创新。
首先是数据访问和整合的方式，研究人员花费数年时间访问大量公开可用的数据集并进行规范化处理。
其次是使用LLM创建的自然语言接口，这个接口允许用户通过自然语言提问并与数据库进行交互。
为了评估这两种方法的效果，研究人员进行了一系列严格的实验和评估。
包括使用自然语言查询和数据共享查询的对比实验、人工评估以及事实准确性指标等。
实验结果显示，这两种方法都显著提高了模型的准确性和真实性。
特别是RIG方法，其事实准确性指标从约5%-17%提高到了约58%。
这为解决AI模型在回答涉及统计数据的问题时的幻觉现象提供了新的路径。

五、未来展望与总结

谷歌的DataCommons和DataGemma项目为解决AI模型在回答涉及统计数据的问题时的幻觉现象提供了一种新的解决方案。
通过结合大型数据库和大型语言模型的优势，该项目不仅提高了模型的准确性，还增强了其真实性和可信度。
这对于推动人工智能领域的发展具有重要意义。
随着技术的不断进步和数据量的不断增长，我们期待未来更多的创新能够涌现出来，为人工智能的发展注入新的活力。
谷歌的这项研究为我们提供了一个全新的视角和思考方式来解决AI领域的长期困扰问题。

标签： 数据源、 公共数据、 统计学、 ai、 调用、 谷歌、

本文地址： https://www.gosl.cn/jsjcwz/2d43efa458d76548a706.html

上一篇：1树立计算领域的标杆全球首台Arm超算完美落...
下一篇：加手机遭遇困境德国再次因5G专利纠纷暂停销...