Wikimedia facilita busca por dados para usuários e desenvolvedores de IA

Wikidata lança banco de dados amigável para IA

O Wikidata, projeto irmão da Wikipedia, lançou um novo banco de dados que facilita a ingestão de informações por modelos de linguagem. Liderado pelo German chapter da Wikimedia Foundation, o projeto transformou 19 milhões de entradas em vetores que capturam o contexto e o significado das informações.

Acesso facilitado a dados

O objetivo é tornar mais fácil o acesso a dados para desenvolvedores de IA, especialmente para empresas menores. A nova base de dados visa nivelar o campo de jogo para desenvolvedores fora do núcleo das grandes empresas de tecnologia.

Melhoria na representação de tópicos

Além disso, espera-se que o novo banco de dados resulte em sistemas de IA que melhor reflitam tópicos de nicho não amplamente representados na internet. Isso pode ser uma maneira melhor de obter informações para sistemas como o ChatGPT.

Vetores e contexto

Os vetores permitirão que os sistemas de IA acessem melhor o contexto em torno das informações, além das próprias informações. O projeto utilizou um modelo da empresa de IA Jina AI para transformar os dados estruturados do Wikidata em vetores.

Infraestrutura e atualização

A IBM DataStax fornece a infraestrutura para armazenar o banco de dados de vetores gratuitamente. A equipe está aguardando feedback dos desenvolvedores que usam o banco de dados antes de atualizá-lo com informações adicionadas no último ano.

Futuro do projeto

Embora o banco de dados atual não inclua informações totalmente novas adicionadas no último ano, pequenas edições ou ajustes nos dados existentes não diminuirão a utilidade do banco de dados.