Snowflake, Salesforce Lançar novo padrão para unificar dados para ai

Provedor de serviços de inteligência de negócios Floco de neve Iniciou uma iniciativa neutra em fornecedor para criar um padrão para adicionar informações contextuais aos dados de BI estruturados e não estruturados.

Para ser construído na YAML (provavelmente) e, finalmente, gerenciado por uma entidade independente, o intercâmbio semântico aberto (OSI) pretende ser uma “estrutura de dados semântica universal”, permitindo que diferentes organizações compartilhem dados em suas plataformas usando um conjunto comum de definições.

Até agora, Snowflake, SalesforceAssim, DBT Labs estão liderando o esforço. Outros parceiros do projeto incluem BlackRock, Mistral IA e Relationalai e Tableau. O projeto anunciou sua carta na terça -feira.

A crescente necessidade de um padrão de dados universal para ai

Embora já tenhamos padrões de compartilhamento de dados em abundância, a popularidade emergente dos agentes da IA ​​criou novas necessidades de padronização.

“Todo cliente com quem converso é tentar descobrir como atender à louca demanda por experiências agênticas e como fazê -lo de uma maneira que não cria uma bagunça”, de informações conflitantes, disseram Josh Klahrque faz gerenciamento de produtos para a nuvem de dados do Snowflake.

Definições conflitantes têm sido um desafio para o espaço de BI, mas agora que o desenvolvimento agêntico é uma coisa, a demanda por algum tipo de unidade disparou, disse ele.

“Você precisa ter um único modelo semântico, idealmente um que esteja no tipo de camada que permite a interoperabilidade em todos os diferentes parceiros”, disse Klahr.

Até agora, a maioria das organizações possui várias fontes de dados, em vários formatos, dificultando a localização e o calculamento dos sistemas de IA. O cliente do Snowflake tem uma mediana de cinco ferramentas de BI diferentes.

Conceitos e fórmulas, como “gastos com anúncios”, “cliente ativo” e “margem de lucro bruto”, podem ser definidos de maneira diferente em diferentes sistemas. OSI forneceria uma definição padrão para todos.

“Para que, em vez de o LLM precisar descobrir como calcular a margem de lucro, basta dar o nome da métrica, que tem o cálculo real associado a ele, e o LLM sabe como compilar a margem de lucro”, disse Klahr.

“Então, quando estou no Tableau ou Thoughtpot, peço margem de lucro e os cálculos correspondem.”

Apresentando o intercâmbio semântico aberto (OSI)

O dever do recém -lançado Grupo de Trabalho da OSI não é fornecer definições, mas de estabelecer um formato para especificar definições de várias maneiras. Cabe aos usuários finais definir as métricas e suas definições.

A especificação real da OSI ainda não foi publicada, disse Klahr. O grupo precisa estar em funcionamento primeiro.

Provavelmente, o formato em que baseará o OSI será a YAML, uma linguagem de configuração amplamente usada com alguns recursos básicos de programação. Muitos dos participantes do grupo já usam a YAML para várias tarefas, disse ele.

Em comunicado à imprensa, Blackrock disse que a OSI funcionaria com seu Plataforma Aladdinonde unificaria o processo de gerenciamento de investimentos com uma linguagem de dados comum para mercados públicos e privados.

“Esta é a pedra de Rosetta para dados de negócios”, disse Southard JonesDiretor de Produto do Tableau, em comunicado.

Como a estrutura OSI visa padronizar definições

Os engenheiros de floco de neve estão baseando a idéia da camada semântica em um recurso em sua própria IA e plataforma de inteligência de negócios (BI), chamada Vistas semânticaso que ajudou os clientes a reconciliar várias fontes de dados. Eles podem estar executando ferramentas de BI e mantendo os catálogos de dados, mas muito pouco era realmente referenciável.

“A questão da interoperabilidade realmente começou a emergir das conversas dos clientes”, disse Klahr.

O arquivo de definição semântica consistirá em vários outros atributos, incluindo ponteiros para tabelas de base, chaves e relacionamentos conjuntos. Também pode incluir um conjunto de métricas, sinônimos e métricas para essa definição, bem como instruções personalizadas para a IA.

O papel dos fornecedores e da comunidade de código aberto

O grupo de trabalho não tem planos, neste momento, para construir um motor em tempo de execução. Este seria o trabalho de um fornecedor a fornecer. Com o próprio floco de neve, por exemplo, a empresa tem um serviço para prestar definições semelhantes a OSI em vistas materializadas.

O grupo planeja criar um repositório de código aberto para manter a própria especificação, bem como conversores que diferentes parceiros podem contribuir.

Também está convidando outras organizações a participar. “Queremos o maior número possível de membros para participar”, disse ele.

O grupo OSI não é o único esforço para dar a IA mais metadados para trabalhar. Um criador do formato de sindicação do RSS ajudou a campo “Licenciamento realmente simples”A Arquivo do tipo robots.txt Fornecer uma maneira uniforme de expressar informações de direitos autorais e licenciamento de conteúdo para raspadores da Web.