A nova ferramenta Python CLI captura problemas do servidor MCP antes que os agentes façam

A nova ferramenta Python CLI captura problemas do servidor MCP antes que os agentes façam

Por

A nova ferramenta Python CLI captura problemas do servidor MCP antes que os agentes façam

Quer aproveitar ao máximo o MCP? Você deve conferir o entrevistador do MCP da Microsoft Research.

O Model Context Protocol (MCP) rapidamente se tornou um padrão aberto muito popular para conectar agentes de IA com dados e serviços externos. Isso é ótimo, mas como você garante que seus servidores possam funcionar corretamente com o MCP? Digite a Microsoft Researchs Entrevistador do MCP.

O entrevistador do MCP é uma ferramenta CLI de código aberto (sob a licença do MIT), projetado para ajudar os desenvolvedores a criar e manter servidores para o MCP. Especificamente, é uma ferramenta Python CLI que permite capturar problemas do servidor MCP antes que seus agentes tropeçam neles.

O programa fornece inspeção automatizada, testes funcionais, avaliação agêntica e relatórios detalhados para implementações do MCP Server. A ferramenta cataloga as ferramentas, avisos, recursos, recursos e capacidade de um servidor, usando estatísticas e interação direta para destacar a conformidade, detectar violações de restrições e revelar problemas de usabilidade para sistemas de IA agênticos.

Seus principais recursos são:

  • A verificação de restrição: inspeciona automaticamente os servidores MCP em conformidade com as restrições dos provedores (como limites de ferramentas OpenAI e convenções de nomenclatura), ajudando os desenvolvedores a evitar armadilhas de implantação.
  • Teste funcional: usa grandes agentes de modelos de idiomas (por exemplo, GPT-4.1) para criar e executar planos de teste que exercem ferramentas de servidor interativamente, com registro detalhado de sucessos, erros e métricas de desempenho.
  • Avaliação de LLM: Opcionalmente aplica rubricas de avaliação de linguagem natural via LLMS para classificar a usabilidade da ferramenta e a saída funcional, a compatibilidade do agente de superfície e a detecção de metadados da ferramenta ambígua ou enganosa.
  • Geração de relatórios: reportações de remarkdown legíveis por humanos (e JSON), resumindo violações de restrição, estatísticas e avaliações qualitativas de rubrica para desenvolvedores e mantenedores.

O objetivo de tudo isso, segundo a Microsoft Research, é que, como “agentes proliferam, antecipamos As estratégias que dependem fortemente da integração vertical não envelhecerão bem. Agentes de diferentes desenvolvedores ou empresas se encontrarão cada vez mais e devem trabalhar juntos para concluir tarefas, no que nos referimos como sociedade de agentes. ”

Os servidores MCP não sabem quais clientes ou modelos estão trabalhando. Por exemplo, eles não estão cientes de quais LLMs podem lidar com contextos longos e grandes espaços de ferramentas melhor do que outros, e podem responder de maneira bastante diferente aos padrões de solicitação comuns. Assim, enquanto o MCP está emergindo como uma camada de interoperabilidade para conectar agentes movidos a LLM a ferramentas de negócios, repositórios de conteúdo e plataformas de desenvolvimento, o entrevistador do MCP é posicionado como um validador crucial e companheiro de depuração. Ao automatizar as verificações de compatibilidade e a avaliação de aproveitamento do agente, a entrevista permitirá que os desenvolvedores publiquem e mantenham com confiança os servidores MCP que funcionam de maneira confiável em diversos clientes agênticos.

Outra questão é que os grandes espaços da ferramenta de agentes podem menor desempenho em até 85% para alguns modelos. Veja bem, como o MCP não oferece orientação sobre quantos tokens uma chamada de ferramenta produz, as respostas dos agentes podem sobrecarregar a janela de contexto do LLM. No extremo high-end, uma ferramenta retornou uma média de 557.766 tokens. Isso é mais do que suficiente para inundar quase qualquer janela de contexto da LLM. A ferramenta do entrevistador do MCP, rastreando as propriedades para o exterior da MCP Servers, pode ajudar a evitar a desaceleração do MCP ou mesmo as falhas definitivas.

Tudo bem, mas a Microsoft Research nos lembra que o entrevistador do MCP continua sendo um projeto experimental. Por enquanto, você deve revisar manualmente seus resultados e não usá -lo na produção. A equipe incentiva ainda mais o feedback e as contribuições das comunidades de código aberto e MCP para refinar os recursos de teste, relatórios e padrões de segurança. Dito isto, se o entrevistador do MCP evoluir para um programa forte e confiável, pode se tornar uma parte essencial de qualquer implantação séria do MCP.