Carros e Drones Autônomos Enganados por Placas: Pesquisadores Revelam Falha Crítica em IA com GPT-4o

Avanços em inteligência artificial prometem revolucionar o transporte, mas novas pesquisas expõem um ponto fraco preocupante.

Pesquisadores descobriram que carros e drones autônomos, equipados com modelos avançados de visão e linguagem como o GPT-4o, podem ser facilmente enganados por comandos ilegais escritos em placas físicas.

Essa falha de segurança permite que os sistemas de IA interpretem instruções maliciosas como ordens válidas, potencialmente levando a comportamentos perigosos e não intencionais. A vulnerabilidade foi demonstrada em diversos idiomas, incluindo inglês, espanhol e chinês.

O estudo, divulgado pelo The Register, levanta sérias questões sobre a confiabilidade dos sistemas autônomos em cenários do mundo real. Conforme a pesquisa, um carro autônomo poderia ser instruído a avançar sobre uma faixa de pedestres ocupada, ou um drone a pousar em local indevido, simplesmente pela presença de uma placa com um comando específico.

Vulnerabilidade Crítica em Testes de Simulação e Mundo Real

Em ambientes simulados, o sistema DriveLM, utilizado em testes com carros autônomos, foi enganado em impressionantes 81,8% dos casos. Isso resultou em decisões perigosas, mesmo quando pedestres estavam claramente visíveis para o sistema.

Os experimentos no mundo real foram ainda mais reveladores. Carrinhos controlados remotamente, equipados com câmeras conectadas a modelos de visão e linguagem, foram o foco dos testes. Quando placas estavam fixas no chão, o GPT-4o foi enganado em 92,5% das tentativas.

A taxa de sucesso do ataque diminuiu ligeiramente para 87,76% quando as placas estavam presas a outros carrinhos em movimento, sugerindo que a dinâmica do ambiente pode influenciar a eficácia do ataque, mas sem eliminar o risco.

Resistência Variável entre Modelos de IA

É importante notar que nem todos os modelos apresentaram a mesma fragilidade. O modelo InternVL demonstrou uma maior resistência a esse tipo de manipulação, embora ainda tenha sido enganado em aproximadamente metade das tentativas, indicando que a segurança pode variar significativamente entre diferentes arquiteturas de IA.

Essa descoberta é crucial para o desenvolvimento futuro de veículos autônomos e drones. A capacidade de um sistema de IA ser levado a executar comandos ilegais através de um método tão aparentemente simples como placas físicas representa um desafio de segurança significativo.

Implicações para a Segurança de Veículos Autônomos

A pesquisa destaca a necessidade de robustecer os mecanismos de segurança em sistemas de IA que controlam veículos e drones. A interpretação de sinais visuais, especialmente aqueles que podem ser facilmente manipulados, é um ponto crítico que requer atenção.

Os desenvolvedores precisam considerar não apenas a capacidade de ler placas, mas também de discernir a legitimidade e a segurança das instruções apresentadas, especialmente em ambientes onde a manipulação visual é uma possibilidade. A segurança dos passageiros e do público em geral depende da capacidade desses sistemas de resistir a tais ataques.

A pesquisa sugere que a validação de comandos, a verificação cruzada de informações visuais com outros sensores e a implementação de salvaguardas contra instruções manifestamente perigosas são passos essenciais para garantir a operação segura de tecnologias autônomas.