Arte SVG e ASCII revelam compreensão intermodal

Recursos visuais entre modalidades: arte SVG e ASCII revelam compreensão intermodal (através de) Nova pesquisa de interpretabilidade de modelos da Anthropic, desta vez focada na geração de arte SVG e ASCII.

Descobrimos que o mesmo recurso ativado nos olhos em uma face ASCII também é ativado nos olhos em diversas modalidades baseadas em texto, incluindo código SVG e prosa em vários idiomas. Isso não se limita aos olhos – encontramos vários recursos intermodais que reconhecem conceitos específicos: desde pequenos componentes, como bocas e orelhas, em rostos ASCII ou SVG, até representações visuais completas, como cães e gatos. (…)

Esses recursos dependem do contexto circundante na representação visual. Por exemplo, um elemento circular SVG ativa recursos de “olho” somente quando posicionado dentro de uma estrutura maior que ativa recursos de “rosto”.

E realmente, eu não posso não link para este dado o bônus que eles marcaram no final!

Como bônus, também inspecionamos recursos de um SVG de um pelicano andando de bicicleta, primeiro popularizado por Simon Willison como forma de testar as capacidades artísticas de um modelo. Encontramos recursos que representam conceitos incluindo “bicicleta”, “rodas”, “pés”, “cauda”, “olhos” e “boca” ativados nas partes correspondentes do código SVG.

Agora que eles podem identificar recursos de modelo associados a conceitos visuais em imagens SVG, eles podem usá-los para orientação?

Acontece que eles podem! Começar com um SVG sorridente (fornecido como XML sem nenhuma indicação do que estava desenhando) e depois aplicar uma pontuação negativa ao recurso “sorriso” produziu uma carranca e também funcionou contra a arte ASCII.

Eles também poderiam melhorar recursos como unicórnio, gato, coruja ou leão e obter novos smileys SVG tentando representar claramente essas criaturas.

Eu adoraria ver como isso se comportaria se você aumentasse o recurso da Ponte Golden Gate.