Dimensionando a inferência LLM: inovações em paralelismo tensorial, paralelismo de contexto e paralelismo especializado
Na Meta, estamos constantemente ampliando os limites dos sistemas de inferência LLM para potencializar aplicativos como o Meta AI App. Estamos compartilhando como desenvolveu e implementou técnicas avançadas de paralelismo para otimize as principais métricas de desempenho relacionadas à eficiência de recursos, rendimento e latência. A rápida evolução dos grandes modelos de linguagem (LLMs) inaugurou … Ler mais