Meta revela su segundo procesador personalizado

Meta "MTIA" V1 (Meta Training and Inference Accelerator) troquelado

Cuando la mayoría de la gente piensa en Meta, piensa en sus aplicaciones, incluidas Facebook, Instagram, WhatsApp o el próximo metaverso. Muchos no saben que la empresa ha diseñado y construido algunos de los centros de datos más grandes y sofisticados del mundo para operar esos servicios.

A diferencia de los proveedores de servicios en la nube como AWS, GCP o Azure, Meta no tiene que revelar detalles sobre sus opciones de silicio, infraestructura o diseño de centros de datos, aparte de sus diseños OCP, para impresionar a los compradores. Los metausuarios quieren experiencias mejores y más consistentes, sin preocuparse por cómo sucede.

Divulgaciones sin precedentes

La falta de detalles cambió hoy con lo que considero una divulgación sin precedentes del último acelerador de inferencia de IA de la compañía, un transcodificador de video en producción, su arquitectura de centro de datos de próxima generación diseñada para IA y detalles sobre la segunda fase de su investigación de IA de 16.000 GPU. supercomputadora, la primera fase que ha estado impulsando el modelo de IA generativa LLaMA.

Esta divulgación debería ser de interés para las partes interesadas de Meta, incluidos los inversores, ya que afecta el tiempo de comercialización, la diferenciación y el costo.

A principios de esta semana, me reuní con Alexis Björlin, vicepresidente de infraestructura de Meta, sobre el enfoque completo de la compañía para su silicio y para obtener más detalles sobre su nuevo acelerador de video y inferencia de IA.

Estoy impresionado con el progreso de Meta hasta ahora, pero esto es sólo el comienzo.

El enfoque full-stack de Meta

Antes de pasar a "MTIA" o "Meta Training and Inference Accelerator", quería revisar el enfoque de Meta hacia el silicio. Me complace decir que la estrategia del silicio no ha cambiado desde que hablé con la empresa hace un año y medio. Puedes leer ese artículo aquí. Meta seguirá comprando toneladas de silicio comercial de AMD, Broadcom, Intel, Marvell y NVIDIA. Sin embargo, diseñará el suyo propio para cargas de trabajo únicas donde el silicio comercial no es óptimo para ofrecer el mejor rendimiento por vatio y TCO.

Este enfoque tiene perfecto sentido estratégico para mí, ya que Meta tiene un enfoque de infraestructura de "pila completa", que posee casi todos los niveles de la pila, desde la infraestructura hasta la aplicación y todo lo demás. Cuando los estándares de la industria se optimizan para su pila completa, los utiliza y, cuando no, ayuda a crear estándares de la industria como OCP y PyTorch.

Las aplicaciones y servicios de Meta son únicos y operan a una escala increíble, lo que, en mi opinión, magnifica la necesidad y los beneficios del silicio personalizado. Los usuarios de Facebook e Instagram ven enormes cantidades de videos y constantemente reciben recomendaciones de personas con las que conectarse, publicaciones con las que interactuar y, por supuesto, anuncios en los que hacer clic. Puede imaginarse cómo el metaverso y la IA generativa infundidos por IA impulsarán la necesidad de soluciones más optimizadas y de menor consumo de energía.

MSVP: metaprocesador de vídeo escalable

MTIA no es el primer silicio personalizado de Meta. El MSVP, o "Meta Scalable Video Processor", está en producción. El año pasado surgieron algunos detalles sobre el transcodificador de video, pero la compañía decidió revelar aún más hoy.

Según Meta, los usuarios de Facebook pasan el 50% de su tiempo viendo 4.000 millones de vídeos al día. Cada video se comprime después de cargarse, almacenarse y luego descomprimirse en un formato adecuado cuando el usuario quiera verlo. Esos videos se transcodifican (comprimen/descomprimen) utilizando formatos estándar como H.264 y VP9. El truco consiste en hacer que el archivo sea pequeño rápidamente, almacenarlo rápidamente y transmitirlo con la mayor calidad posible al dispositivo apropiado (es decir, teléfono, tableta, PC) con la mayor calidad posible.

Chip empaquetado MSVP V1 (Meta Training and Inference Accelerator) de Meta.

Este tipo de característica de carga de trabajo es perfecta para un ASIC (circuito integrado de aplicación específica), una carga de trabajo que necesita la mayor eficiencia en un estándar fijo. Los ASIC son los más eficientes pero no tan programables como una CPU o GPU. Cuando el estándar de video cambie de H.264 y VP9 a AV1, lo que probablemente suceda en el futuro, Meta necesitará crear un nuevo ASIC, una nueva versión de MSVP.

Meta dijo que en el futuro optimizará "videos de formato corto, lo que permitirá la entrega eficiente de IA generativa, AR/VR y otros contenidos del metaverso". Puede encontrar un artículo centrado en MSVP aquí.

Sobre la inferencia de IA.

MTIA V1: Acelerador de inferencia y metaentrenamiento

Creo que el anuncio más significativo en el evento de Meta es su incursión en la inferencia personalizada de IA. La IA lo ha cambiado todo para los consumidores y cambiará aún más en el futuro. Meta no es ajena a la IA en su flujo de trabajo. Actualmente utiliza IA en la selección de contenidos, sugerencias de anuncios, filtrado de contenidos restringidos e incluso herramientas para sus programadores internos. Puedes imaginar cuánta IA se necesitará para su metaverso y sus experiencias generativas infundidas con IA.

Al igual que el MSVP, el MTIA también es un ASIC pero centrado en modelos de recomendación de próxima generación y integrado en PyTorch para crear un sistema de clasificación optimizado. Piense en cada vez que a un usuario de Facebook o Instagram se le recomienda contenido, nuevos "amigos" o anuncios. Creo que es probablemente una de las cargas de trabajo de IA más utilizadas en la plataforma.

Desarrollado en 2020, se pueden colocar hasta 12 tarjetas MTIA V1 M.2 en un servidor para acelerar cargas de trabajo de recomendación de inferencia de complejidad "baja" y "media" de "lotes pequeños" desarrolladas con PyTorch. La evaluación de Meta mostró que MTIA V1 proporcionó un rendimiento de recomendación óptimo, medido por TFLOP, por vatio. Puede encontrar más detalles sobre las pruebas de recomendación de Meta aquí. Meta dice que "las GPU no siempre fueron óptimas para ejecutar cargas de trabajo de recomendación específicas de Meta en los niveles de eficiencia requeridos en nuestra escala".

Entrenar estos modelos está claramente en la hoja de ruta, de ahí la "T" en "MTIA". En última instancia, Meta seguirá utilizando GPU de silicio comerciales para aquellas cargas de trabajo en las que la GPU proporcione un mejor rendimiento por vatio. No olvide que cientos de cargas de trabajo de IA todavía funcionan mejor en las GPU hoy en día y en muchos otros marcos en juego además de PyTorch.

Terminando

Según las revelaciones de Meta, creo que la compañía ha demostrado que es un actor capaz en el silicio de cosecha propia. Durante mucho tiempo he considerado a Meta como un innovador en infraestructura debido a sus contribuciones a OCP, pero el silicio es un paso de gigante más allá. Muchas empresas de servicios y dispositivos, desde centros de datos hasta teléfonos inteligentes, han incursionado en el silicio de cosecha propia y se han retirado, pero no creo que ese sea el caso aquí. Los requisitos únicos y la escala de Meta hacen que la rentabilidad sea mayor que la de las empresas que ejecutan aplicaciones más homogéneas o a pequeña escala.

En términos más amplios, creo que si Meta puede continuar añadiendo exitosamente silicio de cosecha propia en función de sus requisitos y escala únicos, esto debería ser importante para las partes interesadas de Meta, incluidos los inversores. El silicio de cosecha propia, bien hecho, como hemos visto con Apple y AWS, genera ventajas en tiempo de comercialización, diferenciación y costo. Sólo eso debería llamar la atención de los inversores. Los ingenieros más agresivos quieren trabajar para líderes tecnológicos que trabajan en cosas interesantes. El silicio de cosecha propia de Meta es genial y se suma a otros proyectos interesantes de desarrolladores, infraestructura y IA como Grand Teton, PyTorch y el último Research SuperCluster de la compañía.

Tengo muchas ganas de evaluar las futuras tecnologías propias de Meta.

Moor Insights & Strategy proporciona o ha proporcionado servicios pagos a empresas de tecnología, como todas las empresas de análisis de la industria tecnológica y de investigación. Estos servicios incluyen investigación, análisis, asesoramiento, consultoría, evaluación comparativa, emparejamiento de adquisiciones y patrocinio de videos y conferencias. La empresa ha tenido o tiene actualmente relaciones comerciales remuneradas con 8×8, Accenture, A10 Networks, Advanced Micro Devices, Amazon, Amazon Web Services, Ambient Scientific, Ampere Computing, Anuta Networks, Applied Brain Research, Applied Micro, Apstra, Arm, Aruba Networks (ahora HPE), Atom Computing, AT&T, Aura, Automation Anywhere, AWS, A-10 Strategies, Bitfusion, Blaize, Box, Broadcom, C3.AI, Calix, Cadence Systems, Campfire, Cisco Systems, Clear Software, Cloudera , Clumio, Cohesity, Sistemas cognitivos, CompuCom, Cradlepoint, CyberArk, Dell, Dell EMC, Dell Technologies, Diablo Technologies, Dialogue Group, Digital Optics, Dreamium Labs, D-Wave, Echelon, Ericsson, Extreme Networks, Five9, Flex, Foundries .io, Foxconn, Frame (ahora VMware), Fujitsu, Gen Z Consortium, Glue Networks, GlobalFoundries, Revolve (ahora Google), Google Cloud, Graphcore, Groq, Hiregenics, Hotwire Global, HP Inc., Hewlett Packard Enterprise, Honeywell, Huawei Technologies, HYCU, IBM, Infinidat, Infoblox, Infosys, Inseego, IonQ, IonVR, Inseego, Infosys, Infiot, Intel, Interdigital, Jabil Circuit, Juniper Networks, Keysight, Konica Minolta, Lattice Semiconductor, Lenovo, Linux Foundation, Lightbits Labs , LogicMonitor, LoRa Alliance, Luminar, MapBox, Marvell Technology, Mavenir, Marseille Inc, Mayfair Equity, Meraki (Cisco), Merck KGaA, Mesophere, Micron Technology, Microsoft, MiTEL, Mojo Networks, MongoDB, Multefire Alliance, National Instruments, Neat , NetApp, Nightwatch, NOKIA, Nortek, Novumind, NVIDIA, Nutanix, Nuvia (ahora Qualcomm), NXP, onsemi, ONUG, OpenStack Foundation, Oracle, Palo Alto Networks, Panasas, Peraso, Pexip, Pixelworks, Plume Design, PlusAI, Poly (anteriormente Plantronics), Portworx, Pure Storage, Qualcomm, Quantinuum, Rackspace, Rambus, Rayvolt E-Bikes, Red Hat, Renesas, Residio, Samsung Electronics, Samsung Semi, SAP, SAS, Scale Computing, Schneider Electric, SiFive, Silver Peak (ahora Aruba-HPE), SkyWorks, SONY Optical Storage, Splunk, Springpath (ahora Cisco), Spirent, Splunk, Sprint (ahora T-Mobile), Stratus Technologies, Symantec, Synaptics, Syniverse, Synopsys, Tanium, Telesign,TE Connectivity , TensTorrent, Tobii Technology, Teradata,T-Mobile, Treasure Data, Twitter, Unity Technologies, UiPath, Verizon Communications, VAST Data, Ventana Micro Systems, Vidyo, VMware, Wave Computing, Wellsmith, Xilinx, Zayo, Zebra, Zededa, Zendesk , Zoho, Zoom y Zscaler. El fundador, director ejecutivo y analista jefe de Moor Insights & Strategy, Patrick Moorhead, es inversor en dMY Technology Group Inc. VI, Fivestone Partners, Frore Systems, Groq, MemryX, Movandi y Ventana Micro.