La "Guerra de los Cien Modelos" en el campo de la IA: los problemas de ingeniería reemplazan la innovación del Algoritmo
El mes pasado, estalló una "guerra de animales" en el mundo de la IA. Por un lado, está el modelo Llama lanzado por Meta, que es muy apreciado por los desarrolladores debido a su naturaleza de código abierto. Por otro lado, está el gran modelo llamado Falcon, que, después de su lanzamiento en mayo, superó a Llama y se posicionó en la cima de la clasificación de LLM de código abierto.
Curiosamente, los desarrolladores de Falcon son del Instituto de Innovación Tecnológica de los Emiratos Árabes Unidos. Después del lanzamiento de la versión 180B, el Ministro de Inteligencia Artificial de los Emiratos Árabes Unidos fue incluido en la lista de las 100 personas más influyentes en el campo de la IA de la revista Time.
Hoy en día, cualquier país o empresa con cierto poder adquisitivo está desarrollando su propio modelo de lenguaje grande. Solo en los países del Golfo hay más de un jugador; Arabia Saudita acaba de comprar más de 3000 chips H100 para entrenar LLM en universidades nacionales.
Detrás de esta "guerra de grandes modelos" está el mérito del algoritmo Transformer. En 2017, Google publicó el algoritmo Transformer en el artículo "Attention Is All You Need", que se convirtió en el punto de detonación de esta ola de IA. Todos los grandes modelos posteriores, incluida la serie GPT, están construidos sobre la base del Transformer.
El Transformer resolvió el problema de que las primeras redes neuronales tenían dificultades para entender el contexto, mejorando significativamente la eficiencia del entrenamiento y llevando a la IA a la era de los grandes modelos. Esto convirtió a los grandes modelos de una cuestión de investigación teórica a un problema puramente ingenieril: siempre que haya suficientes datos, potencia de cálculo y arquitectura de modelo, cualquier empresa con capacidad técnica puede crear grandes modelos.
Esto también ha llevado a que la velocidad de innovación en los algoritmos fundamentales en la academia se desacelere, elementos de ingeniería como datos, capacidad de cálculo, arquitecturas de modelos, etc., se conviertan en clave en la competencia de IA. Algunos análisis sugieren que incluso la competitividad de GPT-4 proviene principalmente de soluciones de ingeniería, y si se abre el código, los competidores podrán replicarlo rápidamente.
Sin embargo, que la entrada sea fácil no significa que todos puedan convertirse en gigantes de la era de la IA. La serie Llama de Meta se ha convertido en un referente de los LLM de código abierto, con una gran comunidad de desarrolladores. En términos de rendimiento, GPT-4 sigue estando muy por delante, y otros modelos tienen dificultades para alcanzarlo.
La competencia central de los grandes modelos radica en la construcción de ecosistemas o en la pura capacidad de inferencia, y no solo en el tamaño de los parámetros. A medida que la comunidad de código abierto se vuelve cada vez más activa, el rendimiento de varios LLM podría converger.
Un desafío mayor es el modelo de ganancias. A excepción de unos pocos casos, la mayoría de los proveedores de grandes modelos enfrentan un grave desbalance entre costos e ingresos. Los altos costos de computación se han convertido en un obstáculo para el desarrollo de la industria, y las empresas de software, tras incurrir en grandes costos, aún no han encontrado una forma clara de obtener ganancias.
Con el aumento de la competencia homogeneizada y el incremento de modelos de código abierto, los proveedores de grandes modelos pueden enfrentar una mayor presión. En el futuro, el verdadero valor podría no estar en el modelo en sí, sino en sus escenarios de aplicación y capacidad de comercialización.
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
11 me gusta
Recompensa
11
5
Compartir
Comentar
0/400
SingleForYears
· 08-04 09:52
Los novatos no entienden estos grandes modelos.
Ver originalesResponder0
OnChainDetective
· 08-04 09:43
Arabia Saudita está acumulando chips en grandes cantidades... ¿Acaso las transferencias de grandes sumas que monitoreé anteriormente desde los Emiratos Árabes Unidos realmente tienen conexión? La fuente de financiación detrás merece una investigación más profunda.
AI百模大战:Código abierto崛起 Algoritmo创新让位工程实践
La "Guerra de los Cien Modelos" en el campo de la IA: los problemas de ingeniería reemplazan la innovación del Algoritmo
El mes pasado, estalló una "guerra de animales" en el mundo de la IA. Por un lado, está el modelo Llama lanzado por Meta, que es muy apreciado por los desarrolladores debido a su naturaleza de código abierto. Por otro lado, está el gran modelo llamado Falcon, que, después de su lanzamiento en mayo, superó a Llama y se posicionó en la cima de la clasificación de LLM de código abierto.
Curiosamente, los desarrolladores de Falcon son del Instituto de Innovación Tecnológica de los Emiratos Árabes Unidos. Después del lanzamiento de la versión 180B, el Ministro de Inteligencia Artificial de los Emiratos Árabes Unidos fue incluido en la lista de las 100 personas más influyentes en el campo de la IA de la revista Time.
Hoy en día, cualquier país o empresa con cierto poder adquisitivo está desarrollando su propio modelo de lenguaje grande. Solo en los países del Golfo hay más de un jugador; Arabia Saudita acaba de comprar más de 3000 chips H100 para entrenar LLM en universidades nacionales.
Detrás de esta "guerra de grandes modelos" está el mérito del algoritmo Transformer. En 2017, Google publicó el algoritmo Transformer en el artículo "Attention Is All You Need", que se convirtió en el punto de detonación de esta ola de IA. Todos los grandes modelos posteriores, incluida la serie GPT, están construidos sobre la base del Transformer.
El Transformer resolvió el problema de que las primeras redes neuronales tenían dificultades para entender el contexto, mejorando significativamente la eficiencia del entrenamiento y llevando a la IA a la era de los grandes modelos. Esto convirtió a los grandes modelos de una cuestión de investigación teórica a un problema puramente ingenieril: siempre que haya suficientes datos, potencia de cálculo y arquitectura de modelo, cualquier empresa con capacidad técnica puede crear grandes modelos.
Esto también ha llevado a que la velocidad de innovación en los algoritmos fundamentales en la academia se desacelere, elementos de ingeniería como datos, capacidad de cálculo, arquitecturas de modelos, etc., se conviertan en clave en la competencia de IA. Algunos análisis sugieren que incluso la competitividad de GPT-4 proviene principalmente de soluciones de ingeniería, y si se abre el código, los competidores podrán replicarlo rápidamente.
Sin embargo, que la entrada sea fácil no significa que todos puedan convertirse en gigantes de la era de la IA. La serie Llama de Meta se ha convertido en un referente de los LLM de código abierto, con una gran comunidad de desarrolladores. En términos de rendimiento, GPT-4 sigue estando muy por delante, y otros modelos tienen dificultades para alcanzarlo.
La competencia central de los grandes modelos radica en la construcción de ecosistemas o en la pura capacidad de inferencia, y no solo en el tamaño de los parámetros. A medida que la comunidad de código abierto se vuelve cada vez más activa, el rendimiento de varios LLM podría converger.
Un desafío mayor es el modelo de ganancias. A excepción de unos pocos casos, la mayoría de los proveedores de grandes modelos enfrentan un grave desbalance entre costos e ingresos. Los altos costos de computación se han convertido en un obstáculo para el desarrollo de la industria, y las empresas de software, tras incurrir en grandes costos, aún no han encontrado una forma clara de obtener ganancias.
Con el aumento de la competencia homogeneizada y el incremento de modelos de código abierto, los proveedores de grandes modelos pueden enfrentar una mayor presión. En el futuro, el verdadero valor podría no estar en el modelo en sí, sino en sus escenarios de aplicación y capacidad de comercialización.