El desarrollo reciente de la industria de la IA ha sido visto por algunos como la cuarta revolución industrial. La aparición de modelos grandes ha mejorado significativamente la eficiencia en diversos sectores, y Boston Consulting estima que GPT ha aumentado la productividad laboral en Estados Unidos en aproximadamente un 20%. Al mismo tiempo, la capacidad de generalización que traen los modelos grandes se considera un nuevo paradigma de diseño de software, pasando de un diseño de código preciso en el pasado a un marco de modelo grande más generalizado incrustado en el software, lo que permite un mejor rendimiento y soporte para una gama más amplia de entradas y salidas de modalidad. La tecnología de aprendizaje profundo ha traído efectivamente la cuarta prosperidad a la industria de la IA, y esta tendencia también ha influido en la industria de las criptomonedas.
Este informe explorará en detalle la historia del desarrollo de la industria de la IA, las categorías tecnológicas y el impacto de la invención de la tecnología de aprendizaje profundo en la industria. Luego, se analizarán en profundidad la cadena de suministro y la situación y tendencias actuales de la industria, incluyendo GPU, computación en la nube, fuentes de datos y dispositivos en el borde en el aprendizaje profundo. Finalmente, se discutirá en detalle la relación entre las criptomonedas y la industria de la IA, organizando el panorama de la cadena de suministro de AI relacionada con criptomonedas.
Historia del desarrollo de la industria de la IA
La industria de la IA comenzó en la década de 1950. Para lograr la visión de la inteligencia artificial, el mundo académico y la industria han desarrollado diversas corrientes para realizar la inteligencia artificial en diferentes épocas y bajo distintos contextos disciplinarios.
La tecnología moderna de inteligencia artificial utiliza principalmente el término "aprendizaje automático", cuyo concepto es permitir que las máquinas mejoren el rendimiento del sistema mediante iteraciones repetidas basadas en datos en tareas. Los principales pasos son enviar datos al algoritmo, utilizar estos datos para entrenar el modelo, probar y desplegar el modelo, y usar el modelo para realizar tareas de predicción automatizada.
Actualmente, hay tres corrientes principales en el aprendizaje automático: el conexionismo, el simbolismo y el conductismo, que imitan respectivamente el sistema nervioso humano, el pensamiento y el comportamiento.
Actualmente, el conexionismo representado por las redes neuronales está en auge ( también conocido como aprendizaje profundo ), la razón principal es que esta arquitectura tiene una capa de entrada, una capa de salida, pero múltiples capas ocultas. Una vez que el número de capas y la cantidad de neuronas ( parámetros ) son suficientes, hay suficiente oportunidad para ajustar tareas generales complejas. A través de la entrada de datos, se pueden ajustar continuamente los parámetros de las neuronas, y tras pasar por múltiples datos, esa neurona alcanzará su estado óptimo ( parámetros ), esto es lo que se llama "profundidad"—suficientes capas y neuronas.
Un ejemplo simple puede entenderse como la construcción de una función, donde la entrada X=2 produce Y=3 y X=3 produce Y=5. Si se desea que esta función responda a todos los valores de X, es necesario seguir añadiendo el grado de la función y sus parámetros. Por ejemplo, se puede construir una función que cumpla esta condición como Y = 2X - 1, pero si hay un dato donde X=2 y Y=11, será necesario reconstruir una función adecuada para estos tres puntos de datos. Al utilizar GPU para un ataque de fuerza bruta, se descubre que Y = X2 - 3X + 5 es bastante adecuado, aunque no necesita coincidir completamente con los datos, solo se requiere que cumpla con el equilibrio y produzca salidas aproximadamente similares. Aquí, X2, X y X0 representan diferentes neuronas, mientras que 1, -3 y 5 son sus parámetros.
En este momento, si se introducen grandes cantidades de datos en la red neuronal, se pueden aumentar los neuronas y los parámetros de iteración para ajustar los nuevos datos, de esta manera se puede ajustar todos los datos.
La tecnología de aprendizaje profundo basada en redes neuronales también ha tenido múltiples iteraciones y evoluciones técnicas, desde las primeras redes neuronales, hasta las redes neuronales feedforward, RNN, CNN, GAN, y finalmente evolucionando hacia los modernos modelos grandes como GPT que utilizan la tecnología Transformer. La tecnología Transformer es solo una dirección de evolución de las redes neuronales, que añade un convertidor ( Transformer ), utilizado para codificar datos de todos los modos ( como audio, video, imágenes, etc. ) en valores numéricos correspondientes para representarlos, y luego se ingresan en la red neuronal, de esta manera la red neuronal puede ajustar cualquier tipo de datos, es decir, lograr múltiples modalidades.
El desarrollo de la IA ha pasado por tres oleadas tecnológicas. La primera oleada fue en la década de 1960, una década después de que se propusiera la tecnología de IA. Esta oleada fue provocada por el desarrollo de la tecnología del simbolismo, que resolvió problemas de procesamiento de lenguaje natural general y de diálogo hombre-máquina. En ese mismo período, nacieron los sistemas expertos, siendo el sistema experto DENRAL, completado bajo la supervisión de la NASA por la Universidad de Stanford en Estados Unidos. Este sistema posee un conocimiento químico muy sólido y deduce respuestas similares a las de un experto químico a través de preguntas. Este sistema experto químico puede considerarse como una combinación de una base de conocimiento químico y un sistema de inferencia.
Después de los sistemas expertos, en la década de 1990, el científico y filósofo estadounidense de origen israelí Judea Pearl( propuso las redes bayesianas, que también se conocen como redes de creencias. En la misma época, Brooks propuso la robótica basada en el comportamiento, marcando el nacimiento del conductismo.
En 1997, Deep Blue de una conocida compañía de tecnología derrotó al campeón de ajedrez Garry Kasparov con un marcador de 3.5:2.5, esta victoria se considera un hito en la inteligencia artificial, marcando el inicio de un segundo auge en el desarrollo de la tecnología AI.
La tercera ola de la tecnología AI ocurrió en 2006. Los tres gigantes del aprendizaje profundo, Yann LeCun, Geoffrey Hinton y Yoshua Bengio, propusieron el concepto de aprendizaje profundo, un algoritmo que utiliza redes neuronales artificiales como arquitectura para el aprendizaje de representaciones de datos. Posteriormente, los algoritmos de aprendizaje profundo evolucionaron gradualmente, desde RNN y GAN hasta Transformer y Stable Diffusion, estos dos algoritmos moldearon conjuntamente esta tercera ola tecnológica, y también fue la época dorada del conexionismo.
Muchos eventos emblemáticos también han surgido gradualmente junto con la exploración y evolución de la tecnología de aprendizaje profundo, incluyendo:
En 2011, Watson) de una conocida empresa de tecnología ganó a los humanos y se coronó campeón en el programa de preguntas y respuestas "Jeopardy(".
En 2014, Goodfellow propuso la red generativa antagonista GAN), Generative Adversarial Network(, que aprende a generar fotos que parecen reales a través de un juego de lucha entre dos redes neuronales. Al mismo tiempo, Goodfellow también escribió un libro titulado "Deep Learning", conocido como el libro de las flores, que es uno de los libros de introducción más importantes en el campo del aprendizaje profundo.
En 2015, Hinton y otros propusieron un algoritmo de aprendizaje profundo en la revista "Nature", lo que generó una gran repercusión en el ámbito académico y en la industria.
En 2015, se fundó una conocida institución de investigación en IA, y varias personalidades prominentes anunciaron una inversión conjunta de 1.000 millones de dólares.
En 2016, AlphaGo, basado en tecnología de aprendizaje profundo, se enfrentó al campeón mundial de Go y jugador profesional de nueve dan, Lee Sedol, ganando con un marcador total de 4 a 1.
En 2017, una conocida compañía de robótica desarrolló un robot humanoide llamado Sofía, que fue el primer robot en la historia en obtener la ciudadanía de primer nivel, con una rica gama de expresiones faciales y capacidad de comprensión del lenguaje humano.
En 2017, una conocida empresa de tecnología con una rica reserva de talento y tecnología en el campo de la inteligencia artificial publicó el artículo "Attention is all you need" que propuso el algoritmo Transformer, comenzando la aparición de modelos de lenguaje a gran escala.
En 2018, una conocida institución de investigación en IA lanzó el GPT)Generative Pre-trained Transformer( construido sobre el algoritmo Transformer, que era uno de los modelos de lenguaje más grandes de ese momento.
En 2018, un conocido equipo de IA lanzó AlphaGo basado en aprendizaje profundo, capaz de predecir la estructura de proteínas, considerado un gran hito en el campo de la inteligencia artificial.
En 2019, una conocida institución de investigación en IA lanzó GPT-2, que cuenta con 1.5 mil millones de parámetros.
En 2020, una conocida institución de investigación en IA desarrolló GPT-3, que tiene 175 mil millones de parámetros, 100 veces más que la versión anterior GPT-2. Este modelo utilizó 570 GB de texto para su entrenamiento y puede alcanzar un rendimiento de vanguardia en múltiples tareas de procesamiento de lenguaje natural, como responder preguntas, traducción y redacción de artículos.
En 2021, una conocida institución de investigación en IA lanzó GPT-4, un modelo que cuenta con 1.76 billones de parámetros, lo que representa 10 veces más que GPT-3.
En enero de 2023 se lanzó la aplicación ChatGPT basada en el modelo GPT-4, en marzo ChatGPT alcanzó cien millones de usuarios, convirtiéndose en la aplicación que más rápido alcanzó cien millones de usuarios en la historia.
En 2024, una conocida institución de investigación en IA lanzará GPT-4 omni.
Nota: Debido a que hay muchos artículos sobre inteligencia artificial, muchas corrientes y una evolución técnica diversa, aquí principalmente se sigue la historia del desarrollo del aprendizaje profundo o del conexionismo; otras corrientes y tecnologías aún se encuentran en un proceso de rápido desarrollo.
![Nuevo conocimiento丨AI x Crypto：de cero a la cima])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Cadena de industria de aprendizaje profundo
Los modelos de lenguaje actuales se basan en métodos de aprendizaje profundo basados en redes neuronales. Los grandes modelos, encabezados por GPT, han generado una ola de entusiasmo por la inteligencia artificial, atrayendo a numerosos jugadores a este campo. También hemos observado una explosión en la demanda de datos y potencia de cálculo en el mercado. Por lo tanto, en esta parte del informe, nos enfocamos principalmente en explorar la cadena industrial de los algoritmos de aprendizaje profundo. En la industria de la inteligencia artificial dominada por algoritmos de aprendizaje profundo, ¿cómo se componen sus cadenas de suministro y demanda? ¿Cuál es la situación actual y la relación de oferta y demanda en ambos lados, así como su desarrollo futuro?
Primero, necesitamos aclarar que al realizar el entrenamiento de grandes modelos LLMs basados en la tecnología Transformer liderados por GPT ), se divide en tres pasos.
Antes del entrenamiento, debido a que se basa en Transformer, el convertidor necesita convertir la entrada de texto en valores numéricos, un proceso llamado "Tokenization". Después, estos valores se denominan Tokens. Según una regla general, una palabra o carácter en inglés se puede considerar aproximadamente como un Token, mientras que cada carácter chino se puede considerar aproximadamente como dos Tokens. Esta es también la unidad básica utilizada para la valoración de GPT.
Primer paso, preentrenamiento. Al proporcionar suficientes pares de datos a la capa de entrada, similares a los ejemplos del primer informe mencionando (X,Y), se buscan los mejores parámetros para cada neurona del modelo. En este momento se necesita una gran cantidad de datos, y este proceso también es el que más recursos computacionales consume, ya que se requiere iterar repetidamente las neuronas probando varios parámetros. Después de completar el entrenamiento de un lote de pares de datos, generalmente se usa el mismo lote de datos para un segundo entrenamiento para iterar los parámetros.
El segundo paso, el ajuste fino. El ajuste fino consiste en proporcionar un conjunto de datos más pequeño, pero de alta calidad, para el entrenamiento; este cambio hará que la salida del modelo tenga una calidad superior, ya que el preentrenamiento requiere grandes cantidades de datos, pero muchos de esos datos pueden contener errores o ser de baja calidad. El paso de ajuste fino puede mejorar la calidad del modelo a través de datos de alta calidad.
El tercer paso, el aprendizaje por refuerzo. Primero se establecerá un modelo completamente nuevo, que llamamos "modelo de recompensa", cuyo objetivo es muy simple: clasificar los resultados de salida. Por lo tanto, implementar este modelo será bastante sencillo, ya que el escenario de negocio es bastante vertical. Luego, utilizaremos este modelo para determinar si la salida de nuestro modelo grande es de alta calidad, lo que nos permitirá usar un modelo de recompensa para iterar automáticamente los parámetros del modelo grande. ( Sin embargo, a veces también es necesario que las personas participen para evaluar la calidad de la salida del modelo ).
En pocas palabras, durante el proceso de entrenamiento de grandes modelos, el preentrenamiento tiene una alta demanda de la cantidad de datos, y la potencia de cálculo de GPU requerida es la máxima, mientras que el ajuste fino necesita datos de mayor calidad para mejorar los parámetros, el aprendizaje por refuerzo puede iterar los parámetros a través de un modelo de recompensa para producir resultados de mayor calidad.
Durante el proceso de entrenamiento, cuantos más parámetros haya, mayor será el límite de su capacidad de generalización. Por ejemplo, en el caso de la función Y = aX + b, en realidad hay dos neuronas: X y X0. Por lo tanto, cómo cambian los parámetros limita enormemente los datos que puede ajustar, ya que, en esencia, sigue siendo una línea recta. Si hay más neuronas, se pueden iterar más parámetros, lo que permite ajustar más datos. Esta es la razón por la cual los grandes modelos logran milagros y también por la que se les llama comúnmente grandes modelos. En esencia, se trata de una gran cantidad de neuronas y parámetros, así como de una gran cantidad de datos, y al mismo tiempo se requiere una gran capacidad de cálculo.
Por lo tanto, el rendimiento de los grandes modelos depende principalmente de tres aspectos: la cantidad de parámetros, la cantidad y calidad de los datos, y la potencia de cálculo. Estos tres factores influyen conjuntamente en la calidad de los resultados del gran modelo y su capacidad de generalización. Supongamos que la cantidad de parámetros es p, la cantidad de datos es n( calculada en función del número de Token), entonces podemos calcular la cantidad de cálculo requerida a través de reglas generales, lo que nos permitirá estimar la potencia de cálculo que necesitamos comprar y el tiempo de entrenamiento.
 y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Profundidad de análisis: la fusión de la IA con Activos Cripto desde la trayectoria de desarrollo hasta el panorama de la cadena industrial
AI x Crypto: De cero a la cima
El desarrollo reciente de la industria de la IA ha sido visto por algunos como la cuarta revolución industrial. La aparición de modelos grandes ha mejorado significativamente la eficiencia en diversos sectores, y Boston Consulting estima que GPT ha aumentado la productividad laboral en Estados Unidos en aproximadamente un 20%. Al mismo tiempo, la capacidad de generalización que traen los modelos grandes se considera un nuevo paradigma de diseño de software, pasando de un diseño de código preciso en el pasado a un marco de modelo grande más generalizado incrustado en el software, lo que permite un mejor rendimiento y soporte para una gama más amplia de entradas y salidas de modalidad. La tecnología de aprendizaje profundo ha traído efectivamente la cuarta prosperidad a la industria de la IA, y esta tendencia también ha influido en la industria de las criptomonedas.
Este informe explorará en detalle la historia del desarrollo de la industria de la IA, las categorías tecnológicas y el impacto de la invención de la tecnología de aprendizaje profundo en la industria. Luego, se analizarán en profundidad la cadena de suministro y la situación y tendencias actuales de la industria, incluyendo GPU, computación en la nube, fuentes de datos y dispositivos en el borde en el aprendizaje profundo. Finalmente, se discutirá en detalle la relación entre las criptomonedas y la industria de la IA, organizando el panorama de la cadena de suministro de AI relacionada con criptomonedas.
Historia del desarrollo de la industria de la IA
La industria de la IA comenzó en la década de 1950. Para lograr la visión de la inteligencia artificial, el mundo académico y la industria han desarrollado diversas corrientes para realizar la inteligencia artificial en diferentes épocas y bajo distintos contextos disciplinarios.
La tecnología moderna de inteligencia artificial utiliza principalmente el término "aprendizaje automático", cuyo concepto es permitir que las máquinas mejoren el rendimiento del sistema mediante iteraciones repetidas basadas en datos en tareas. Los principales pasos son enviar datos al algoritmo, utilizar estos datos para entrenar el modelo, probar y desplegar el modelo, y usar el modelo para realizar tareas de predicción automatizada.
Actualmente, hay tres corrientes principales en el aprendizaje automático: el conexionismo, el simbolismo y el conductismo, que imitan respectivamente el sistema nervioso humano, el pensamiento y el comportamiento.
Actualmente, el conexionismo representado por las redes neuronales está en auge ( también conocido como aprendizaje profundo ), la razón principal es que esta arquitectura tiene una capa de entrada, una capa de salida, pero múltiples capas ocultas. Una vez que el número de capas y la cantidad de neuronas ( parámetros ) son suficientes, hay suficiente oportunidad para ajustar tareas generales complejas. A través de la entrada de datos, se pueden ajustar continuamente los parámetros de las neuronas, y tras pasar por múltiples datos, esa neurona alcanzará su estado óptimo ( parámetros ), esto es lo que se llama "profundidad"—suficientes capas y neuronas.
Un ejemplo simple puede entenderse como la construcción de una función, donde la entrada X=2 produce Y=3 y X=3 produce Y=5. Si se desea que esta función responda a todos los valores de X, es necesario seguir añadiendo el grado de la función y sus parámetros. Por ejemplo, se puede construir una función que cumpla esta condición como Y = 2X - 1, pero si hay un dato donde X=2 y Y=11, será necesario reconstruir una función adecuada para estos tres puntos de datos. Al utilizar GPU para un ataque de fuerza bruta, se descubre que Y = X2 - 3X + 5 es bastante adecuado, aunque no necesita coincidir completamente con los datos, solo se requiere que cumpla con el equilibrio y produzca salidas aproximadamente similares. Aquí, X2, X y X0 representan diferentes neuronas, mientras que 1, -3 y 5 son sus parámetros.
En este momento, si se introducen grandes cantidades de datos en la red neuronal, se pueden aumentar los neuronas y los parámetros de iteración para ajustar los nuevos datos, de esta manera se puede ajustar todos los datos.
La tecnología de aprendizaje profundo basada en redes neuronales también ha tenido múltiples iteraciones y evoluciones técnicas, desde las primeras redes neuronales, hasta las redes neuronales feedforward, RNN, CNN, GAN, y finalmente evolucionando hacia los modernos modelos grandes como GPT que utilizan la tecnología Transformer. La tecnología Transformer es solo una dirección de evolución de las redes neuronales, que añade un convertidor ( Transformer ), utilizado para codificar datos de todos los modos ( como audio, video, imágenes, etc. ) en valores numéricos correspondientes para representarlos, y luego se ingresan en la red neuronal, de esta manera la red neuronal puede ajustar cualquier tipo de datos, es decir, lograr múltiples modalidades.
El desarrollo de la IA ha pasado por tres oleadas tecnológicas. La primera oleada fue en la década de 1960, una década después de que se propusiera la tecnología de IA. Esta oleada fue provocada por el desarrollo de la tecnología del simbolismo, que resolvió problemas de procesamiento de lenguaje natural general y de diálogo hombre-máquina. En ese mismo período, nacieron los sistemas expertos, siendo el sistema experto DENRAL, completado bajo la supervisión de la NASA por la Universidad de Stanford en Estados Unidos. Este sistema posee un conocimiento químico muy sólido y deduce respuestas similares a las de un experto químico a través de preguntas. Este sistema experto químico puede considerarse como una combinación de una base de conocimiento químico y un sistema de inferencia.
Después de los sistemas expertos, en la década de 1990, el científico y filósofo estadounidense de origen israelí Judea Pearl( propuso las redes bayesianas, que también se conocen como redes de creencias. En la misma época, Brooks propuso la robótica basada en el comportamiento, marcando el nacimiento del conductismo.
En 1997, Deep Blue de una conocida compañía de tecnología derrotó al campeón de ajedrez Garry Kasparov con un marcador de 3.5:2.5, esta victoria se considera un hito en la inteligencia artificial, marcando el inicio de un segundo auge en el desarrollo de la tecnología AI.
La tercera ola de la tecnología AI ocurrió en 2006. Los tres gigantes del aprendizaje profundo, Yann LeCun, Geoffrey Hinton y Yoshua Bengio, propusieron el concepto de aprendizaje profundo, un algoritmo que utiliza redes neuronales artificiales como arquitectura para el aprendizaje de representaciones de datos. Posteriormente, los algoritmos de aprendizaje profundo evolucionaron gradualmente, desde RNN y GAN hasta Transformer y Stable Diffusion, estos dos algoritmos moldearon conjuntamente esta tercera ola tecnológica, y también fue la época dorada del conexionismo.
Muchos eventos emblemáticos también han surgido gradualmente junto con la exploración y evolución de la tecnología de aprendizaje profundo, incluyendo:
En 2011, Watson) de una conocida empresa de tecnología ganó a los humanos y se coronó campeón en el programa de preguntas y respuestas "Jeopardy(".
En 2014, Goodfellow propuso la red generativa antagonista GAN), Generative Adversarial Network(, que aprende a generar fotos que parecen reales a través de un juego de lucha entre dos redes neuronales. Al mismo tiempo, Goodfellow también escribió un libro titulado "Deep Learning", conocido como el libro de las flores, que es uno de los libros de introducción más importantes en el campo del aprendizaje profundo.
En 2015, Hinton y otros propusieron un algoritmo de aprendizaje profundo en la revista "Nature", lo que generó una gran repercusión en el ámbito académico y en la industria.
En 2015, se fundó una conocida institución de investigación en IA, y varias personalidades prominentes anunciaron una inversión conjunta de 1.000 millones de dólares.
En 2016, AlphaGo, basado en tecnología de aprendizaje profundo, se enfrentó al campeón mundial de Go y jugador profesional de nueve dan, Lee Sedol, ganando con un marcador total de 4 a 1.
En 2017, una conocida compañía de robótica desarrolló un robot humanoide llamado Sofía, que fue el primer robot en la historia en obtener la ciudadanía de primer nivel, con una rica gama de expresiones faciales y capacidad de comprensión del lenguaje humano.
En 2017, una conocida empresa de tecnología con una rica reserva de talento y tecnología en el campo de la inteligencia artificial publicó el artículo "Attention is all you need" que propuso el algoritmo Transformer, comenzando la aparición de modelos de lenguaje a gran escala.
En 2018, una conocida institución de investigación en IA lanzó el GPT)Generative Pre-trained Transformer( construido sobre el algoritmo Transformer, que era uno de los modelos de lenguaje más grandes de ese momento.
En 2018, un conocido equipo de IA lanzó AlphaGo basado en aprendizaje profundo, capaz de predecir la estructura de proteínas, considerado un gran hito en el campo de la inteligencia artificial.
En 2019, una conocida institución de investigación en IA lanzó GPT-2, que cuenta con 1.5 mil millones de parámetros.
En 2020, una conocida institución de investigación en IA desarrolló GPT-3, que tiene 175 mil millones de parámetros, 100 veces más que la versión anterior GPT-2. Este modelo utilizó 570 GB de texto para su entrenamiento y puede alcanzar un rendimiento de vanguardia en múltiples tareas de procesamiento de lenguaje natural, como responder preguntas, traducción y redacción de artículos.
En 2021, una conocida institución de investigación en IA lanzó GPT-4, un modelo que cuenta con 1.76 billones de parámetros, lo que representa 10 veces más que GPT-3.
En enero de 2023 se lanzó la aplicación ChatGPT basada en el modelo GPT-4, en marzo ChatGPT alcanzó cien millones de usuarios, convirtiéndose en la aplicación que más rápido alcanzó cien millones de usuarios en la historia.
En 2024, una conocida institución de investigación en IA lanzará GPT-4 omni.
Nota: Debido a que hay muchos artículos sobre inteligencia artificial, muchas corrientes y una evolución técnica diversa, aquí principalmente se sigue la historia del desarrollo del aprendizaje profundo o del conexionismo; otras corrientes y tecnologías aún se encuentran en un proceso de rápido desarrollo.
![Nuevo conocimiento丨AI x Crypto：de cero a la cima])https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp(
Cadena de industria de aprendizaje profundo
Los modelos de lenguaje actuales se basan en métodos de aprendizaje profundo basados en redes neuronales. Los grandes modelos, encabezados por GPT, han generado una ola de entusiasmo por la inteligencia artificial, atrayendo a numerosos jugadores a este campo. También hemos observado una explosión en la demanda de datos y potencia de cálculo en el mercado. Por lo tanto, en esta parte del informe, nos enfocamos principalmente en explorar la cadena industrial de los algoritmos de aprendizaje profundo. En la industria de la inteligencia artificial dominada por algoritmos de aprendizaje profundo, ¿cómo se componen sus cadenas de suministro y demanda? ¿Cuál es la situación actual y la relación de oferta y demanda en ambos lados, así como su desarrollo futuro?
Primero, necesitamos aclarar que al realizar el entrenamiento de grandes modelos LLMs basados en la tecnología Transformer liderados por GPT ), se divide en tres pasos.
Antes del entrenamiento, debido a que se basa en Transformer, el convertidor necesita convertir la entrada de texto en valores numéricos, un proceso llamado "Tokenization". Después, estos valores se denominan Tokens. Según una regla general, una palabra o carácter en inglés se puede considerar aproximadamente como un Token, mientras que cada carácter chino se puede considerar aproximadamente como dos Tokens. Esta es también la unidad básica utilizada para la valoración de GPT.
Primer paso, preentrenamiento. Al proporcionar suficientes pares de datos a la capa de entrada, similares a los ejemplos del primer informe mencionando (X,Y), se buscan los mejores parámetros para cada neurona del modelo. En este momento se necesita una gran cantidad de datos, y este proceso también es el que más recursos computacionales consume, ya que se requiere iterar repetidamente las neuronas probando varios parámetros. Después de completar el entrenamiento de un lote de pares de datos, generalmente se usa el mismo lote de datos para un segundo entrenamiento para iterar los parámetros.
El segundo paso, el ajuste fino. El ajuste fino consiste en proporcionar un conjunto de datos más pequeño, pero de alta calidad, para el entrenamiento; este cambio hará que la salida del modelo tenga una calidad superior, ya que el preentrenamiento requiere grandes cantidades de datos, pero muchos de esos datos pueden contener errores o ser de baja calidad. El paso de ajuste fino puede mejorar la calidad del modelo a través de datos de alta calidad.
El tercer paso, el aprendizaje por refuerzo. Primero se establecerá un modelo completamente nuevo, que llamamos "modelo de recompensa", cuyo objetivo es muy simple: clasificar los resultados de salida. Por lo tanto, implementar este modelo será bastante sencillo, ya que el escenario de negocio es bastante vertical. Luego, utilizaremos este modelo para determinar si la salida de nuestro modelo grande es de alta calidad, lo que nos permitirá usar un modelo de recompensa para iterar automáticamente los parámetros del modelo grande. ( Sin embargo, a veces también es necesario que las personas participen para evaluar la calidad de la salida del modelo ).
En pocas palabras, durante el proceso de entrenamiento de grandes modelos, el preentrenamiento tiene una alta demanda de la cantidad de datos, y la potencia de cálculo de GPU requerida es la máxima, mientras que el ajuste fino necesita datos de mayor calidad para mejorar los parámetros, el aprendizaje por refuerzo puede iterar los parámetros a través de un modelo de recompensa para producir resultados de mayor calidad.
Durante el proceso de entrenamiento, cuantos más parámetros haya, mayor será el límite de su capacidad de generalización. Por ejemplo, en el caso de la función Y = aX + b, en realidad hay dos neuronas: X y X0. Por lo tanto, cómo cambian los parámetros limita enormemente los datos que puede ajustar, ya que, en esencia, sigue siendo una línea recta. Si hay más neuronas, se pueden iterar más parámetros, lo que permite ajustar más datos. Esta es la razón por la cual los grandes modelos logran milagros y también por la que se les llama comúnmente grandes modelos. En esencia, se trata de una gran cantidad de neuronas y parámetros, así como de una gran cantidad de datos, y al mismo tiempo se requiere una gran capacidad de cálculo.
Por lo tanto, el rendimiento de los grandes modelos depende principalmente de tres aspectos: la cantidad de parámetros, la cantidad y calidad de los datos, y la potencia de cálculo. Estos tres factores influyen conjuntamente en la calidad de los resultados del gran modelo y su capacidad de generalización. Supongamos que la cantidad de parámetros es p, la cantidad de datos es n( calculada en función del número de Token), entonces podemos calcular la cantidad de cálculo requerida a través de reglas generales, lo que nos permitirá estimar la potencia de cálculo que necesitamos comprar y el tiempo de entrenamiento.
![Nuevos conceptos丨AI x Crypto: De cero a la cima](