El novedoso mecanismo fuera del núcleo introducido para el entrenamiento de redes neuronales de gráficos a gran escala
Diagrama esquemático: marco de flujo de trabajo del sistema cápsula. Crédito: Imagen de USTC
Un equipo de investigación ha introducido un nuevo mecanismo fuera del núcleo, la cápsula, para el entrenamiento de GNN a gran escala, que puede lograr una mejora de hasta 12.02 × en la eficiencia del tiempo de ejecución, al tiempo que usa solo el 22.24% de la memoria principal, en comparación con los sistemas GNN fuera de core de SOTA. Este trabajo se publicó en las Actas de la ACM sobre la gestión de datos. El equipo incluyó el Data Darkness Lab (DDL) en el Centro de Investigación de Inteligencia y Robótica de Imágenes Médicas del Instituto de la Universidad de Ciencia y Tecnología de China (USTC) Suzhou.
Las redes neuronales Graph (GNN) han demostrado fortalezas en áreas como sistemas de recomendación, procesamiento del lenguaje natural, química computacional y bioinformática. Los marcos de capacitación populares para GNN, como DGL y PYG, aprovechan la potencia de procesamiento paralelo de GPU para extraer información estructural de los datos gráficos.
A pesar de sus ventajas computacionales ofrecidas por las GPU en el entrenamiento de GNN, la capacidad limitada de la capacidad de memoria de la GPU lucha por acomodar datos de gráficos a gran escala, lo que hace que la escalabilidad sea un desafío significativo para los sistemas GNN existentes. Para abordar este problema, el equipo de DDL propuso un nuevo marco de capacitación GNN fuera del núcleo (OOC), Capsule, que proporciona una solución para la capacitación de GNN a gran escala.
A diferencia de los marcos de GNN fuera del núcleo, la cápsula elimina la sobrecarga de E/S entre la CPU y la GPU durante el proceso de propagación de retroceso mediante el uso de estrategias de división y poda de gráficos, asegurando así las estructuras de subgrafio de entrenamiento y sus características en la memoria de GPU. Esto aumenta el rendimiento del sistema.
Además, la cápsula optimiza aún más el rendimiento al diseñar un mecanismo de carga de subgrafías basado en el ciclo hamiltoniano más corto y una estrategia paralela canalizada. Además, la cápsula es plug-and-play y puede integrarse perfectamente con los principales marcos de entrenamiento de GNN de código abierto.
En las pruebas que utilizan conjuntos de datos de gráficos en el mundo real a gran escala, Capsule superó a los mejores sistemas existentes, logrando hasta una mejora del rendimiento de 12.02x mientras usa solo el 22.24% de la memoria. También proporciona un límite superior teórico para la varianza de los incrustaciones producidas durante el entrenamiento.
Este trabajo proporciona un nuevo enfoque de las estructuras gráficas colosales procesadas y las capacidades de memoria limitadas de las GPU.
Más información: Yongan Xiang et al, Cápsula: un mecanismo de entrenamiento fuera del núcleo para GNN colosales, Actas de la ACM en la gestión de datos (2025). Doi: 10.1145/3709669
Proporcionado por la Universidad de Ciencia y Tecnología de China
Cita: Mecanismo novedoso fuera del núcleo introducido para el entrenamiento de redes neuronales gráficas a gran escala (23 de abril, 23 de abril) recuperado el 23 de abril de 2025 de https://techxplore.com/news/2025-04-core-mechanism-large-scale-graph.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
