La herramienta de gestión de memoria de supercomputación hace que el almacenamiento de datos sea más eficiente
El sistema SICM optimiza el almacenamiento y la recuperación de datos, lo que permite el uso eficiente de la potencia de supercomputación y admitiendo diversos programas dentro de un solo bastidor a través de la tecnología CXL. Crédito: Carlos Jones/Ornl, Departamento de Energía de los Estados Unidos
Investigadores del Laboratorio Nacional de Oak Ridge del Departamento de Energía han desarrollado una nueva aplicación para aumentar la eficiencia en los sistemas de memoria para la informática de alto rendimiento.
En lugar de permitir que los datos estancen los sistemas de memoria tradicionales en las supercomputadoras y el rendimiento del impacto, el equipo de ORNL, junto con investigadores de la Universidad de Tennessee, Knoxville, creó un marco para administrar los datos de manera más eficiente con los sistemas de memoria que emplean estructuras más complejas. Los trabajos de investigación que detallan su trabajo fueron recientemente aceptados en transacciones ACM en arquitectura y optimización de códigos y la revista internacional de aplicaciones informáticas de alto rendimiento.
Trabajando bajo el Proyecto de Computación Exascale, o ECP, un proyecto de investigación, desarrollo y implementación de software de varios años administrado por DOE, el investigador senior de informática de ORNL, Terry Jones, y su equipo titulado su trabajo, la “interfaz simplificada de ECP para recuerdos complejos” o SICM.
“Nuestro trabajo es colocar automáticamente los objetos utilizados en la ubicación correcta en el nivel más rápido de la memoria y poner los objetos menos utilizados, las cosas a las que no se accede con tanta frecuencia, en la memoria más lenta”, dijo Jones. “Nuestro trabajo muestra que funciona mejor que las estrategias anteriores”.
Para optimizar las grandes cantidades de datos almacenados en computadoras de alto rendimiento como la frontera de Ornl, la primera supercomputadora exascale del mundo, los científicos necesitan formas de estructurar los sistemas de memoria en función de la necesidad de la información almacenada. Los sistemas de memoria que operan más rápido para la recuperación de la información pueden ser computacionalmente costosos, ya que requieren más potencia informática para completar, mientras que los sistemas que contienen más datos a menudo funcionan a velocidades más lentas.
Jones también dijo que, convencionalmente, los sistemas de memoria han operado con un principio de “primer toque”, donde los datos se almacenan en el almacenamiento de memoria más rápido hasta que alcanza la capacidad. Sin embargo, en muchos casos, las etapas iniciales de un programa incluyen elementos que solo se utilizarán cuando se inicie el programa, llenando las áreas de memoria más rápidas con elementos que ya no se necesitarán.
“El primer toque es un enfoque menos ideal para ese tipo de aplicaciones”, dijo Jones. “Nuestro enfoque utiliza técnicas más sofisticadas para determinar si algunos datos necesitan una memoria más rápida o no y puede darle un rendimiento mucho mejor que el primer toque”.
Usando el sistema SICM, la información se clasifica y almacena automáticamente en función de la necesidad, lo que hace que la recuperación sea significativamente más eficiente y permite a los desarrolladores escribir programas que usen mejor la capacidad total de los sistemas de supercomputación. En el futuro, esta herramienta permitirá múltiples programas con diferentes necesidades de almacenamiento para funcionar dentro de un solo bastidor de supercomputación a través de una nueva tecnología llamada CXL.
“Imagine que dentro de un estante de una supercomputadora hay mucha memoria, y todos los nodos dentro de ese mismo estante podrían obtener lo que necesiten de esa memoria”, dijo Jones. “Entonces, si dentro de un rack hay múltiples programas, como una aplicación de IA y un cálculo complejo en un pequeño conjunto de datos, el programa AI necesitará mucha memoria, pero el cálculo complejo no necesitará tanta memoria. Dinámicamente dentro de ese rack, podríamos hacer que esta memoria se mueva mientras esos dos códigos se ejecutan”.
Más información: Brandon Kammerdiener et al, nivelación de objetos flexible y efectivo para sistemas de memoria heterogénea, transacciones ACM en arquitectura y optimización de código (2024). Doi: 10.1145/3708540
Roxana Bujack et al, el proyecto ECP SICM: gestión de jerarquías de memoria complejas para aplicaciones exascale, el International Journal of High Performance Computing Applications (2024). Doi: 10.1177/10943420241288243
Proporcionado por el Laboratorio Nacional de Oak Ridge
Cita: la herramienta de gestión de memoria de supercomputación hace que el almacenamiento de datos sea más eficiente (2025, 26 de marzo) recuperada el 26 de marzo de 2025 de https://techxplore.com/news/2025-03-supercomputing-memory-tool-storage-eficiente.html
Este documento está sujeto a derechos de autor. Además de cualquier trato justo con el propósito de estudio o investigación privada, no se puede reproducir ninguna parte sin el permiso por escrito. El contenido se proporciona solo para fines de información.
