Adquisición de datos en disco a 75 GB/s
Una solución rentable con ADQ35 y la biblioteca libads.
www.spdevices.com
Teledyne SP Devices’ digitalizadores de la serie ADQ3 ofrecen un elevado rendimiento de transferencia de datos y un SDK diseñado para facilitar el desarrollo de aplicaciones. En este artículo presentamos un sistema de grabación directa en disco capaz de mantener una velocidad de escritura de 75 GB/s en 6 canales durante más de 50 segundos, con una captura total de 4 TB de datos. El sistema está basado en la plataforma DPS7-PCIe e incorpora seis digitalizadores ADQ35, cada uno de los cuales adquiere datos a 10 GSPS (12,5 GB/s por canal). Este tipo de sistemas se utiliza en aplicaciones como la monitorización de satélites y el LiDAR.
Las unidades NVMe de consumo y bajo coste se configuran en modo de celda de nivel único (SLC) para alcanzar velocidades de transferencia superiores a 12,5 GB/s por unidad. Combinadas con la biblioteca de grabación directa en disco libads de Teledyne SP Devices, que evita el sistema de archivos y reduce la carga de la CPU, permiten obtener una solución rentable con una sobrecarga mínima del sistema. Las configuraciones de menor coste pueden representar tan solo entre el 5 y el 10 % del precio de las soluciones empresariales más caras, por lo que constituyen una alternativa muy interesante cuando la aplicación no requiere la resistencia a la escritura de las unidades empresariales.
Descripción general del sistema
Basado en la plataforma DPS7-PCIe de Teledyne SP Devices, con un formato compacto 4U para montaje en rack o uso de sobremesa (como se muestra en la figura 1), este sistema adquiere y almacena datos de 6 canales a 10 GSPS o de 12 canales a 5 GSPS. La grabación continua durante más de 50 segundos permite alcanzar un volumen total de datos de 4 TB. El sistema es completamente autónomo e integra la generación y distribución de reloj, así como la sincronización de disparo entre todos los canales.
- DPS7-PCIe, plataforma informática configurable de categoría servidor.
- 6 × digitalizadores ADQ35, cada uno configurado para adquirir datos a 12,5 GB/s.
- 6 × unidades SSD NVMe Kingston Fury Renegade G5 de 2 TB (configuradas con una capacidad efectiva de 670 GB).
- libads, biblioteca de grabación directa en disco de Teledyne SP Devices.
- Ubuntu 24.04 LTS, sistema operativo.
- Placa de distribución de reloj de Teledyne SP Devices para la generación y distribución de la señal de reloj de referencia.
La placa de distribución de reloj genera una señal de referencia de 10 MHz que se distribuye a todos los digitalizadores. Los puertos de disparo de los digitalizadores se conectan en cadena, con una de las unidades configurada como maestra. Esto permite sincronizar el inicio de la adquisición en todos los digitalizadores.
Figura 1: DPS7-PCIe de Teledyne SP Devices en formato 4U para montaje en rack o uso de sobremesa. Fotografía de ejemplo con dos digitalizadores instalados.
Acerca de libads
libads es una biblioteca de alto rendimiento para la grabación directa en disco, diseñada para los digitalizadores de la serie ADQ3. Está estrechamente integrada con la API de los digitalizadores, lo que facilita el desarrollo de aplicaciones. Los ejemplos incluidos, altamente parametrizables, cubren la mayoría de los casos de uso y pueden servir como punto de partida para desarrollar aplicaciones avanzadas. La biblioteca utiliza un sistema de archivos propio que elimina la sobrecarga de la CPU y facilita la identificación de los conjuntos de datos almacenados.
La solución descrita utiliza una unidad de almacenamiento por digitalizador, pero la biblioteca también admite varios digitalizadores por unidad y varias unidades por digitalizador (RAID). La compatibilidad opcional con NVIDIA GPUDirect Storage permite realizar el procesamiento en tiempo real mediante GPU antes de almacenar los datos.
La biblioteca está optimizada para ofrecer un elevado rendimiento de transferencia con una baja carga del sistema. Los datos se escriben de forma asíncrona en unidades SSD NVMe, evitando el sistema de archivos y los mecanismos de almacenamiento en caché del sistema operativo. Este enfoque reduce la carga de la CPU y concentra los componentes críticos de la ruta de datos en PCIe, las unidades de almacenamiento y la DRAM (o GPU). La ruta de datos se muestra en la figura 2. Los datos adquiridos se transfieren desde el digitalizador a los búferes de DRAM, desde donde las unidades de almacenamiento los recuperan para grabarlos, mientras que la CPU solo interviene en las tareas de control y supervisión.
Figura 2: Diagrama de flujo que muestra en verde la ruta de datos de alto ancho de banda y en rojo la ruta de control y supervisión de bajo ancho de banda.
Selección de los componentes del sistema
A continuación se indican los requisitos de la aplicación que determinan la selección de los componentes del sistema.
- Velocidad de transferencia: 6 canales a 10 GSPS o 12 canales a 5 GSPS con compresión de 10 bits -> 6 × 12,5 GB/s o 12 × 6,25 GB/s = 75 GB/s. La compresión de 10 bits permite reducir el volumen de datos con un impacto mínimo en la calidad de la señal.
- Capacidad de almacenamiento: grabación continua durante al menos 50 segundos -> 75 GB/s × 50 s = 3,75 TB.
- Capacidad de procesamiento: no se requiere procesamiento en tiempo real.
A continuación se describen los aspectos específicos que se han tenido en cuenta para seleccionar los componentes de esta aplicación.
- Digitalizadores: se ha seleccionado el ADQ35 por su elevada frecuencia de muestreo y su capacidad de transferencia. Cada digitalizador puede adquirir datos en 1 canal a 10 GSPS o en 2 canales a 5 GSPS y transferirlos a más de 14 GB/s.
- Almacenamiento: la configuración de almacenamiento viene determinada principalmente por la capacidad y la velocidad de transferencia requeridas. La resistencia de las unidades, es decir, la cantidad total de datos que pueden escribirse en ellas antes de que se agote su vida útil, puede ser un factor importante en los sistemas sometidos a un uso intensivo. Para esta aplicación se ha elegido una unidad de bajo coste de 2 TB, configurada para ofrecer una velocidad de transferencia superior a 12,5 GB/s por unidad mediante la reducción de su capacidad efectiva a 670 GB.
El sistema se basa en la plataforma DPS7-PCIe de categoría servidor, que puede adaptarse a la mayoría de las aplicaciones mediante la selección de los componentes adecuados. Las especificaciones detalladas del sistema se muestran en la tabla siguiente. Los digitalizadores y las unidades NVMe aparecen en la figura 3. La placa de distribución de reloj se muestra en la figura 4, en este caso configurada para su instalación en una ranura PCIe.
Figura 3: Digitalizadores y unidades NVMe instalados en el sistema DPS7-PCIe.
Figura 4: Placa de distribución de reloj de Teledyne SP Devices configurada para su instalación en una ranura PCIe.
Resultados
La adquisición continua se grabó satisfactoriamente con una velocidad de transferencia sostenida de 75 GB/s en 6 canales (12,5 GB/s por canal) durante 53 segundos, lo que supone un total de 4 TB. En conjunto, se escribieron 4.020 GB a una velocidad de 74,989 GB/s. La pequeña desviación respecto a los 75 GB/s se debe a que el tiempo medido incluye las operaciones de inicio y finalización de la adquisición.
Una vez completada la adquisición, se utilizaron funciones de desarrollo para verificar la integridad de los datos y los metadatos obtenidos. El proceso se repitió varias veces, formateando las unidades entre cada ejecución, ya que se utilizó toda su capacidad.
Para determinar la velocidad máxima de transferencia sostenida de las unidades, se realizaron adquisiciones adicionales con registros discretos de 2048 muestras en formato de 16 bits. Estos registros se grabaron satisfactoriamente con una velocidad de transferencia sostenida de 75,9 GB/s. Este es el rendimiento máximo sostenido de esta configuración del sistema.
Escalabilidad y futuras ampliaciones
Los sistemas de grabación directa en disco pueden escalarse para satisfacer la mayoría de los requisitos. Las opciones de firmware de los digitalizadores también ofrecen posibilidades de actualización futura. Por ejemplo, es posible construir un sistema de 4 canales con 2 × ADQ35 que ejecuten firmware de 2 canales a 5 GSPS y ampliarlo posteriormente a 4 × ADQ35 con firmware de 1 canal a 10 GSPS. Entre las opciones disponibles para los sistemas de grabación directa en disco se incluyen:
- Capacidad de almacenamiento a escala de petabytes y velocidades de escritura sostenidas superiores a 80 GB/s: mediante el uso de unidades NVMe de categoría empresarial y sus correspondientes soportes de montaje.
- Unidades de alta resistencia: cada una con una capacidad de escritura nominal superior a 70.000 TB (TBW).
- Configuraciones sincronizadas con varios chasis para aplicaciones con un elevado número de canales: el sistema puede ampliarse mediante el chasis de expansión DPS16-PCIe de 16 ranuras. Como alternativa, pueden utilizarse varios sistemas DPS7-PCIe. Las señales de reloj y disparo de los digitalizadores pueden sincronizarse entre todos los chasis.
- Procesamiento en tiempo real mediante GPU antes del almacenamiento: el procesamiento de los datos en una GPU permite reducir el volumen que debe almacenarse y, por tanto, las necesidades de capacidad y velocidad de transferencia del sistema de almacenamiento. La biblioteca libads es compatible con NVIDIA GPUDirect Storage, que permite transferir los datos directamente desde el digitalizador a la GPU y, posteriormente, al disco.
- Procesamiento en tiempo real mediante FPGA antes del almacenamiento: los datos pueden procesarse y reducirse en la FPGA mediante las opciones de firmware disponibles para los digitalizadores de la serie ADQ3 o mediante lógica personalizada implementada con la opción de kit de desarrollo.
- Formato: disponibles en formatos PXIe, sobremesa y montaje en rack.
Conclusión
La solución de grabación directa en disco presentada reduce el coste de los sistemas de almacenamiento de alta velocidad mediante el uso de la biblioteca libads de Teledyne SP Devices y de unidades configuradas en modo SLC. Esto permite reducir significativamente el coste total del almacenamiento. Además, al necesitar menos ranuras PCIe para los dispositivos de almacenamiento, es posible alcanzar una mayor densidad de canales por chasis.
Una solución de grabación directa en disco rentable puede adaptarse prácticamente a cualquier requisito. Ofrecemos tanto sistemas completos como asesoramiento para construir o actualizar sistemas propios.
Acerca de Teledyne SP Devices
Teledyne SP Devices es una empresa pionera en el campo de la adquisición de datos de alta velocidad que ofrece digitalizadores avanzados y soluciones de procesamiento de señales para aplicaciones exigentes en todo el mundo. Con una dilatada trayectoria de innovación, que incluye su liderazgo temprano en el desarrollo de tecnología de digitalización a 10 GSPS, ayudamos a nuestros clientes a capturar y procesar datos con mayor rapidez, precisión y eficiencia.
Más información en: https://www.spdevices.com/en-us?utm_source=mepax
