Anterior: Me hizo gracia, II | Siguiente: Escuela 2 de Mayo. Round one
Seguimos con el programa de PR para dar a conocer al mundo que nosotros la tenemos más grande
La capa límite.
Por ahora YO la tengo más grande :-P Aunque me dure poco la alegría... '-(
Por ahora quen la tiene más grande es Schlatter.
Entre españoles, por dios, entre españoles ;). Cuando te enseñe mis RANS....
Una cosilla. Gracias a tu presentación me he enterado de que existe SIONLib. Y que, además, es software libre. Pero hay alguna cosa que todavía no me queda clara: al inicio de la web dice que también rula con OpenMP, pero en la documentación de la API sólo encuentro funciones para MPI y para acceso en serie. ¿La habéis probado con OpenMP? ¿Qué tal va?
No te recomiendo sionlib. Es una librería optimizada para conseguir un buen throughput con cantidades ridículamente altas de nodos. No se le saca partido de otro modo. También está pensada para escribir con sistemas de fichreros paralelos, especialmente GPFS. Dudo que funcione bien con algo que no sea eso. Otro inconveniente es que te genera archivos binarios fragmentados porque insiste en escribir con el blocksize del sistema de ficheros, que en el caso de GPFS del BG/P está en 4MB (grande que te cagas). Si luego quieres leer el archivo tienes que llevarte sionlib a todos lados y no es muy práctico.
La semana pasada hablé con Wolfgang Frings, el desarrollador. Me dijo que se pensó para hacer checkpointing, no para escribir resultados. Cuando le dije que nuestros checkpoints eran resultados definitivos no puso ninguna pega a que usara HDF5. De hecho me dijo que mis throughputs de I/O eran muy bajos, especialmente en escritura.
Seguramente pone que funciona en OpenMP porque es thread safe y puedes poner la escritura dentro de una región paralela así que no debería haber diferencias en las llamadas a la api para MPI o OpenMP.
Luego, viendo la documentación y los dibujitos de la web, me di cuenta de lo de la escritura fragmentada. Un pequeño gran inconveniente.
Habrá que seguir esperando a que algún súper friki se pique algo de código para la escritura en paralelo con OpenMP. ¡Coño con el estándar de C! Igual que inventaron el malloc() para asignar memoria, ¿no podían haber pensado algo para asignar memoria en disco duro y, luego, con funciones como fseek() posicionarse donde a uno le salga del mango?
Yo tenía esperanzas con lo de HDF5, pero parece que con OpenMP todavía casca:
www.hdfgroup.org/HDF5/doc/TechNotes/openmp-hdf5.html
De todos modos, no entiendo por qué insistes en escribir con más de un hilo. Todos los hilos ven el array entero y no ganarás throughput haciendo que más que un thread escriba a la vez puesto que el cuello de botella está siempre en la controladora de disco.
De hecho lo que se suele hacer es dejar un hilo escribiendo mientras el resto siguen trabajando. Si quieres en una región con OMP MASTER.
Sí te interesa una API de I/O en paralelo cuando tienes una variable repartida en todos los procesos MPI y quieres escribirla en un archivo único.
Pues igual me he quedado atrás, pero con MPI puro el abrir un proceso independiente de grabado para cada proceso MPI me redujo el tiempo desde el serial en un 99% ciento. Creo que tenía que ver con el acceso de cada nodo al disco. Me siento como el albañil discutiendo con los arquitectos, pero a mi me funcionó (Buff... esto suena casi como la homopatía...)
Me acabo de enterar pro tu twitter del problemilla con MathWorks. El día menos pensado te encuentran en una zanja. En fin, una razón más para hablar sólo de GNU Octave.
Espero que cuelgues el texto de la cartita de marras en el blog.
Parece que los de PathScale han liberado su compilador:
www.pathscale.com/ekopath4-open-source-announcement
softlibre.barrapunto.com/softlibre/11/06/14/1045233.shtml
Yo no lo he utilizado en mi vida, pero lagente habla de él como si fuese la panacea. ¿Lo has usado tú alguna vez?
Un par de cosas:
1. El enlace a tu último post del blog parece que está mal puesto
2. ¿Qué te ha pasado con el Octave para decir que, poco a poco, se está convirtiendo en un montón de mierda?