Distribuciones GNU/Linux y HPC

Jornadas sobre HPC y Software Libre (5-7 de Octubre 2011, Campus de Ourense) Orlando Garca Feal <orlando@uvigo.es> Ephyslab, Universidade de Vigo

ndice
1.- Motivacin 2.- Por qu GNU/Linux? 3.- Difusin en ambientes de HPC 4.- Aspectos a tener en cuenta 5.- Tipos de distribuciones 6.- Distribuciones basadas en Red Hat 7.- Distribuciones basadas en SUSE 8.- Distribuciones basadas en Debian 9.- Otras distribuciones 10.- Conclusiones 11.- Enlaces de inters

Motivacin
Qu necesitamos saber a la hora de elegir una distribucin de GNU/Linux para HPC?

Qu distribuciones existen para HPC?

Cmo saber qu distribucin es la ms indicada en nuestro caso?

Por qu la distribucin X y no la distribucin Y?

Por qu GNU/Linux?
GNU/Linux es un standard de facto en entornos de HPC.

Es multiplataforma, puede usarse a mltiples arquitecturas.

Es escalable, es utilizado en dispositivos mviles y en supercomputadores.

Es software libre, puede adaptarse a nuestra necesidades.

Difusin en ambientes de HPC

Hasta que punto est extendido GNU/Linux?

Podemos hacernos una idea echando un vistazo a las estadsticas de top500.org

TOP500 es un sitio que mantiene un ranking de los 500 supercomputadores conocidos ms potentes del mundo.

Difusin en ambientes de HPC

Difusin en ambientes de HPC

Aspectos a tener en cuenta

Prcticamente cualquier distribucin de GNU/Linux es vlida para ser usada en un entorno de computacin de altas prestaciones.

Sin embargo, algunos aspectos hacen que unas sean ms convenientes que otras.

Veamos algunos de ellos...

Aspectos a tener en cuenta

1.- Est nuestra arquitectura de procesador soportada?

Habitualmente x86_64, pero arquitecturas como Itanium, POWER o SPARC no estn soportadas por todas las distribuciones.

Aspectos a tener en cuenta

2.- Est todo nuestro hardware soportado?

Tenemos drivers binarios slo soportados por una distribucin especfica? La versin de Kernel incluye soporte para nuestro hardware? Podemos compilar los drivers necesarios?

Aspectos a tener en cuenta

3.- Dispone de todo el software que necesitamos?

Incluye el software que necesitamos en sus repositorios (compiladores, libreras, etc.)? Dispone de las versiones adecuadas de dicho software? Necesitaremos compilar parte del software?

Aspectos a tener en cuenta

4.- Evitar distribuciones de tipo rollingrelease

Estas distribuciones no disponen de una rama estable. Una instalacin de software puede implicar profundos cambios en el sistema. Indicadas slo para entornos de escritorio o de pruebas.

Aspectos a tener en cuenta

5.- Se actualiza lo necesario?

La distribucin publica actualizaciones de seguridad? La distribucin publica actualizaciones para corregir bugs? Durante cunto tiempo lo har?

Aspectos a tener en cuenta

6.- Tenemos experiencia con cierta distribucin?

Tenemos familiaridad con cierto sistema de paquetera? Cunta formacin necesitamos para administrar una distribucin concreta? Existe buena documentacin?

Aspectos a tener en cuenta

7.- Necesitamos contratar soporte?

Tenemos suficiente personal contratado dedicado a soporte? Tenemos presupuesto para contratar soporte externo?

Tipos de distribuciones

Distribuciones basadas en RedHat:

CentOS Scientific Linux ROCKS

Distribuciones basadas en OpenSUSE:

SLES (SUSE Linux Enterprise Server) UNICOS/lc

Distribuciones basadas en Debian:

Ubuntu Server Pelican HPC

Otras distribuciones:

Slackware CAOS

Distribuciones basadas en Red Hat

Red Hat Enterprise Linux (RHEL)
Distribucin comercial Sistema de paquetera RPM Disponible para x86, x86_64, PowerPC e s390x Certificacin oficial Red Hat 7 aos de soporte (10 con ELS) Muy estable Repositorios de software oficial limitados. Soporte por parte de los principales fabricantes de hardware. Se venden licencias con soporte tcnico segn el tipo de servidor.

Distribuciones basadas en Red Hat

CentOS
Distribucin gratuita basada en Red Hat. 100% compatible con RHEL. Muy popular Soporte hasta 7 aos. Actualizaciones con cierto retraso respecto a RHEL. Slo soporta de forma oficial x86 y x86_64. Sin soporte tcnico comercial. Muy estable. Repositorios de software oficial limitados. Futuro de la organizacin incierto?

Distribuciones basadas en Red Hat

Scientific Linux
Basada en RHEL, intenta ser lo ms compatible posible. Creada por el Fermilab y el CERN. Est financiada con tus impuestos! Soporte hasta 7 aos. Actualizaciones con cierto retraso respecto a RHEL. Slo soporta x86 y x86_64. Sin soporte tcnico comercial. Muy estable. Repositorios de software oficial limitados.

Distribuciones basadas en Red Hat

ROCKS
Basada en Centos. Diseada para crear clusters HPC de forma sencilla. Creada por laNational Partnership for Advanced Computational Infrastructure. Dispone de mdulos (rolls) segn las caractersticas que deseemos instalar en nuestro cluster. Slo soporta x86 y x86_64. Sin soporte tcnico comercial.

Distribuciones basadas en SUSE

SUSE Linux Enterprise Server (SLES)
Distribucin comercial. Sistema de paquetera RPM. Soporta x86, x86_64, s390x, PowerPC e Itanium Dispone de soporte tcnico comercial (ms barato que el de RHEL). 7 aos de soporte. Muy estable Repositorios de software oficial limitados. Soporte por parte de los principales fabricantes de hardware.

Distribuciones basadas en Debian

Debian GNU/Linux
Libre y gratuita Basado en sistema de paquetera APT. Soporta una gran cantidad de arquitecturas hardware (9 en la versin 6.0), x86, x86_64, PowerPC, SPARC, MIPS, Itanium, s390... Sus repositorios oficiales mantienen una gran cantidad de paquetes (~29000 en la versin 6.0). Soporte aproximado de 3 aos* Muy popular. No dispone de soporte tcnico oficial.

* Extrado textualmente de los FAQs de Debian: The security team tries to support a stable distribution for about one year after the next stable distribution has been released, except when another stable distribution is released within this year. It is not possible to support three distributions; supporting two simultaneously is already difficult enough.

Distribuciones basadas en Debian

Ubuntu Server Edition
Basada en Debian. Gratuita, dispone de soporte tcnico comercial. Ofrece 5 aos de soporte. Actualmente slo soporta x86 y x86_64. No es necesariamente compatible con Debian. Tiene una gran cantidad de paquetes en sus repositorios pero slo una parte son soportados (repositorio Main y Restricted).

Distribuciones basadas en Debian

PelicanHPC
Distribucin no comercial. Creada por la Universitat Autnoma de Barcelona. Basada en debian. Depende de los repositorios de Debian. Permite crear un cluster de forma rpida y sencilla.

Otras distribuciones
Slackware
Libre y gratuita. Basada en paquetes tgz (sistema de paquetera muy simple). Sin ningn tipo de soporte tcnico oficial. Soporta x86, x86_64, ARM y s390. No existe una poltica oficial respecto a las actualizaciones de antiguas versiones. Administracin compleja. Nmero limitado de paquetes en los repositorios oficiales. Bastante estable.

Conclusiones
Antes de elegir una distribucin tenemos que comprobar que:

Se adapte a nuestro hardware y software. Nos facilite la administracin de los sistemas. Ofrezca actualizaciones durante un perodo razonable. Se adapte a nuestro presupuesto. Sea estable y segura.

Enlaces de inters
http://top500.org http://distrowatch.com http://en.wikipedia.org/wiki/Comparison_of_Linux_distributions http://www.redhat.com www.centos.org www.scientificlinux.org http://www.rocksclusters.org www.suse.com/products/server/ www.debian.org www.ubuntu.com http://idea.uab.es/mcreel/PelicanHPC/ http://www.slackware.com/

Preguntas?