SISTEMAS

DE COMUNICACIN
EN COMPUTADORAS
PARALELAS
Integrantes

Campos Arana Bryan

Vsquez Puelles Cesar
Espritu Valera Frank
Callan Aranda Rider

Ing. Sistemas e Informtica

Sistemas de Comunicacin en
Computadores Paralelos:
Estructura y Funcionamiento
Los sistemas o redes de comunicacin para computadores
se han clasificado atendiendo a diversos criterios
Los sistemas de comunicacin diseados o implementados
a medida para computadores paralelos concretos, conectan
nodos en diferentes niveles del sistema.
Las implementaciones utilizadas en sistemas como
Convex Exampler, Fire 15k de sun, red de barras cruzadas
de 640 x 640 que conecta a 640 nodos[Sato] en el
supercomputador Earth Simulator.

REDES LAN (Local Area Network):

Conectan cientos de nodos situados a distancias de
kilmetros, actualmente decenas de kilmetros. Surgieron
dentro del grupo de investigacin que desarrollo las
estaciones de trabajo.

REDES WAN (Wide Area Network):

Conectan redes de computadores entre s, lo que supone
miles de nodos situados a miles de kilmetros de distancia.
Se han desarrollado tradicionalmente dentro de la
comunidad de telecomunicaciones.

REDES SAN (System Area Network):

El tipo de trfico en una SAN es muy similar al de los discos
duros como ATA, SATA y SCSI.
Pueden conectar decenas, cientos o miles de nodos situados a decenas o a
unos pocos metros. Son sistemas de comunicacin de altas prestaciones, se
puede decir que estn entre los sistemas de comunicacin hechos a medida
y las redes LAN.

Interconexin de Sistemas
Paralelos

La red se compone de:

Nodos: es cualquier elemento que se encuentre conectado y

comunicado en una red.

Conmutadores o Switch: Los conmutadores controlan el

flujo del trfico de red basndose en la informacin de la
direccin de cada paquete. Un conmutador averigua qu
dispositivos estn conectados a sus puertos, y enva los
paquetes al puerto adecuado solamente.

Conectores: los conectores son aditamentos con los que los

cables se conectan a las tarjetas de red ubicadas en los nodos.
Cada medio de transmisin tiene sus conectores
correspondientes.

La red se caracteriza por su:

Topologa:
Estructura de la interconexin fsica. La
topologa de una red es el arreglo fsico o
lgico en el cual los dispositivos o nodos de
una red se interconectan entre s sobre un
medio de comunicacin.
Enrutador: Un router es un dispositivo
para la interconexin de redes
informticas que permite asegurar el
enrutamiento de paquetes entre redes o
determinar la ruta que debe tomar el
paquete de datos.

Estrategia de conmutacin:

La conmutacin de paquetes: Un paquete es un grupo de

informacin que consta de dos partes: los datos propiamente
dichos y la informacin de control, que indica la ruta a seguir a
lo largo de la red hasta el destino del paquete.

Estrategia de conmutacin:

La conmutacin de circuitos: es un tipo de conexin que realizan los

diferentes nodos de una red para lograr un camino apropiado para
conectar dos usuarios de una red de telecomunicaciones. Se reservan
recursos de transmisin y de conmutacin de la red para su uso
exclusivo en el circuito durante la conexin.

PATRONE DE COMUNICACION
Al esquema de comunicacin que hay que ejecutar
en la red se le conoce como patrn de comunicacin.

Comunicacin de

Comunicacin

una aplicacin

en la red
Asignacin fsica
de procesos a

procesadores

Necesidades de
comunicacin de la aplicacin

Nivel de
paralelismo

Reparto de
procesos

PATRON DE COMUNICACION
PATRON DE
COMUNICACION

Espacial

A donde van

Temporal

Cuando se
transmiten

ALEATORIO
Uno de los patrones que ms se utiliza para analizar el
comportamiento de las redes

Cuando la comunicacin es aleatoria?

Si la probabilidad de enviar un paquete del nodo i al j, es la
misma para cualquier par de nodos de la red.

Utiliza los recursos de la red

de manera homognea

ESFERAS DE LOCALIDAD
Los procesos se comunican entre s formando
grupos; dentro del grupo, la comunicacin es
muy habitual, y fuera de l muy escasa.
De cara a reducir la latencia de la comunicacin,

puede ser interesante asignar esos grupos a

procesadores

cercanos,

con

lo

que

la

comunicacin se limitar dentro de una esfera.

BROADCAST / MULTICAST / REPORTING

Broadcast

Desde el procesador i se enva un mensaje a

todos los procesadores, a la vez. Ejm:Sincronizar
Procesos

Multicast

El mensaje no se enva a todos los nodos, sino

solamente a un subconjunto de ellos.

Reporting

Todos los procesadores envan un mensaje al

mismo nodo destino, ms o menos a la vez

Broadcast

Multicast

Construccin del
camino
Conmutacin de circuitos

Conmutacin de paquetes

CONMUTACIN DE CIRCUITOS
La conmutacin de circuitos es un tipo de
comunicacin que establece un canal(o
circuito) durante la duracin de una sesin.
Despus de que es terminada la
sesin(Una llamada telefnica) se libera el
canal y este podr ser usado por otro par de
usuarios.

Etapas:
Establecimiento, transferencia de datos y
liberacin de conexin.

CONMUTACIN DE CIRCUITOS

CONMUTACIN DE PAQUETES
En los sistemas basados en conmutacin de
paquetes, la informacin/datos a ser
transmitida previamente es ensamblada en
paquetes.
Cada paquete es entonces transmitido
individualmente y este puede seguir
diferentes rutas hacia su destino.
Una vez que los paquetes llegan a asu
destino, los paquetes son otra ves reensamblados.

CONMUTACIN DE PAQUETES

Encaminamiento
de los mensajes

El registro de encaminamiento
Eleccin del camino: esttico o adaptativo

Cul es el camino para llegar al destino?

EL REGISTRO DE ENCAMINAMIENTO

El proceso de hacer avanzar un paquete el la red se conoce

como encaminamiento.

Para llegar desde el nodo origen al destino hay que utilizar la

informacin que lleva el propio paquete.

Por dnde avanzar en la red?

Utilizar una tabla que indique los puertos de salida adecuados
para cada direccin de destino.
Efectuar una operacin sencilla con la direccin que d
como resultado el puerto de salida.

REGISTRO DE ENCAMINAMIENTO

En la cabecera del paquete se incluye la direccin de

destino. As en cada encaminador de mensaje intermedio
se decidir por donde debe avanzar el paquete en funcin
de dicha direccin.
La cabecera del paquete indica el numero de pasos que
debe dar el paquete en cada dimensin para llegar al
destino.

ELECCIN DEL CAMINO

ESTTICO

Los paquetes avanzan hacia el destino recorriendo primero todo el

camino en una dimensin, luego en la siguiente, etc. Por tanto, en el
encaminamiento esttico slo se utiliza uno de todos los caminos
posibles para ir del nodo i al nodo j.
Dado que se utiliza un slo camino, se pierde la tolerancia a fallos de
bajo nivel; si no se puede avanzar, porque hay una avera, habr que
utilizar algoritmos de otro nivel para que la comunicacin se pueda
efectuar.

ELECCIN DEL CAMINO

DINAMICO

El encaminamiento es dinmico si los paquetes que

van de i a j no siguen siempre el mismo camino, sino
que escogen el camino ms adecuado en funcin de
la situacin concreta de la red. El encaminamiento
dinmico es ms flexible, y permite utilizar caminos en
los que la densidad de trfico sea menor para evitar
zonas de la red que estn temporalmente saturadas.

ELECCIN DEL CAMINO

ENCAMINAMIENTO NO MNIMO

Aunque el camino recorrido por los paquetes debiera ser de

longitud mnima, en algunos casos puede ser necesario o til
utilizar caminos ms largos para llegar a destino, para, por
ejemplo, rodear una zona de trfico denso, o, sobre todo,
para evitar zonas con fallos en la red.

I. Control de Flujo de Informacin

Los paquetes avanzan en la red de

encaminador a encaminador hasta
llegar a su destino. Pero, cmo se
efecta el avance? Qu hay que
hacer si los recursos que necesita
un paquete para seguir adelante
estn ocupados? Este tipo de
cuestiones se conocen como
control del flujo de los paquetes.

II. Avance de los paquetes: SF,

WH, CT

Cmo se transmite un paquete de encaminador

a encaminador? Supongamos que los enlaces de
la red son de un byte, con lo que en un ciclo de
transmisin se pasar un byte entre dos
encaminadores. Los paquetes que hay que
transmitir van a ser bastante ms largos, por lo
que necesitaremos varios ciclos de transmisin
para pasar todo el paquete de un encaminador al
siguiente. Mientras tanto, qu hay que hacer
con un paquete que se est recibiendo?

Store-and-forward (SF)
Se
transmite
el
paquete
completo
entre encaminadores
contiguos.
Durante la transmisin
se almacena en un
bfer interno.

Encaminadores intermed.

4 3 2 1
4 3 2
4 3
4

2 1
3 2 1
4 3 2 1
4 3 2
4 3
4

1
2 1
3 2 1

4 3 2 1
4 3 2
4 3
4

1
2 1
3 2 1
4 3 2 1

Wormhole (WH) / Cutthrough (CT)

Tras procesar el primer flit de
la cabecera de un paquete, se
transmite
al
siguiente
encaminador, sin esperar a la
llegada del resto.

La transmision del paquete se

segmenta.

Encaminadores intermed.

4 3 2 1
4 3 2

4 3

2 1

3 2 1
4 3 2 1

Wormhole
Diferencia: qu hacer si el byte de cabecera de un
paquete no puede continuar?
Todos los bytes del
paquete se paran
donde estn.
No hay que utilizar
bferes.

4 3 2 1
4 3 2

4 3

4 3

4 3

2 1

3 2 1
4 3 2 1

Cut-through
Diferencia: qu hacer si el byte de cabecera de un
paquete no puede continuar?
El primer byte se para,
pero el resto contina
y los bytes se
almacenan en los
encaminadores,
en
bferes.

4 3 2 1
4 3 2

4 3

2 1

3 2 1
4 3 2
4 3
4

1
2 1
3 2 1
4 3 2 1

III. Conflictos en el uso de

recursos: Los Bferes

Los paquetes recorren la red utilizando los enlaces de

la misma y los encaminadores de mensajes. La red es
por tanto un recurso compartido, que va a ser utilizado
simultneamente por muchos paquetes. Cmo hay
que afrontar los conflictos que, inevitablemente, se
van a producir al usar esos recursos? Ya hemos
comentado en qu difieren CT y WH al tratar los
conflictos: el paquete que no puede seguir adelante se
almacena temporalmente en el encaminador
intermedio, o se deja bloqueado a lo largo de toda la
red.

En el caso de CT se necesita de un poco de

memoria para almacenar transitoriamente los
paquetes (o algunos bytes de un paquete) en
los encaminadores, hasta que la salida
correspondiente est libre. Normalmente, los
encaminadores no disponen de gran cantidad
de memoria para almacenar mensajes, sino que
tienen la posibilidad de almacenar unos cuantos
bytes o unos cuantos paquetes.

Estructura de los bferes:

compartidos o separados

El espacio de memoria de los encaminadores puede ser

compartido, para paquetes que lleguen por cualquier
entrada, o puede repartirse a cada entrada, slo para
paquetes que lleguen por cada entrada.

Si el espacio de memoria es compartido, la

capacidad de almacenamiento disponible se
utiliza de manera ms eficaz, ya que siempre hay
sitio para un paquete hasta que se agota toda la
memoria del encaminador; sin embargo, si lo
repartimos entre los diferentes puertos de entrada
del encaminador, puede que se llene una de las
colas de entrada y no se pueda admitir ms
paquetes en esa entrada aunque pudiera quedar
sitio libre en otras colas.

Bferes en las entradas o en

las salidas

Los bferes de espera pueden asociarse tanto a los puertos de

entrada como a los de salida. Si se colocan en la entrada, los
paquetes pasan directamente al bfer de espera si su salida no est
disponible o si hay paquetes esperando en los bferes de esa
entrada. En cambio, si se colocan en la salida, primeramente se
efecta la operacin de asignacin de puerto de salida
(encaminamiento) y luego se pasa, en su caso, al bfer de espera.

IV. Eficiencia de la
comunicacin: latencia y
throughput

La red de comunicacin, y junto con ella todo el sistema de paso de

mensajes, no es sino un intermediario necesario para poder llevar a
cabo la comunicacin entre procesos. Dado que la comunicacin es
una parte ms del proceso de ejecucin en paralelo, el subsistema
de comunicacin de una mquina MPP debe ser muy eficiente.

Dos son los parmetros ms habituales para medir la calidad del

sistema de comunicacin de un computador paralelo: la latencia de
los paquetes y el nmero de paquetes que puede gestionar
(throughput).

Algunos parmetros que conforman el tiempo de comunicacin:

Anchura de los enlaces: nmero de bits que puede transmitir

simultneamente el enlace.

Ciclo de transmisin: tiempo necesario para transmitir un byte.

Ancho de banda de los enlaces: cantidad de informacin que se

puede transmitir en un segundo.

Ancho de banda til: la informacin a transmitir se estructura en

paquetes, y eso significa cierta sobrecarga, ya que adems de los
datos hay que transmitir informacin de control (cabecera).

Tiempo de encaminamiento: tiempo necesario en cada

encaminador para procesar la cabecera del paquete y decidir por
dnde debe ir.

PROBLEMAS DE LA COMUNICACIN

El proceso de comunicacin es distribuido, y se ejecuta

en paralelo en varios encaminadores de mensajes. Por
lo tanto, puede aparecer un problema que ya hemos
analizado:
el
bloqueo
(deadlock)
(livelock,
starvation...).

Bloqueos: un conjunto de paquetes agota los recursos

para seguir adelante (en modo CT, los bferes; en modo
WH, los enlaces...), y se queda parado para siempre.

PROBLEMAS DE LA COMUNICACIN

Deadlock (interbloqueos)

Ejemplo:

Conmutacin de paquetes (wormhole el

peor caso)
(0,0)

m1: 0,12,3

(0,3)

m2: 1,33,1
m4: 2,10,2

(3,0)

m3: 3,21,1

(3,3)

PROBLEMAS DE LA COMUNICACIN

Problemas de livelock y starvation

Ciclos infinitos (livelock)

Los

paquetes van adelante y atrs, pero no consiguen llegar

al destino. Pueden aparecer problemas si se desvan
paquetes de los caminos mnimos para no perder tiempo.
La causa puede estar relacionada con las prioridades.

Espera indefinida (starvation)

Algunos

procesadores no consiguen inyectar sus paquetes en

la red porque hay mucho trfico alrededor.

Mala

planificacin

PROTOCOLOS DE COMUNICACIN

En el proceso de comunicacin toman parte

muchos elementos.
interfaz + procesador (+SO?)

P1

P2
red + encaminadores

El proceso ms lento de la comunicacin

acotar la velocidad de comunicacin del
sistema.

PROTOCOLOS DE COMUNICACIN

La interfaz procesador/red es tambin muy

importante: cmo se inyectan los paquetes en la red?
cmo salen?

Hay varios protocolos de comunicacin para regular

esos procesos:

- El ms simple, TCP/IP
- Ms eficientes: protocolos de 0 copias
estandares: VIA, Infiniband...
propietario: gm (myrinet)...

PROTOCOLOS DE COMUNICACIN

TCP / IP (reliable

/ connection oriented)

Protocolo de los primeros clusters (y los de bajo rendimiento).

Implementacin habitual:

memoria
usuario

c. mem.
sistema
Int. SO

c. mem.
sistema

memoria
usuario
Int SO

PROTOCOLOS DE COMUNICACIN

VIA (Virtual

Interface Architecture)

Estndar de comunicacin de los principales fabricantes.

No se hacen copias en la memoria del sistema operativo; se

trabaja directamente con los encaminadores:

Antes de enviar un mensaje se reserva sitio en la memoria

fsica, en el emisor y en el receptor.

Las operaciones send/receive envan un descriptor a una cola

para procesar paquetes.

Podemos esperar a la confirmacin, o seguir trabajando.

PROTOCOLOS DE COMUNICACIN

InfiniBand

Objetivo: infraestructura de comunicaciones de altas

prestaciones, basada en conmutadores (intra) y
encaminadores (inter), para componer redes SAN
(reemplazar el bus compartido).

Se utilizan adaptadores especiales para conectar nodos:

HCA (nodos de computacin) o TCA (nodos auxiliares).

Para conectar nodos de redes locales se utilizan

conmutadores y para conectar redes locales entre ellas
se utilizan encaminadores.

Los enlaces son de 2,5 Gb/s de un solo sentido, punto a

punto.

PROTOCOLOS DE COMUNICACIN

Myrinet

Infraestructura de comunicacin de alto rendimiento

(caro).

Enlaces de 10 Gbit/s (full duplex), fibra ptica.

Conmutadores en un crossbar (red Clos). Cut-through.

Software propio para gestin de mensajes (GM).

Implementaciones de Gbit ethernet / Via / Infiniband.

Latencias de paquetes pequeos: 1,2 s (Gigabit, 50

s)

Throughput mximo 9,6 Gbit/s

APLICACIONES

Industriales

Qumica y bioingeniera.

Mecnica Industrial

Estudio de estructuras
moleculares, simulacin
de
reacciones,
espectroscopa.

Diseo asistido. Modelos

de elementos finitos.

Medicina

Estudio
del
genoma,
medicina farmacutica,
radioterapia.

Comerciales
Telecomunicaciones
Anlisis de trfico, desempeo y
calidad de servicio
Redes de control inteligentes

Servicios web.
Buscadores paralelos
(metabuscadores).

Sistemas de tiempo real.

Bases de datos paralelas.
Anlisis de datos.
Data mining.
Anlisis de mercado, series
temporales, etc

Tendencia en las redes de

comunicacin

La arquitectura de los sistemas paralelos ms

rpidos ha sufrido importantes cambios en los
ltimos aos. De los 500 computadores ms
rpidos

81% son de tipo cluster

19% restante son MPP

Las redes ms utilizadas son:

Infiniband (42%)
Gigabit/10G Ethernet (41%)
3,2% redes de diseo especfico (proprietary)
9% de tipo custom.

Tianhe-2

Una vista de la supercomputadora china Tianhe-2,

la ms rpida del mundo segn el ranking Top 500 Gentileza top500.org

Caractersticas

Tiene un rendimiento de 33,86 petaFLOPS

(33.860.000.000.000.000 operaciones de coma flotante
por segundo), con un pico terico de 54,9 petaFLOPS
que la convierte en la supercomputadora ms rpida del
mundo.

Est equipada con 16.000 nodos, cada uno con dos

procesadores Intel Xeon IvyBridge E5-2692 (12 ncleos,
2,2 GHz) y tres procesadores Intel Xeon Phi 31S1P (57
ncleos, 1,1 GHz), cuya combinacin da un total de
3.120.000 ncleos de computacin. Es capaz de
almacenar 12,4 PB, tiene una memoria del sistema de
1.375 TiB (1,34 PiB) y utiliza el sistema
operativo Kylin Linux. Se calcula que ha costado entre
200 y 300 millones de dlares.