UNIVERSITATEA POLITEHNICA din BUCURESTI

FACULTATEA DE INGINERIE ELECTRICA

DEPARTAMENTUL DE ELECTROTEHNICA

Nr. Decizie Senat 219 din 28.09.2012

REZUMATUL TEZEI DE DOCTORAT

A INDUCTOARELOR
MODELAREA ELECTROMAGNETICA
INTEGRATE PE SISTEME MULTIPROCESOR
ELECTROMAGNETIC MODELLING OF INTEGRATED
INDUCTORS USING MULTIPROCESSOR SYSTEMS

Autor: Ing. Mihail-Iulian ANDREI

Conducator de doctorat: Prof. dr. ing. Daniel IOAN

BUCURESTI
2012

Cuprins

Introducere
1.1 Importanta si actualitatea temei . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Structura lucrarii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1
1
2

Stadiul actual al modelarii inductoarelor spiralate integrate

2.1 Modele cu parametri concentrati . . . . . . . . . . . . . . . . . . . . . . .
2.2 Modele cu parametri distribuiti . . . . . . . . . . . . . . . . . . . . . . . .
2.3 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3
3
4
5

Modelarea inductoarelor spiralate integrate

3.1 Modelarea fizica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Modelarea matematica . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3 Modelarea numerica (FIT) . . . . . . . . . . . . . . . . . . . . . . . . .
3.4 Reducerea ordinului modelului prin esantionarea adaptiva a frecventelor cu
procedura Vector Fitting . . . . . . . . . . . . . . . . . . . . . . . . . .
3.5 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6
7
8
9

Folosirea sistemelor multiprocesor n modelarea inductoarelor spiralate

4.1 Arhitectura hardware si software a sistemelor multiprocesor . . . . . . .
4.2 Rezolvarea directa si iterativa, n paralel, a sistemelor linare mari . . . . .
4.3 Paralelizarea Esationarii Adaptive a Frecventelor cu Vector Fitting(AFSVF paralel) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.4 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Studii de caz - rezultate numerice si validarea lor experimentala
5.1 Inductorul spiralat patrat - CDST-SP-MIDDLE . . . . . . . .
5.2 Inductorul spiralat hexagonal - CHRF217 . . . . . . . . . . .
5.3 Inductoare spiralate cuplate - CHRF201 . . . . . . . . . . . .
5.4 Concluzii . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Concluzii finale si contributii originale

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.
.

.
.
.

. 11
. 13
14
. 14
. 15
. 22
. 23

.
.
.
.

24
25
30
32
34
35

Bibliografie

38

CAPITOLUL 1

Introducere

1.1

Importanta si actualitatea temei

Deoarece costurile pentru fabricarea componentelor de circuit integrat sunt ridicate atat
din punct de vedere financiar, necesitand masini si instrumente de masura costisitoare, cat
si din punct de vedere al timpului de fabricatie, procesul de fabricatie durand ntre 6 si 8
saptamani, se alege ca solutie alternativa modelarea. Fata de fabricarea prototipului, pentru
verificarea unui proiect, simularea are un cost mai scazut fiind necesare doar un sistem de
calcul (hardware) si un program de modelare si simulare a componentelor de circuit integrat
(software). Modelarea si simularea circuitelor integrate a devenit o tehnica obligatorie n
proiectarea elctronica. Ea este baza unei tehnologii de proiectare automata a circuitelor
integrate micro- si nano-electronice numita EDA (Electronic Design Automation).
Tranzitia de la microelectronica la nanoelectronica a deschis drumul spre noi descoperiri. Evolutia circuitelor integrate sta la baza dezvoltarii multor domenii complementare
(industrie, medicina, securitate, telecomunicatii, etc.), deoarece perfomantele circuitelor
integrate se reflecta n toata instrumentatia folosita n aceste domenii.
Un aspect important al proiectarii eficiente a componentelor de circuit integrat, se refera la efectele campului electromagnetic. Proiectarea acestor componente, tinand cont de
efectele campului electromagnetic, conduce la modele ce pot contine milioane de grade de
libertate. Din acest motiv, se impune aplicarea unor tehnici de reducere a ordinului modelelelor extrase, care transforma modelul initial ntr-unul echivalent din punct de vederea al
comportarii pe la terminale, dar de ordin redus.
Pentru a avea timpi rezonabili de obtinere a modelelor, tehnicile de reducere a ordinului
modelelor trebuie completate cu folosirea supercalculatoarelor si a tehnicilor de calcul de
nalta performanta .
Din punct de vedere al compatibilitatii, programul de modelare, trebuie sa genereze
modelul ntr-un format standard, compatibil cu alte programe. Majoritatea proiectantilor
de componente de circuit integrat prefera ca format standard modelul SPICE.
Teza de doctorat, Modelarea electromagnetica a inductoarelor integrate pe sisteme de calcul multiprocesor, are ca principal obiectiv folosirea acestor instrumente de
calcul paralel, pentru mbunatatirea tehnologiei de modelare electromagnetica a componentelor pasive de circuit integrat, urmarind atat scaderea timpului si a efortului de calcul,
1

1. Introducere

cat si obtinerea unei precizii acceptabile pentru modelele obtinute. Tema tezei este de actualitate si prezinta o importanta ridicata datorita faptului ca pe de o parte tot mai multe
circuite integrate contin inductoare sau au efecte inductive relevante, iar, pe de alta parte,
foarte multe probleme de complexitate industriala nu pot fi abordate cu tehnicile clasice
secventiale, din cauza timpului foarte mare de executie.

1.2

Structura lucrarii

Teza este alcatuita din sase capitole. Primul capitol reprezinta o intoducere n care sunt
prezentate importanta si actualitatea temei de cercetare, structura tezei de doctorat.
Capitolul doi prezinta stadiul actual al modelarii inductoarelor integrate. Sunt tratate
atat modelelele cu parametri concentrati, cat si modelele cu parmetri distribuiti, care presupun rezolvarea numerica ecuatiilor campului electromagnetic n regimuri dinamice.
Capitolul trei prezinta descrierea si analiza procesului de modelare al inductoarelor
integrate, ales pentru a fi studiat n vederea paralelizarii. Sunt prezentate toate etapele
procesului de modelare: modelarea fizica, modelarea matematica, modelarea numerica si
metoda de reducerea ordinului modelului.
Capitolul patru prezinta avantajele folosirii sistemelor multiprocesor, n modelarea inductoarelor spiralate. In prima parte a acestui capitol, sunt introduse arhitecturile calculatoarelor paralele folosite, atat din punct de vedere hardware, cat si software. In a doua
parte, sunt prezentate metodele de rezolvare directa si iterativa a sistemelor liniare rezultate folosind tehnici de calcul paralel. In finalul acestui capitol, sunt propuse doua abordari
paralele ale algoritmului de reducere a ordinului modelului, pentru care sunt prezentate si
rezultatele obtinute pe probleme de test.
Capitoul cinci prezinta un studiu de caz pe trei probleme reale, n care se prezinta procesul de modelare electromagnetica si perfomantele abordarilor paralele propuse n capitolul
anterior.
Ultimul capitol, face o sinteza a concluziilor ntregii lucrari, pune n evidenta principalele contributii originale ale tezei si se ncheie cu lista de lucrari publicate de autor.

CAPITOLUL 2

Stadiul actual al modelarii inductoarelor spiralate

integrate

De-a lungul anilor tehnologiile de fabricatie a inductoarelor spiralate au evoluat, nsa

din cauza costului ridicat al realizarii de prototipuri, s-au dezvoltat diferite tehnici de modelare a acestor inductoare. Tehnicile de modelare au rolul de a extrage, modele ce permit
studierea comportamentului componentei modelate n diferite situatii (conectarea ntr-un
circuit), nainte ca aceasta sa fie realizata practic. In prezent, se evidentiza doua tehnici de
a inductoarelor:
1. modelul de circuit cu parametri concentrati;
2. modelul de circuit cu parametri distribuiti.

2.1

Modele cu parametri concentrati

Circuitele care contin un numar finit de elemente ideale simple, caracterizate de parametrii lor rezistivi, capacitivi sau inductivi, sunt numite circuite cu parametri concentrati.
Elementele pot fi pasive (rezistoare, inductoare, condensatoare) sau active (surse, generatoare). Modelul pentru un inductor spiralat contine o serie de paramtetri, ce sunt ntr-o
stransa legatura cu proprietatile geometrice ale spirei.
Teoria circuitelor electrice cu parametrii concentrati se elaboreaza prin particularizarea
teoriei campului electromagnetic, n anumite ipoteze simplificatoare [1]. Practic, modelarea se rezuma la gasirea unui circuit echivalent, care pentru a avea o acuratete ridicata
trebuie sa modeleze principalele efecte parazite, ntr-o gama de frecvente cat mai extinsa.
Principalul neajuns al modelelor cu parametri concentrati este acela ca sunt valabile numai
pentru frecvente de maxim 25GHz.
Prin urmare, teoria cu parametri concetrati nu poate raspunde cerintelor circuitelor integrate de nalta frecventa , astfel ncat, n acest context, o noua teorie trebuie abordata, teorie
care sa ia n calcul toate efectele campului electromagnetic sau sa fie mai putin restrictiva
decat teoria cu parametri concentrati.
3

 inductoarelor spiralate integrate

2. Stadiul actual al modelarii

2.2

Modele cu parametri distribuiti

Modelul cu parametri distribuiti ofera o acuratete mai mare decat modelul cu parametri
concentrati, nsa complexitatea modelului este mult mai mare. Acuratetea modelului provine din faptul ca se ia n considerare interactiunea reciproca a efectelor campului electromagnetic, iar complexitatea provine din faptul ca modelul este descris de ecuatii cu derivate
partiale. Modelul cu parametri distribuiti, descris de ecuatiile lui Maxwell, completat cu
relatiile consitutive de material si cu conditiile pe frontiera, este un model continuu, infinit dimensional. Pentru a obtine un model discret, cu o dimensiune finita, se foloseste o
metoda numerica pentru a discretiza ecuatiile lui Maxwell, dintre care cele mai importante
sunt: FEM (metoda elementului finit), FDM (metoda diferentelor finite) si BEM (metoda
elmentelor de frontiera), numita si MoM (metoda momentelor).
Ca si concluzie generala, indiferent de metoda numerica folosita pentru discretizarea
ecuatiilor lui Maxwell (MoM, FDTD, FEM, FIT), problema se va reduce, tot timpul, la
rezolvarea unui sistem liniar. De aceea, tipul matricei sistemului (rara, plina, simetrica,
nesimetrica, complexa, reala, pozitiv definita, diagonal dominanta, etc), rezultata n urma
aplicarii metodei numerice, este foarte important n alegerea unei metode adecvate de
rezolvare, directa sau iterativa.
Modelarea efectelor inductive reprezinta un aspect important al obtinerii modelului
de ordin redus, sub forma unui circuit cu parametri concentrati, pentru un dispozitiv de
circuit integrat. Istoric, prima metoda de modelare inductiva a fost propusa de Ruehli, care
a introdus prin metoda PEEC, conceptul de inductivitate partiala pentru modelarea 3D a
dispozitivelor din circuitele integrate. FastHenry este o tehnica de accelerare a extragerii matricei inductantelor partiale din PEEC, bazata pe dezvoltarea n multipoli, care s-a
dovedit foarte eficienta n cazurile practice. In lucrarea este introdus modelul K, model
caracterizat de matricea K a reluctantelor magnetice (numita gresit si a susceptantelor),
definita ca inversa matrice inductivitatilor partiale H = L1 . Initial metoda VPEC este
propusa n lucrarea pentru a doua conductoare, nsa Hao Yu preia acest subiect si propune
o metoda VPEC, metoda care are la baza tot varianta K a metodei PEEC, pentru N conductoare.
Metoda circuitelor echivalente Magneto-Electrice (MEEC) reprezinta o alternativa
ce evita dezavantajele metodelor PEEC si VPEC. Aceasta metoda foloseste conceptul de
element electromagnetic de circuit si tehnica de descompunere n subdomenii.
De cele mai multe ori, metodele de discretizare numerica si de modelare prezentate mai
sus se gasesc n programe comerciale sau open-source, care contin la randul lor metode de
rezolvare corespunzatoare sistemelor liniare de rezolvat, generate n urma dicretizarii. A
fost realizat un studiu al celor mai importante programe de modelare pentru inductoarele
integrate (ANSYS HFSS, Momentum 3D Planar EM Simulator), SONNET, ASITIC,
COMSOL Multiphysics), evidentiind folosirea sistemelor multiprocesor pentru accelerarea obtinerii rezultatelor.
Chamy este un program de modelare electromagnetica a componentelor pasive din
circuitele integrate de nalta frecventa si extragerea modelelor parametrice de ordin redus
corespunzatoare. El este dezvoltat n cadrul Laboratorului de Metode numerice din UPB, n
cadrul mai multor programe europene. Pentru sistemele cu unul sau mai multe procesoare,
metoda de rezolvare UMFPack foloseste procesarea paralela apeland operatii de algebra
4

2.3. Concluzii

liniara paralele, din biblioteca LAPACK.

Implementarea unui mod de rezolvare, ce foloseste procesarea paralela si distribuita si
exploateaza eficient un sistem multiprocesor tip cluster a fost una din sarcinile autorului si
reprezinta subiectul central al acestei teze de doctorat.

2.3

Concluzii

Acest capitol a prezentat stadiul actual atat al metodelor de modelare, cat si celor mai
importante programe de modelare existente. Prima parte a acestui capitol a prezentat metoda de modelare cu parametri concentrati, concluzionan ca ipotezele simplificatoare ale
acestei teorii sunt prea restrictive pentru modelarea componentelor din circuitele integrate
de nalta frecventa , implicit si a inductoarelor spiralate. S-a stabilit ca pentru inductoarele
spiralate, cea mai buna metoda de modelare, este metoda ce foloseste modele cu parametri
distribuiti. In acest sens au fost prezentate principalele metode de discretizare a ecuatiilor
lui Maxwell.
Partea finala a acestui capitol a prezentat cateva din programele de modelare electromagnetica, programe ce urmaresc fluxul de proiectare EDA (design flow EDA). Asa cum
s-a putut observa majoritatea programelor existente folosesc tehnici de calul paralel si distribuit pe diferite sisteme multiprocesor. Majoritatea programelor prezentate, au raportat
un timp de 6 ori mai mic la rularea pe un cluster cu 8 noduri, decat la rularea pe un singur
nod.
Prin prezentarea caracteristicilor de multiprocesare a programelor de modelare electromagnetica, se demonstreaza nca o data ca tema acestei teze este de actualitate si prezinta
un interes ridicat din partea cercetatorilor.

CAPITOLUL 3

Modelarea inductoarelor spiralate integrate

Modelarea electromagnetica a componentelor pasive din circuitele integrate de nalta

frecventa , presupune extragerea unui circuit electric liniar cu parametri concentrati (alcatuit
din elementele ideale R, L, C, surse comandate liniar, cu parametri independenti de frecventa ),
care sa aiba o comportare pe la borne cat mai apropiata de comportamentul componentei
reale. Pentru a realiza acest lucru, este necesara modelarea aproximativa a tuturor efectelor
campului electromagnetic de nalta frecventa , cum sunt: efectul pelicular, curentii turbionari, ntarzierea prin propagare, etc. Acest lucru necesita rezolvarea numerica ecuatiilor
lui Maxwell care descriu toate aceste efecte ale campului elctromagnetic. Prin modelare
nu se urmareste doar obtinerea solutiei numerice, ci extragerea modelului de ordin redus.
In cazul de fata nu are relevanta variatia sptiala a solutiei, ci doar comportarea sistemului
pe la bornele sale. Pentru a atinge acest obiectiv, sunt parcurse mai multe etape ale modelarii electromagnetice [2]: modelarea fizica, matematica, analitca, numerica, iar n final
reducerea ordinului.

Figura 3.1: Geometria tipica a unui inductor spiralat integrat

3.1. Modelarea fizica

3.1

Modelarea fizica

Problemele ce vor fi analizate constau din unul sau doua inductoare spiralate, plasate
ntr-un circuit integrat cu substrat de siliciu (tehnologia BiCMOS). Deci, fiecare problema
va avea trei subdomenii rectangulare: Si, SiO2 si Aer, conductoarele din Al, aflandu-se
n stratul de oxid (Figura 3.1). Ele vor fi analizate n gama de frecvente 1-60GHz, deci
alegerea regimului de functionare, trebuie sa tina cont de frecventa , astfel ncat modelul sa
contina toate efectele relevante ale campului electromagnetic atat la frecvente joase, cat si
la frecvente nalte. Pentru a descrie toate efectele campului electromagnetic din substratul
de siliciu, la frecvente de 60GHz, trebuie considerat regimul FW. Tot regim FW trebuie
folosit si n modelarea starului de oxid SiO2 , nsa, pentru modelarea conductoarelor, cel
mai potrivit model este MQS, deoarece, n Al, curentii de deplasare au densitatea (JD =
E) mult mai mica decat cei de conductie Jc = E. De exemplu, la 60 GHz, (
103 )  ( 107 ). In consecinta , se neglijeaza curentii de deplasare, ceeea ce nseamna
regim MQS.
Procedand astfel, vor fi modelate urmatoarele efecte ale campului de nalta si joasa
frecventa (Figura 3.2).

Figura 3.2: Efectele campului electromagnetic

Pentru a extrage modelul inductorului, care sa considere toate efectele campului electromagnetic de frecventa nalta, trebuie rezolvata o problema de camp electromagnetic,
bine formulata si cuplata cu o problema de circuit electric exterior. Orice problema de
camp are ca date cunoscute: domeniul de calcul, proprietatile de material si sursele de
camp, care satisfac conditiile de unicitate.
Necunoscutele problemei sunt componentele campului electromagnetic, descris de
ecuatiile lui Maxwell n regim general variabil (FW), respectiv: E, D, B, H, J, . Pentru
proiectantul de circuite integrate, componetele campului electromagnetic si modul cum variaza ele n spatiu sau timp, nu are o prea mare relevanta . Ce prezinta interes, este modul n
care o componeta interactioneaza cu exteriorul. Mai exact, care sunt relatiile constitutive
ntre curentii si tensiunile componentei respective.
Se vor considera primele m terminale, din cele n terminale ale dispozitivului, alimentate n tensiune, iar restul de (n m 1) alimentate n curent, astfel ca se pot defini
7

3. Modelarea inductoarelor spiralate integrate

semnalele de intrare, acestea reprezentand si sursele de camp, ca fiind:

Z
Edr, k = 1, m
vk (t) =
CK D
Z
Hdr, k = m + 1, n 1 ,
ik (t) =

(3.1)
(3.2)

SK

si semnalele de iesire
Z
ik (t) =

Hdr, k = 1, m

(3.3)

Edr, k = m + 1, n 1 .

(3.4)

SK

Z
vk (t) =
CK D

Vectorul intrarilor si vectorul iesirilor sistemului modelat (Figura ??) vor avea componentele:

v1
i1
..
..
.
.

vm
im
u=
,y =
.
im+1
vm+1
.
.
..
..
in1
vn1

3.2

Modelarea matematica

Modelul dispozitivului (inductorului), obtinut n urma procesului de modelare, trebuie

sa fie compatibil cu alte componente de circuite. Acest lucru se realizeaza prin conditii
de frontiera care trebuie sa asigure, n mod consistent, cuplajul dintre problema interna de
camp si problema externa de circuit electric. Aceste conditii de frontiera sunt introduse
prin Elementul Electromagnetic de Circuit.
Al. Timotin a introdus conceptul de Elementul Electromagnetic de Circuit n [3], ca
o generalizare a elementului multipolar de circuit. Acest concept a fost readus n atentia
cercetatorilor si folosit pentru a simula cuplajele electromagnetice n [4].
Definitia 1 Elementul electromagnetic de circuit (EMCE - Figura 3.3) este un domeniu
simplu conex marginit de o suprafata alcatuita din n0 parti disjuncte S10 , S20 , . . . , Sn0
numite terminale electrice, si n00 parti disjuncte S100 , S200 , . . . , Sn00 numite terminale magnetice
pe care sunt ndeplinite urmatoarele conditii de frontiera:
n rotE(P, t) = 0, pentru P Sk00 ,
n rotH(P, t) = 0, pentru P Sk0 ,
n E(P, t) = 0, pentru P Sk0 ,
n H(P, t) = 0, pentru P Sk00 ,
unde n este vectorul normal la suprafata n punctul P .
8

(3.5)
(3.6)
(3.7)
(3.8)

3.3. Modelarea numerica (FIT)

Figura 3.3: Elementul Electromagnetic de Circuit

Teorema lui Timotin completeaza formularea corecta a problemei de camp electromagnetic cu conditii de frontiera adecvate. In concluzie, problema de camp asociata unui
element electromagnetic de circuit descris de ecuatiile lui Maxwell, conditii pe frontiera,
conditii initiale nule, cu terminalele excitate n tensiune si curent sau flux are solutie unica.
In concluzie, semnalele de iesire ale terminalelor sunt univoc determinate de evolutia n
timp a semnalelor de intrare. Fiind o problema liniara, operatorii de impedanta , admitanta
si hibrizi, care leaga semnalele de intrare de cele de iesire, vor fi operatori liniari. Daca
elemenul functioneaza n regim armonic, atunci acesti operatori se reprezinta n complex,
ca matrice de impedante sau admitante complexe, dependente de frecventa .
Obiectivul final al modelarii inductoarelor nu consta n rezolvarea problemei de camp,
formulata anterior, ci n extragerea din solutia ei a unui model compact de ordin redus.
Pentru a obtine modelul compact de ordin redus, se aplica tehnici de reducerea ordinului
modelelor (Figura 3.4). In procesul de modelare, descris anterior, primul pas de reducere
a ordinului modelelor, trece de la modelul infinit continuu, la un model finit discret, dar
de dimensiune foarte mare, prin discretizarea ecuatiilor lui Maxwell folosind o metoda
numerica. Se impune, deci, aplicarea unei noi metode de reducerea ordinului modelelor,
care are ca rezultat, modelul compact, care are un ordin foarte mic n comparatie cu ordinul
modelului discret.
Practic, problema obtinerii modelului de ordin redus, are ca date de intrare geometria
dispozitivului de modelat, iar ca date de iesire modelul compact.

3.3

Modelarea numerica (FIT)

Modelarea numerica are ca scop discretizarea problemei de camp formulata n subcapitolele anterioare. Cuplajul dispozitivului cu un circuit exterior se face prin terminalele
aflate pe suprafata frontierei domeniului elementului electromagnetic de circuit, n interiror
comportamentul fiind descris de ecuatiile lui Maxwell n regim general variabil. Aceasta
9

3. Modelarea inductoarelor spiralate integrate

Figura 3.4: Modelul continuu, modelul discret si modelul compact

problema conduce la un model continuu ce are un numar infinit de grade de libertate, astfel
ncat se impune aplicarea unei metode numerice n scopul obtinerii unui model discret cu
numar finit de grade de libertate.
Obiectivul folosirii metodei FIT este acela de a obtine sistemul de ecuatii de stare al
dispozitivului, pentru ca apoi acest sistem sa poata fi folosit pentru extragerea modelului de
ordin redus. Pentru obtinerea ecuatiilor lui Maxwell, n forma discreta, se aplica forma globala a legilor generale ale campului electromagnetic pe elementele retelei de discretizare,
fete, respectiv frontiere ale acestora, iar, legile fluxului pe celulele elementare:
s
H

Edr = B
dA
Cv = d
rotE = B

t
t
dt
v

divB = 0
H BdA =s0
D0 = 0
(J + D
rotH = J + D
)dA
=
=
(3.9)
C0 u = i + d
t
t
dt
v Hdr = t

divD =
DdA
dv
D = q

s =
t

=> divJ = dt
=> JdA =
dv
=> Di = dq
dt
dt
si relatiile consitutive, care sunt descrise cu ajutorul operatorilor Hodge:

B = H
= M u = M1
v u
= M v
D = E =

J = E
i = M v

(3.10)

Generarea sistemului matriceal de stare. Pentru a evita confuzia dintre operatorul

discret C si matricea capacitatilor, acesta se va nota cu B. Elementele operatorilor Hodge
M , Mv , M reprezinta conductanta electrica, reluctanta magnetica si capacitatea electrica. Notandu-le Ge , Rm = G1
m , Ce , relatiile constitutive se vor scrie sub forma:
= Gm u,
= Ce v,
i = Ge v,

(3.11)
(3.12)
(3.13)

dx
+ Gx = 0 .
dt

(3.14)

n final obtinandu-se forma compacta

C

La acest moment, sistemul de ecuatii algebrice diferentiale nu este complet, deoarece

numarul de ecuatii nu este egal cu numarul de necunoscute. Ecuatiile aditionale, care
completeaza sistemul, provin din forma discreta a conditiilor de frontiera.
10

3.4. Reducerea ordinului modelului prin esantionarea adaptiva a frecventelor cu procedura Vector Fitting

Efectul conditiilor de frontiera asupra ecuatiilor de stare. Conditiile de frontiera

sunt cele care completeaza formularea corecta a problemei de camp. In subcapitolul precendent, s-a aratat faptul ca elementul electromagnetic de circuit asigura compatibilitatea
ntre problema de camp si cea de circuit. Tot elelementul electromagnetic de circuit este cel
care impune conditiile de frontiera, dar n acelasi timp completeaza si sistemul de ecuatii.
Prin urmare, ecuatiile de stare n acest caz devin


+ Gx = y
C dx
dt
z = Dx,

(3.15)

n care

Ce 0
0 Gm
0

,
S
0
C=
C

0
0
0
0

Ge B0
B
0
0

0
G = SG
,
S0E
0
0 SM

SE
0
SJ ,
D=0
0 SM

(3.16)

0
0
0
 
v
0
v
0

.
y = j , z = i , x =
u
e0
w
f
In domeniu frecventa , sistemul de stare (3.15) devine un sistem liniar complex


3.4

(sC + G)x = Bu
.
y = Lx + Du

(3.17)

Reducerea ordinului modelului prin esantionarea adaptiva a frecventelor cu procedura Vector Fitting

Algoritmul care va fi folosit n teza pentru reducerea ordinului modelului se numeste

Esantionarea Adaptiva a Frecventelor cu Vector Fitting (AFS-VF) [5], algoritm ce si propune sa extraga modelul de ordin redus, pentru componente pasive ale unui circuit integrat,
cu un efort minim de calcul. Cele doua parti importante ale algoritmului sunt: procedura
Vector Fitting (VF) si procedura de Esantionare Adaptiva a Frecventelor (AFS).
Procedura Vector Fitting. Initial, procedura VF a fost propusa n lucrarea [6], ca
o metoda de interpolare a raspunsurilor n frecventa prin mbunatatirea iterativa a unei
aproximatii rationale.
Pornind de la o functie g(s) complexa, de variabila complexa s, se cauta aproximarea
rationala:
f (s) =

a0 + a1 s + + aN sN
b0 + b1 s + + bN s N
11

(3.18)

3. Modelarea inductoarelor spiralate integrate

astfel ncat f (s) sa aproximeze functia g(s) n sensul celor mai mici patrate. Functia f (s)
poate fi rescrisa sub forma:
f (s) =

N
X
n=1

cn
+ d + sh
s an

(3.19)

unde an polii, cn reziduurile si iar termenii d si h sunt numere reale.

Lucrarea [7] prezinta o metoda mbunatatita de relocare a polilor pentru o convergenta
mai rapida a procedurii. Lucrarea [8] prezinta o implementare mai eficienta a procedurii
VF, implementare ce exploateza raritatea sistemului de ecuatii rezultat n urma aplicarii
metodei celor mai mici patrate, prin aplicarea directa a decompunerii QR. A treia versiune
a procedurii VF contine o functie care forteaza pasivitatea modelului obtinut, pasivitate
ce asigura stabilitatea modelelului rational. In [9], [10], [11] si [12] sunt propuse astfel
de metode care sa forteze pasivitatea modelului rational, dar care sa si accelereze executia
procedurii VF.

Figura 3.5: Algoritm AFS-VF - schema logica

Algoritmul cu AFS-VF (Figura 3.5) propus n [5] si propune sa obtina caracteristica
n frecventa cu efort minim de calcul. Practic, algoritmul AFS-VF consta n alegerea unui
12

3.5. Concluzii

numar optim de esantioane pe baza carora se va extrage o aproximare rationala a formei

semnalului prin Vector Fitting.
Pornind de la sistemul de stare, se obtine relatia dintre reprezentarile complexe ale
semnalelor de intrare/iesire, numita matrice de transfer
Y() = HF IT () = L(G + jC)1 B .

(3.20)

Deci, pentru a calcula matricea de transfer, trebuie rezolvat un sistem liniar de ecuatii
de tipul Ax = b, avand A = G + jC matricea sistemului, iar b = B termenii liberi,
pentru fiecare frecventa .
Analizand algoritmul AFS-VF, se constata ca pasi critici, din punct de vedere al timpului de calcul, pasii n cadrul carora se rezolva sistemele de ecuatii liniare, sunt paralelizati.
Abordari paralele ale acestor pasi vor fi prezentate n capitolul urmator. De asemenea, la
primul pas al algoritmului, se cunosc atat frecventele de esantionare S, cat si frecventele
de test S 0 .

3.5

Concluzii

In cadrul acestui capitol, a fost prezentat ntreg procesul dezvoltat de echipa de cercetare LMN din UPB pentru modelarea componentelor pasive ale circuitelor integrate de
nalta frecventa . Prima etapa a procesului de modelare furnizeaza sistemul matriceal de
stare. Acest sistem matriceal este considerat data de intrare pentru a doua etapa a procesului de modelare, etapa ce consta n extragerea modelului de ordin redus cu ajutorul algortimului AFS-VF. Rezultatul final al ntregului proces de modelare este un model rational
pe baza caruia este sintetizat un model echivalent SPICE cu parametri concentrati ce poate
fi conectat ntr-un circuit exterior si simulate mpreuna folosind un program de simulare a
circuitelor.
Acest proces de modelare a fost studiat, de autor, n vederea paralelizarii. Procedura de
extragere a modelului de ordin redus, pentru componente pasive de circuit integrat, a fost
identificata ca fiind partea cea mai costisitoare din punct de vedere al timpului de executie.
Tocmai de aceea n capitolul urmator vor fi prezentate noi abordari ale acestui algoritm,
abordari care au rolul de a reduce timpul de obtinere al modelului de ordin redus.

13

CAPITOLUL 4

Folosirea sistemelor multiprocesor n modelarea

inductoarelor spiralate

Prima parte a acestui capitol contine o scurta prezentare a arhitecturii sistemelor multiprocesor si a tehnicilor de programare paralela, corespunzatoare lor. In a doua parte se
prezinta metode de rezolvare, directe si iterative, a sistemelor liniare mari generate pe parcursul procesului de modelare electromagnetica, folosind calculul paralel. Ultima parte
prezinta abordarile paralele, propuse de autor, pentru algoritmul de extragerea modelului
de ordin redus (AFS-VF).

4.1

Arhitectura hardware si software a sistemelor multiprocesor

In 1972, Michael Flynn a introdus o clasificare generala a sistemelor de calcul din punct
de vedere al fluxurilor de instructiuni si de date, numita Taxonomia lui Flynn. Aceasta
clasificare identifica patru clase de sisteme de calcul:

(a) Memorie comuna

(b) Memorie distribuita

Figura 4.1: Calculatoare MIMD

In prezent, sistemul MIMD este cel mai des ntalnit pentru calculul paralel. In functie
de arhitectura memoriei se pot distinge doua tipuri de sisteme MIMD (Figura 4.1):memorie
comuna (shared memory - Figura 4.1a) si memorie distribuita (distributed memory - Figura
4.1b). Combinatia celor doua concepte, mentionate anterior, se numeste memorie comuna
distribuita (distributed shared memory).
14

 n paralel, a sistemelor linare mari

4.2. Rezolvarea directa si iterativa,

Datorita evolutiei arhitecturii sistemelor de calcul paralelismul s-a dezvoltat si n partea

de programe. Marea majoritatea a programelor pot fi mbunatatite cu ajutorul unei forme
de paralelism, divizandu-l, pana la un anumit nivel, n parti independente ce pot fi rulate
simultan. In urma procesului de divizare, numit descompunere, se identifica doua tipuri
de paralelism: descompunerea domeniului, n literatura de specialitate fiind cunoscut ca
paralelismul datelor (data parallelism) si descompunerea functionala, n literatura de specialitate fiind cunoscut ca paralelismul sarcinilor (task parallelism). Folosirea combinata, a
celor doua tipuri de paralelism, poate duce la o mai buna exploatare a resurselor hardware,
rezultand programe cu mai multe nivele de paralelism numite si nivele de granularitate.

Sistemul de calcul multiprocesor ATLAS

Laboratorul de Modelare Numerica (LMN din cadrul UPB) dispune de un astfel de sistem de calcul multiprocesor, clusterul ATLAS. Din punct de vedere al resurselor hardware,
clusterul ATLAS este alcatuit din 14 noduri, dintre care 6 cu cate doua procesoare INTEL
si 8 cu cate doua procesoare AMD, conectate printr-o retea de mare transfer InfiniBand.
In totalitate, clusterul ATLAS dispune de:
112 core-uri CPU, 2.3GHz(AMD) si 2.66GHz(INTEL) frecventa de lucru, 272GB
memorie RAM;
240 core-uri GPU, 1.296 GHz frecventa de lucru a fiecarui core si 4GB memorie
RAM.
10TB memorie HDD.

4.2

Rezolvarea directa si iterativa, n paralel, a sistemelor

linare mari

In capitolul precedent, partea de rezolvare a sistemelor de ecuatii, a fost identificata

ca parte critica a algoritmul de modelare magnetica. In acest subcapitol, se va prezenta
un studiu referitor la metodele de rezolvare pentru sistemele de ecuatii liniare cu matrice
rare de mari dimensiuni, generate prin discretizarea ecuatiilor campului elctromagnetic.
Deoarece n partea critica trebuie rezolvate mai multe
Snsisteme Ai x = bi , provenite din
sistemul de stare pentru o lista de frecvente S = i=1 fi , se vor studia n prima faza
posibilitatile de a rezolva mai multe sisteme n paralel.
Pentru testele efectuate n cadul acestui subcapitol, s-a considerat o problema de test
cu doua inductoare simple plasate ntr-un domeniu alcatuit din 3 straturi (Aer, SiO2 , Si Figura 4.2a). Problema considerata se va numi Ucoupled , si are doua conductoare n forma
U (Figura 4.2b) plasate n stratul de SiO2 .
Exista doua moduri de rezolvarea a unui sistem liniar Ax = b: cu metode directe sau
cu metode iterative. Alegerea uneia sau a alteia difera de tipul matricei sistemului A care
poate fi: reala sau complexa, simetrica sau nesimetrica, patrata sau dreptunghiulara, rara
sau densa, pozitiv definita sau nu, structurata sau nu.
15

4. Folosirea sistemelor multiprocesor n modelarea inductoarelor spiralate

(b) Bobine n forma U

(a) Domeniu problema

Figura 4.2: Problema de test Ucoupled

Rezolvarea directa
Majoritatea metodelor directe de rezolvare ale unui sistem liniar, executa factorizarea
LU a matricei A si ncearca reducerea costurilor, memorie si timp de calcul, minimizand
umplerea cu elemente nenule a factorilor triunghiulari L si U , n procesul de eliminare.
Pentru simulari, a fost folosita o metoda directa, ce respecta tiparul de mai sus, si anume
solverul UMFPack [13] dezvoltat de Tim Davis. Implementarea din MATLAB a acestui
solver poate fi considerata o implementare paralela, deoarece, prin intermediul bibliotecii
LAPACK, solverul are acces la operatii BLAS paralele, ce se folosesc de faptul ca procesorul sistemului de calcul are doua sau mai multe core-uri. Se va executa, ca test, rezolvarea
unor sisteme liniare de mai multe dimensiuni, generate cu FIT, folosind de la 1 la 8 core-uri.
Nr. DoFs Tip nod
6317
17069
42269
56927

INTEL
AMD
INTEL
AMD
INTEL
AMD
INTEL
AMD

1
0.4
0.87
3.3
6.21
26.61
49.19
53.61
93.38

Nr. core-uri
2
3
4
5
0.33
0.33 0.28 0.27
0.7
0.62 0.61 0.58
2.25
2.24 1.61 1.61
4.21
3.67 3.28 3.11
16.57 16.54 10.22 10.23
30.3 23.92 20.02 18.87
30.29 30.95 18.83 19.24
55.02 43.3 35.65 32.19

6
7
8
0.27 0.27 0.28
0.6
0.62 0.53
1.47 1.45 1.32
2.95 3.25 2.85
8.37
8.6
7.56
17.18 18.58 15.6
15.39 15.44 14.37
30.24 30.62 26.73

Tabelul 4.1: Timpii de rezolvare pentru numar diferit de core-uri

In Tabelul 4.1 se gasesc timpii corespunzatori rezolvarii unui singur sistem, pentru
numar diferit de core-uri. Se poate conclude, ca numarul optim de threads-uri pentru rezolvarea unui sistem este 8, si ca timpul de rezolvare pentru un core este de aproximativ 4 ori
16

 n paralel, a sistemelor linare mari

4.2. Rezolvarea directa si iterativa,

mai mic decat timpul de rezolvare pentru 8 core-uri, T8 core = 4 T1 core

Urmatorul test, care va consta tot n rezolvarea unui sistem liniar, nsa, de aceasta data
se va urmari performantele solverului, din punct de vedere al timpului de executie si al
consumului de memorie.
Test
1
2
Grid
15x15x15 25x25x25
Nr. DoFs
6317
84719
Timp [s]
0.26
31.68
INTEL
Mem. [MB]
24
3414
Timp [s]
0.48
63.16
AMD
Mem. [MB]
23
3442

3
37x37x37
283907
430.80
22280
mem. err.

4
38x38x38
308111
494.31
22365
mem. err.

5
39x39x39
333653
3108
swap
mem. err.

Tabelul 4.2: Timpii de rezolvare pentru diferite retele de discretizare

(a) Inainte de factorizare

(b) Umplerea dupa factorizare

Figura 4.3: Matricea FIT nainte si dupa factorizarea LU .

Privind rezultatele numerice (Tabelul 4.2) pentru problema Ucoupled , se poate observa,
ca pe configuratia cu procesor AMD, nu au putut fi rezolvate sistemele mari, cu mai mult de
283907 grade de libertate, din cauza necesarului mare de memorie, care a depasit memoria
fizica instalata (configuratia AMD dispune de 16GB memorie RAM). Din cauza structurii
matricei si a umplerilor cu elemente nenule a factorilor L si U (Figura 4.3), de pe parcurs,
solverul UMFPack necesita o cantiate mare de memorie pentru rezolvare.

Rezolvarea iterativa paralela

Principalul motiv pentru care s-a decis investigarea metodelor iterative, a fost acela ca
ele au nevoie, n principiu datorita absentei umplerilor, de o cantitate mai mica de memorie decat metodele directe, pentru rezolvarea unui sistem de ecuatii liniare, lucru care ar
permite rezolvarea unor sisteme cu mai multe grade de libertate si, implicit, folosirea unor
griduri de discretizare mai dense.
17

4. Folosirea sistemelor multiprocesor n modelarea inductoarelor spiralate

Analizand algoritmii celor doua metode, GMRES si BiCGSTAB, se observa faptul ca

la fiecare iteratie, se folosesc operatii de algebra liniara: operatii vector-vector (BLAS 1) si
operatii matrice-vector (BLAS 2), operatii ce se gasesc, ca instrumente de programare, n
biblioteca Basic Linear Algebra Subprograms (BLAS).
Pentru testele realizate n aceasta lucrare, s-au folosit implementarile GMRES si BiCGSTAB din MATLAB, respectiv din biblioteca CUSP. Pentru a putea accesa metodele
iterative din biblioteca CUSP, paralelizate cu tehnologia da calcul paralel GPU, au fost
scrise programe, ce asigura rezolvarea unui sistem, dar si etapele premergatoare rezolvarii:
transferul si compatibilitatea datelor, ntre MATLAB si formatul acceptat pentru procesarea
GPU.
Mai exact, contributia autorului este realizarea fisierelor ce contin functii mex si functii
MATLAB, ce fac posibila apelarea metodelor iterative din biblioteca CUSP. Aceste fisiere
au fost organizate ntr-o suita de programe. Cu ajutorul acestor programe, se pot rezolva
atat sisteme liniare reale rare, cat si sisteme liniare complexe rare.
Rezultatele obtinute cu metodele iterative paralele GMRES si BiCGSTAB, n cazul sistemului generat cu metoda FIT pentru problema Ucoupled , sunt inexacte, principala cauza fiind conditionarea slaba a sistemului. De aceea, n subcapitolul urmator se vor testa metode
iterative cu preconditionare. Totusi, pentru a ilustra utilitatea metodelor iterative paralele,
ele au fost aplicate rezolvarii unor sisteme de ecuatii liniare generate de programul profesional COMSOL, care foloseste metoda elementelor finite, deci, n functie de complexitatea
modelului, poate genera matrice rare, simetrice, pozitiv definite, diagonal dominante.

Figura 4.4: Problema Ushape

Pentru problema de test (Problema Ushape - Figura 4.4), a fost considerat un domeniu,
similar cu cel definit pentru celelalte probleme, respectiv trei straturi Aer, SiO2 , Si, si o
bobina n forma U, aflata n stratul de SiO2 . Matricele rezultate din acest model sunt
rare, patrate si diagonal dominante. Pentru a putea aduce sistemul matriceal n mediul
MATLAB, a fost folosit toolbox-ul COMSOL Live Link for MATLAB. Contributia autorului, consta n scrierea unei functii, care sa exporte sistemul de stare din mediul COMSOL
n mediul MATLAB.
A fost aleasa forma sistemului de stare, n care matricele sunt rare:

MC dx(t)
= MA x(t) + MB u(t)
dt
,
(4.1)
y(t) = Cx + Du(t)
18

 n paralel, a sistemelor linare mari

4.2. Rezolvarea directa si iterativa,

unde matricele MC si MA sunt mai rare decat n alte forme ale sistemului de stare oferite
de Comsol. Astfel, folosind sistemul de stare rezultat, ca data de intrare pentru algoritmul
AFS-VF, se poate obtine modelul SPICE (modelul de ordin redus) pentru problema modelata. In prima varianta, modelul contine efectele campului electromagnetic modelate cu
metoda FIT, n schimb, acest model va contine efectele modelate cu metoda FEM.
Au fost executate teste, pe doua tipuri de platforma de calcul:
CPU - folosind nodul Psi, avand configuratia 2 x Intel Xeon i7 CPUs, 2.66 GHz cu 8
MB memorie cache, un total de 8 cores per nod, si 24 GB memorie RAM;
GPU - folosind NVIDIA Tesla C1060, 240 cores, 1.296 GHz per core, 4GB memorie
RAM.
Testul a constat n rezolvarea unui sistem complex A x = b, folosind solverul GMRES
,
cu restart, pentru care a fost calculat norma reziduului rezultatului final, R = norm(bAx)
norm(b)
TCP U
si accelerarea, S = TGP U . Pentru GPU, testul a fost rezolvat pentru doua valori de restart
50 (GPU1 ), respectiv 5000 (GPU2 ), iar pentru CPU valoarea de restart a fost setata la 50.
Problema
No. of DoFs
Results
CPU
GMRES
GPU1
GPU2
Speedup1
Speedup2

FEM1
7196
Timp [s]
R
5086
7.6e-2
62
9.1e-2
3165
7.3e-6
82
1.6

FEM2
11568
Timp [s]
R
11860
7.4e-2
161
4.0e-2
476
2.98e-5
73
24

FEM3
19486
Timp [s]
R
26766
2.8e-2
452
3.8e-2
15875 3.73e-6
59
1.7

Tabelul 4.3: Rezultatele testelor pentru diferite griduri de discretizare

Rezultatele obtinute pentru CPU si GPU1 arata o accelerare foarte buna, n conditiile
n care acuratetea este aproximativ aceeasi. In mod normal, n aceleasi conditii de rulare,
rezultatele ar fi trebuit sa fie identice, nsua, din cauza implementarii algoritmului GMRES,
pot aparea mici diferente. Testul GPU2 arata ca se pot obtine rezultate cu o acuratete mai
buna, nsa, dupa cum se poate vedea si n Tabelul 4.3, costurile, din punct de vedere al
timpului de executie, sunt destul de ridicate.
In concluzie, s-a demonstrat ca solverele GPU sunt mai performante din punct de vedere
al timpului de executie decat solverele seriale CPU. Pe parcursul cercetarilor s-a observat ca
perfomantele si acuratetea solverelor GPU depind puternic de: toleranta impusa, numarul
maxim de iteratii si valorea de restart a metodei iterative. De asemenea, s-a observat ca solverele GPU nu reusesc sa obtina rezultate exacte pentru sistemele generate cu metoda FIT,
una din principalele cauze fiind conditionarea slaba a matricei sistemului. Urmatorul pas
n investigarea metodelor iterative reprezinta investigarea metodelor de preconditionare.

Rezolvarea iterativa cu preconditionare

Spre deosebire de metodele directe, metodele iterative nu aduc modificari matricei A,
ci ele cauta succesiv cea mai buna aproximare a solutiei x. Vectorul reziduurilor
rk = b A xk ,
19

(4.2)

4. Folosirea sistemelor multiprocesor n modelarea inductoarelor spiralate

indica cat de aproape este solutia de la iteratia k, de solutia reala x. Metodele de preconditionare
folosesc o matrice M ce aproximeaza inversa matricei A, cu ajutorul careia se obtine un
sistem a carui rezolvare necesita mai putine iteratii:
M A x = M b.

(4.3)

Matricea noului sistem A1 = M A, are proprietati mai bune decat matricea A, n cazul
matricelor FIT, un numar de conditionare mai mic.
Dupa mai multe teste, ca metoda de preconditionare, a fost folosita factorizarea incompleta ilu, iar pentru rezolvare metoda reziduului minimal generalizat (Generalized Minimum Residual - GMRES):
GMRES cu preconditionare ilu, apelate din MATLAB (iluM AT );
GMRES cu preconditionare ilu, apelate din toolbox-ul pentru MATLAB, ILUPACK
(iluP ACK ).
Pentru testele executate n cadrul acestei etape, au fost utilizate matricele FIT pentru
problema Ucoupled .In Tabelul 4.4, se gasesc rezultatele, pentru rezolvarea unui sistem liniar,
obtinute pentru cele doua metode iterative cu preconditionare: iluP ACK si iluM AT .
Grid
10x10x10
DoFs
4631
mem. [GB]
0.32
iluP ACK
Timp [s]
2.82
R
3.8e-12
mem. [GB]
0.4
iluM AT
Timp [s]
2.1
R
7.68e-13

15x15x15
17069
1.3
37.15
2.1e-11
2
44.5
3.15e-12

20x20x20 25x25x25
42269
84719
8
14
427.25
7638
6.4e-12
4.2e-12
mem err
-

30x30x30
148895
mem err
-

Tabelul 4.4: Rezulte numerice obtinute cu metode iterative cu preconditionare

Consumul mare de memorie n cazul metodelor iterative cu preconditionare, se datoreaza conditiilor impuse metodei de preconditionare, anume factorizarea incompleta.
In Figura 4.5 sunt centralizate performantele metodelor de rezolvare prezentate n acest
subcapitol. Concluzia acestui subcapitol este ca metoda directa (solverul UMFPack), obtine
cele mai bune rezultate, pentru matricele generate folosind metoda FIT. Gasirea unei tehnici
competitive de preconditionare, pentru aceste matrice, necesita studii suplimentare, aceasta
problema ramannd deschisa. Drept urmare, acest solver va fi folosit pentru simularile din
subcapitolele ce urmeaza.

Rezolvarea, n paralel, a mai multor sisteme liniare

Rezolvarea, n paralel, a mai multor sisteme liniare reprezinta etapa premergatoare
paralelizarii algoritmului AFS-VF. Pentru aceasta sectiune, se considera ca test rezolvarea
sistemului pentru problema Ucoupled pentru o lista de frecvente. Din problema Ucoupled
discretizata cu un grid 22 22 22, rezulta un sistem cu 56927 grade de libertate. Acest
20

 n paralel, a sistemelor linare mari

4.2. Rezolvarea directa si iterativa,

(a) Memorie

(b) Timp

Figura 4.5: Performante metode de rezolvare directe vs iterative

sistem trebuie rezolvat pentru un numar de frecvente nf rec , din banda 1 60GHz. Pentru
rezolvarea unui sistem, a fost nevoie de 1.7GB memorie, nsa, deoarece configuratia cu
procesoare INTEL s-a dovedit a fi mai rapida, testul urmator, va fi executat folosind numai
nodurile cu acest tip de procesor.
Speedup-ul (accelererea) este calculat dupa formula:
S=

nf req T1
Ts
=
,
Tp
Tp

(4.4)

unde Ts reprezinta timpul serial, T1 timpul de rezolvare al unui sistem pentru o frecventa ,
nf rec numarul de frecvente, iar Tp timpul paralel.
Pentru un singur sistem cu 56927 grade de libertate, timpul de rezolvare obtinut este
T1 = 13.41. Timpii paraleli (Tabelul 4.5) au fost obtinuti ruland cele doua versiuni pe 4 noduri din cluster-ul Atlas, rezultand 32 workersi pentru versiunea cu un nivel de granularitate
si 4 workersi pentru versiunea cu doua nivele de granularitate.
nf rec
Ts
Timp [s]
Speedup

Tp 1LvlGr
Tp 2LvlGr
S1LvlGr
S2LvlGr

10
134.1
67.57
40.57
1.98
3.31

20
30
40
268.2 402.3 536.4
67.87 69.33 122.13
68.30 105.73 132.18
3.95
5.80
4.39
3.93
3.80
4.06

59
791.19
123.02
196.20
6.43
4.03

Tabelul 4.5: Rezultatele numerice pentru cele doua versiuni

Din punct de vedere al speedup-ului (Tabelul 4.5), se poate spune ca abordarea cu un
singur nivel de granularitate (1LvlGr) obtine performante mai bune fata de abordarea cu
doua nivele de granularitate (2LvlGr), doar atunci cand avem un numar mic de sisteme de
rezolvat (sub 10).
Pentru a avea o imagine mai clara asupra perfomantelor celor doua versiuni, vom face
o analiza a eficientiei acestora.
21

4. Folosirea sistemelor multiprocesor n modelarea inductoarelor spiralate

In acest caz timpul paralel pentru 2LvlGr este mai mic decat timpul paralel pentru
1LvlGr (se verifica, vezi Tabelul 4.5).
Un alt lucru foarte important, pentru decizia utilizarii uneia dintre versiunile propuse,
este acela ca pentru versiunea 1LvlGr (1 worker = 1 core), 1 worker va avea la dispozitie
= 3GB
doar 18 din memoria totala a nodului respectiv, adica, n cazul nodurilor INTEL, 24
8
memorie RAM. Aceasta limitare reprezinta un important dezavantaj, deoarece folosind
aceasta versiune, se vor putea rezolva doar sisteme care necesita o cantitate de maxim 3 GB
memorie (aproximativ 85000 grade de libertate), ceea ce nseamna ca gridul de discretizare
nu poate fi foarte dens, rezultand simulari cu erori mai mari.

4.3

Paralelizarea Esationarii Adaptive a Frecventelor cu

Vector Fitting(AFS-VF paralel)

Asa cum a fost prezentat n Capitolul 3, pasul critic al algoritmului AFS-VF, implica
rezolvarea unui sistem liniar de ecuatii, de tip A x = b, pentru o serie de frecvente. Acest
lucru se ntampla, din cauza sistemelor de rezolvat, care au o dimensiune foarte mare (pot
depasi 106 grade de libertate), ceea ce implica timpi de rezolvare foarte mari.
Folosind tehnici de calcul paralel si distribuit, autorul propune doua versiuni paralele
ale algoritmului AFS-VF, obiectivul folosirii lor, fiind acela de a reduce la minimum timpul de modelare. Diferenta dintre cele doua versiuni constau n abordarea hardware-ului si
software-ului sistemului de calcul, din punct de vedere al granularitatii. Nivelul de granularitate are o mare influenta asupra performantelor algoritmului paralel, deoarece un nivel
de granularitate prea mare ar ncetini executia programului (din cauza timpilor de comunicare), iar un nivel de granularitate prea mic, nu ar exploata la maxim resursele de calcul.

(a) Un nivel de granularitate

(b) Doua nivele de granularitate

Figura 4.6: Abordari paralele ale AFS-VF

In Tabelul 4.6 este prezentata convergenta algoritmului AFS-VF3 pentru problema Ucoupled, cu grid 20 20 20, 56927 grade de libertate, si parametri diferiti (AF S , V F ,
22

4.4. Concluzii

AF S

V F

Nr. pct.

1e-3

1e-5

1e-3

1e-5

Convergenta
iteratie 1
2
0
S
3
6
0
S+S
7 13
iteratie 1
S0
7
S + S 0 15

Tabelul 4.6: Convergenta algoritmului AFS-VF3 pentru problema Ucoupled

numarul punctelor de start). Se poate observa, ca numarul de sisteme S 0 , care trebuie rezolvat pentru fiecare iteratie, este mai mic de 10 pentru primul caz, cu 4 puncte de start, si
mai mare 10 pentru al doilea caz, cu 8 puncte de start.

U coupled

Grid
20 20 20
DoFs
42269
Nr. in/out
2
Nr. pct.
Timp [s]
Ts
141.8
4
Tp 1LvlGr
90.39
Tp 2LvlGr
60.27
Ts
157.64
8
Tp 1LvlGr
47.76
Tp 2LvlGr
59.27

Tabelul 4.7: Timpii de executie ai algortimului AFS-VF pentru problema Ucoupled

In Tabelul 4.7 sunt prezentati timpii de executie, n cazul mai sus mentionat, ai algoritmului AFS-VF pentru problema Ucoupled. Se poate observa, ca aproximarile facute, sunt
adevarate, implementarea cu doua nivele de granularitate obtinand timpi mai mici n cazul
cu 4 pucte de start (unde avem sub 10 puncte per iteratie) si timpi mai mari n cazul cu 8
puncte de start (unde avem peste 10 puncte per iteratie).

4.4

Concluzii

In introducerea acestui articol au introduse cateva notiuni legate de sistemele multiprocesor actuale, dar si tehnici de programare paralela a acestor sisteme. Studiu referitor
la metodele de rezolvare a oferit informatii pretioase legate de tipul solverului ce trebuie
ales pentru o rezolvare cu acuratete ridicata a sistemelor cu matrice rare generate cu ajutorul
Chamy. In finalul acestui capitol au fost propuse doa implementari paralele ale algoritmului
AFS-VF, cu un nivle de granularitate, respectiv cu doua nivele de granularitate, prezentand
atat avantajele cat si dezavantajele folosirii lor. De asemenea, a fost prezentat si o metoda de calcul a eficientei acestor implementari. Despre eficienta folosirii implementarilor
paralele, se va vorbi si n capitolul urmator pentru fiecare strutura de test modelata.
23

CAPITOLUL 5

Studii de caz - rezultate numerice si validarea lor

experimentala

Pentru validarea perfomantelor implementarilor paralele ale AFS-VF au fost analizate

trei structuri de test: CDST-SP-MIDDLE, CHRF217 si CHRF201. Acestea au fost concepute si realizate n tehnologia CMOS, de parteneri industriali ai CHAMELEON RF si
CODESTAR, si caracterizate experimental de acestia.
Prima etapa a procesului de modelare electromagnetica consta n modelarea geometrica. Geometria dispozitivelor se extrage din fisierele .gds, care descriu prin coordonate
din planul orizontal xOy mastile prin care se realizeaza acele dispozitive. Coordonatele pe
axa y se obtin din fisierul de tehnologie, fisier ce contine dimensiunea si dispunerea straturilor n dispozitiv. Aceste date sunt asamblate n fisierul de geometrie folosit n Chamy.
Urmatoarea etapa consta n modelarea fizica, prezentata n Capitolul 3, n care au fost
identificate principalele fenomene fizice care apar n functionarea dispozitivului si sursele
campului electromagnetic, n regimul cel mai potrivit pentru analiza dispozitivului. Tot
n acelasi capitol a fost prezentata si modelarea matematica, n care au fost prezentate
ecuatiile ce descriu fenomenele fizice, conditiile de frontiera, si a fost formulata corect
problema ce va fi rezolvata, identificandu-se datele si rezultatele ei.
Modelarea aproximativa este cea de-a treia etapa procesului de modelare electromagnetica si ea consta n rezolvarea analitica a problemei, pentru a extrage modelul cu parametri concentrati al dispozitivului analizat. Modelarea numerica presupune rezolvarea
problemei de camp electromagnetic folosind modelul discretizat. Validarea se face prin
compararea celor doua solutii (analitica si numerica), dar verificarea cea mai puternica se
realizeaza prin comparatia cu rezultatele experimentale.
Modelarea numerica va fi facuta cu ajutorul programului Chamy, bazat pe tehnica integrarilor finite (FIT), prezentata anterior. Chamy genereaza n mod automat o retea de
discretizare minimala, nsa pentru a obtine rezultate cat mai exacte, va fi folosita o retea de
discretizare adaptata. Datele de iesiere ale acestui program, n care a fost ncorporata procedura paralela AFS-VF, constau n: modelul de ordin redus sub forma unui circuit SPICE
si caracteristica n frecventa a dispozitivului modelat. Scopul acestui capitol este de a valida si evalua cantitativ versiunea Chamy+AFS-VF paralel prin comparatie cu versiunea
secventiala a programului Chamy-VF.
24


5.1. Inductorul spiralat patrat
- CDST-SP-MIDDLE

5.1

Inductorul spiralat patrat - CDST-SP-MIDDLE

Problema CDST-SP-MIDDLE se refera la un inductor spiralat patrat ce are amble terminale excitate n tensiune, iar substratul de Si conectat la GND. Geometria 2D, n coordonate xOz, a dispozitivului provine din fisierul .gds (Figura 5.1a - vedere din Layouteditor).
Coordonata pe axa Oy provine din fisierul de tehnologie, obtinandu-se astfel geometria 3D
(Figura 5.1b - vedere din COMSOL) a dispozitivului de modelat.

(a) Layout

(b) Vedere 3D

Figura 5.1: Problema CDST-SP-MIDLLE

Caracteristicile materialelor folosite pentru clasa de probleme CODESTAR sunt prezentate n Tabelul 5.1.
Material
Tip
r
alum1
Al-conductor
1
alum2
Al-conductor
1
tun1
W-conductor
1
SUB1 (Si) semi-conductor 1
SUB5 (Si) semi-conductor 1
Oxide1
izolator
1
Oxide2
izolator
1
Nitride
izolator
1

r
1
1
1
11.7
11.7
3.9
4.1
7.5

[S/m]
6.60 107
1.25 107
3.33 106
5
3.33 103
0
0
0

Tabelul 5.1: Materialele problemelor CODESTAR

Dimensiunile inductorului spiralat sunt: s = 3m, w = 20m, dout = 200m,

din = 114m, p1 = 69.80m si p2 = 112.8m. Inductorul se afla n stratul met4 iar
conductoarele de aductie n stratul met3.
25

5. Studii de caz - rezultate numerice si validarea lor experimentala

Modelarea aproximativa
Pentru obtinerea solutiei analitice se va folosi modelul Pi cu parametri concentrati (Figura 5.2).
l
= 1.42, Ls =
Parametri concentrati ai modelului sunt definiti astfel: Rs = wt

+2dout )t

1.053nH [14], Cs = (N 1) w2 tOx MOx3 M 4 = 13.81f F , Cs = (N 1) Ox (dout4s

=
Ox
Ox
1
1
2
5.35f F , COx = 2 l w tOx = 91.13f F COx = 2 dout tOx = 139.60f F , CSi =
2
1
d2out CSub = 690.40f F , RSi = d2 G
= 45.05m. Daca se neglijeaza efectul struc2
Sub
out

turilor V din stratul nwell (Figura 5.1a), atunci Csub = tSi

= 178.820nF/m2 , Gsub =

= 6.8 103 S/m2 . Cu aceste valori CSi = 3.58f F si RSi = 7.353k. Probabil ca n
tSi
realitate valorile acestor doi parametri sunt cuprinse ntre aceste limite.

Figura 5.2: Circuitul echivalent pentru inductorul integrat (LTSpice)

Pasul urmator reprezinta simularea circuitului din Figura (5.2) n SPICE . Ecuatiile ce
caracterizeaza circuitul liniar sunt:
I1 = Y11 V1 + Y12 V2
I2 = Y21 V1 + Y22 V2 .

(5.1)

Pentru obtinerea caracteristicii n frecventa din SPICE, circuitul trebuie simulat de doua ori
astfel:
1. cu V2 = 0 se obtine I1 = Y11 V1 si I2 = Y21 V1 , adica Y11 si Y21 ;
2. cu V1 = 0 se obtine I1 = Y12 V1 si I2 = Y22 V1 , adica Y12 si Y22 .
A fost facut un studiu, rezultatul final fiind un model cu parametri concentrati pentru
care obtine eroarea relativa globala n norma euclidiana fata de masuratori de 2% (simularea
8).
26


5.1. Inductorul spiralat patrat
- CDST-SP-MIDDLE

(a) Y11 Real

(b) Y11 Imaginar

Figura 5.3: Simularea 1 si 7 - Y11

Concluzia generala a acestui studiu este ca valorile parametrilor Rs , RSi si CSi sunt
esentiale pentru modelarea corecta a inductorului. Rezistenta Rs este dependenta de frecventa
si puternic afectata de efectele campului electromagnetic la frecvente nalte, deci valoarea
ei influenteaza caracteristica n toata gama de frecvente. Din simularile efectuate s-a putut
observa ca rezisteta RSi si capacitatea CSi substratului influenteaza comportamentul dispozitivului la frecvente nalte. In consecinta , modelul cu parametri concentrati independenti
de frecventa nu poate da rezultate foarte precise pe o gama larga de frecvente.

Modelarea numerica
Modelarea numerica este urmatoarea etapa n procesul de modelare electromagnetica
a inductorului CDST-SP-MIDDLE, care va fi facuta cu ajutorul programului Chamy, bazat
pe metoda FIT. Aceasta etapa presupune obtinerea modelului discretizat pentru campul
electrodinamic din domeniului de calcul de tip EMCE, domeniu care contine inductorul si
are dimensiunile de 400 microni dupa axele Ox, Oz, si 10+2725 microni dupa axa Oy.

(a) Adaptata n planul xOy

(b) Adaptaa n planul xOz

Figura 5.4: Retea de discretizare

27

5. Studii de caz - rezultate numerice si validarea lor experimentala

In functie de elementele continute de dispozitivul modelat, respectiv conductoare si

straturi, programul genereaza n mod automat o retea de discretizare minimala, care trebuie
ndesita, n limita resurselor hardware, pentru a obtine rezultate cat mai exacte. Se impune,
deci, dezvoltarea unei strategii de alegere a retelei de discretizare (retea adaptata - Figura
5.4).
In Figura 5.5 sunt prezentate comparativ caracteristicile de frecventa rezultate n urma
masuratorilor si cele rezultate n urma simularilor modelului cu parametri distribuiti (Chamy
nr. 8) si concentrati (SPICE nr. 8). Eroarea medie patratica relativa, calculata folosind
i simulat Yi masurat k
, este de circa 2% pentru ambele simulari, SPICE
norma Frobenius rmskY
maxkYi..n masurat k
si Chamy, nsa se poate observa ca modelul cu parametri distribuiti are o comportare mai
apropiata de masuratori decat modelul cu parametri concentrati, mai ales n pozitia minimului/maximului partilor imaginare Y11 si Y12 .

(a) Partea reala Y11

(b) Partea imaginara Y11

(c) Partea reala Y12

(d) Partea imaginara Y12

Figura 5.5: Caracteristicile de frecventa Y11 si Y12 : masurate, simulate ale modelului cu
parametri concentrati si distribuiti
28


5.1. Inductorul spiralat patrat
- CDST-SP-MIDDLE

Studiul prezentat n acest capitol valideaza procedura de modelare cu parametri distribuiti

propusa de autor n aceasta teza de doctorat. Rezulatele simularii modelului extras se abat
doar cu 2% fata de rezulatatele experimentale, ceea ce este pe deplin satisfacator, conform
cerintelor industriale si preciziei solicitate de proiectantii de circuite integrate. Progresele
se datoreaza atat evolutiei performantelor componentelor hardware ale sistemeleor de calcul (viteza si memorie), dar si dezvoltarii unor noi metode de modelare si a algoritmilor,
precum si programelor (paralele si distribuite) asociate.
Chiar daca modelul cu parametri concentrati propus de autor are un ordin de marime
al erorii tot de 2%, totusi procedura de extractie a sa este mai putin robusta. Dupa cum s-a
vazut, si fundamentarea sa teoretica nu este la fel de solida ca a modelului cu parametri
distribuiti.

Performantele procedurii de extractie a modelului

Pe langa acuratete, un alt aspect important al modelarii numerice l reprezinta timpul
de calcul consumat pentru extractia modelului si necesarul de memorie. In cazul de test
CDST-SP-MIDDLE, reteaua adaptata cu 23 29 22 noduri a dus la obtinerea unui model
discretizat cu 78363 grade de libertate (DoFs). Timpul de rezolvare pentru un singur sistem
liniar cu aceste necunoscute complexe a fost este de 34s pe un nod din clusterul ATLAS,
iar cantitatea de memorie necesara a fost de 3.3GB.
AF S
1e-2

V F
1e-4

Nr. pct.
4

Convergenta
iteratie 1 2
ordin 3 6
S0
3 6
S + S 0 7 13

3
7
4
17

Tabelul 5.2: Convergenta algoritmului AFS-VF

Algoritmul de rezolvare AFS-VF a avut nevoie de 3 iteratii (Tabelul 5.2) pentru a obtine
modelul final, care are ordinul q = 7. Implementarea seriala a obtinut modelul de ordin
redus n 580s, pe cand implementarea paralela cu doua nivele de granularitate a avut nevoie
doar de 194s, adica s-a obtinut cu o accelerare de 3. Implementarea cu un nivel de granularitate nu a putut executa acest test deoarece necesarul de memorie (3.3 8 = 26.4GB)
depaseste memoria fizic instalata (24GB). Pentru executia implementarii paralele au fost
folosite 4 noduri din clusterul Atlas, ceea ce nseamna ca ideal se poate obtine o accelerare
maxima de valoare 4. Avand n vedere accelerarea obtinuta, se poate spune ca implementarea paralela exploateaza eficient resursele de calcul. Desigur, accelerarea depinde foarte
mult de convergenta algoritmului respectiv numarul de iteratii si numarul de sisteme de
rezolvat la fiecare iteratie.
Concluzia acestei analize este ca paralelizarea calculului reduce timpul de executie si
permite n consecinta extragerea unor modele mai precise. Daca timpul de extractie necesar
pentru procedura paralela AFS-VF este comparat cu cel initial solicitat de algoritmul VF
secvential (fara AFS) se constata o scadere a acestui timp de circa 16 ori, atunci cand se
foloseste un cluster alcatuit din patru noduri interconectate. Aceasta observatie evidentiaza
cresterea performantelor procedurii de modelare electromagnetica.
29

5. Studii de caz - rezultate numerice si validarea lor experimentala

5.2

Inductorul spiralat hexagonal - CHRF217

Problema CHRF217 contine un inductor spiralat hexagonal ce are un terminal excitat n

tensiune, iar celalat conectat la masa. Geometria 2D, n coordonate xOz, a dispozitivului
care provine din fisierul .GDS este prezentata n Figura 5.6. Dispunerea straturilor pe
axa Oy provine din fisierul de tehnologie. Pentru clasa de probleme CHRF sunt folosite

(a) Layout

(b) Vedere 3D

Figura 5.6: Problema CHRF217 - Inductor spiralat hexagonal

aproape aceleasi materiale ca n cazul problemelor CODESTAR, n Tabelul 5.3 se gasesc
materialele ale caror proprietati sunt diferite. Dimensiunile inductorului spiralat sunt: s =
2m, w = 13m, dout = 186m, din = 100m, p1 = 50m si p2 = 69m. Inductorul se
afla n stratul met4.
Material
Tip
r
alum1
Al-conductor
1
alum2
Al-conductor
1
tun1
W-conductor
1
SUB2 (Si) semi-conductor 1
SUB5 (Si) semi-conductor 1

r
1
1
1
11.7
11.7

[S/m]
3.23 107
2.15 107
5.21 106
2.38 106
3.33 103

Tabelul 5.3: Materialele problemelor CHAMELEON

Modelarea aproximativa
Modelarea aproximativa se va face folosind acelasi model propus in subcapitolul anterior. Valorile parametrilor concentrati ai modelului sunt: Rs = 2.55, Ls = 1.754nH,
Cs = 3.066f F , COx = 63.11f F , CSi = 3.093f F , RSi = 8.5k.
Rezultatele acestei simulari au fost comparate cu rezultatele Chamy (Figura 5.7).
30

5.2. Inductorul spiralat hexagonal - CHRF217

Modelarea numerica
Pentru discretizarea problemei CHRF217 au fost folosite strategiile dezvoltate n subcapitolul anterior, n final fiind folosita o retea adaptata cu 47 21 39 noduri.

(a) Real

(b) Imaginar

Figura 5.7: Simularea SPICE si Chamy - Y11

In Figura 5.7 sunt prezentate comparativ caracteristicile de frecventa rezultate n urma
simularilor modelului cu parametri distribuiti (Chamy) si concentrati (SPICE). Se constata,
asa cum era de asteptat, ca modelul Chamy obtine rezultate mai bune decat modelul SPICE.
Concluzia finala a acestui studiu este ca modelul cu parametri concentrati nu poate modela
cu acuratete efectele de nalta frecventa , una din principalele cauze fiind faptul ca nu se
tine cont de stratul de nwell care apare n substrat. Eroarea medie partatica globala este de
15% la modelul cu parametri concentrati si 22% la modelul cu parametri distribuiti, dar n
scara logaritmica erorile simularilor Chamy sunt mult mai mici, iar modelul cu parametri
distribuiti mai poate fi mbunatatit, ndesind reteaua de discretizare.

Performantele procedurii de extractie a modelului

Modelul discretizat cu reteaua adaptata cu 47 21 39 noduri, a generat un sistem cu
209346 grade de libertate. Timpul de rezolvare pentru un astfel de sistem liniar cu necunoscute complexe a fost de 198s pe un nod din clusterul ATLAS, iar cantitatea de memorie
necesara a fost de 12GB. Algoritmul de rezolvare AFS-VF a avut nevoie de 3 iteratii (TaAF S
1e-3

V F
1e-5

Nr. pct.
4

Convergenta
iteratie 1 2
ordin 3 6
S0
3 6
S + S 0 7 13

3
10
10
23

Tabelul 5.4: Convergenta algoritmului AFS-VF

31

5. Studii de caz - rezultate numerice si validarea lor experimentala

belul 5.4) pentru a obtine modelul final, care are ordinul q = 10. Implementarea seriala a
obtinut modelul de ordin redus n 4554s. Implementarea cu un singur nivel de granularitate
nu a putut rezolva aceasta problema din cauza limitarii memoriei. Implementarea paralela
cu doua nivele de granularitate a avut nevoie doar de 1386s, obtinandu-se o accelerare de
3.3. La fel ca n cazul precedent, pentru executia implementarii paralele au fost folosite 4
noduri din clusterul Atlas. Accelerarea obtinuta se apropie de accelerarea maxima teoretica, deci, se poate spune ca implementarea paralela exploateaza si de aceasta data eficient
resursele de calcul.

5.3

Inductoare spiralate cuplate - CHRF201

Problema CHRF201 contine doua inductoare spiralate patrate cuplate aflate la distanta
de 14m. Fiecare inductor are un terminal excitat n tensiune iar celalalt conectat la masa,
rezultand un element diport de circuit electric. Geometria dispozitiviului este reprezentata
n Figurile 5.8a) si 5.8b.

(a) Layout

(b) Vedere 3D

Figura 5.8: Problema CHRF201 - Inductoare spiralate cuplate

Straturile de material ale dispozitivului sunt dispuse n mod similar cu cele ale inductorului hexagonal CHRF217. Cele doua inductoare sunt identice, cu cate cinci spire, si
dimensiunile: s = 3m, w = 5m, dout = 300m, din = 226m, p1 = 51m si
p2 = 91m, grosimea t = 3.1m, iar distanta dintre inductoare este de h = 14m. Inductoarele se afla n stratul met4, iar conductoarele de aductie n stratul met3.

Modelarea aproximativa
Pentru modelarea aproximativa a problemei CHRF201 se vor folosi doua modele cu
parametri concentrati de tip Pi, pentru fiecare inductor, la care se adauga doua elemente:
un condensator C12 , care modeleaza efectele capacitive aparute ntre cele doua inductoare,
si o inductivitate mutuala, care modeleaza cuplajul ntre cele doua inductoare. In cazul
campului electric uniform, capacitatea condensatorului este egala cu C12 = OxhS , unde
A = t dout aria comuna spirelor si h distanta dintre spire. Inductivitatea
mutuala calculata
dintre cele doua nfasurari M = 1.02125nH satisface relatia M = k Ls1 Ls2 .
Circuitul echivalent SPICE al inductoarelor cuplate este prezentat n Figura 5.9, iar
parametri lui se calculeaza folosind formulele adoptate n subcapitolul anterior: Rs = 9,
32

5.3. Inductoare spiralate cuplate - CHRF201

Figura 5.9: Circuitul echivalent pentru inductoare integrate cuplate (LTSpice)

Ls = 13.94nH, k = 0.0732, Cs = 0.907f F , COx = 93.941f F , CSi = 8.047f F , RSi =
3.268k, C12 = 2.410f F . Rezultatele simularii SPICE au fost comparate cu rezultatele
obtinute cu Chamy (Figure 5.10).

(a) Y11 Real

(b) Y11 Imaginar

Figura 5.10: Rezultate Chamy si SPICE - Y11 - pentru CHRF201

Modelarea numerica
Pentru discretizarea problemei CHRF201 a fost folosita o retea adaptata cu 622238
noduri. Rezultatele simularilor, prezentate n Figura 5.10, arata clar superioritatea modelului Chamy, mai ales la frecvente nalte, unde surprinde comportarea specifica a caracteristicii de frecventa a dispozitivului. Modelul cu parametri concentrati nu reuseste sa faca
acest lucru, nici macar din punct de vedere calitativ. Eroarea medie patratica globala pentru
modelul SPICE este de 20%, pe cand modelul Chamy are o eroare de 14%. Concluzia este
33

5. Studii de caz - rezultate numerice si validarea lor experimentala

ca, n acest caz, numai, un model cu parametri distribuiti poate modela cu acuratete efectele
de nalta frecventa .
Folosind metoda Fredho, se observa ca aceeasi retea de discretizare adaptiva, ce genereaza un sistem linear cu acelasi numar de grade de libertate, reduce eroarea medie patratica
globala de la 14% la 10%. Cel mai probabil, rezultatele mai pot fi mbunatatite ndesind
gridul n planul xOz, nsa aceasta tehnica este limitata de memoria RAM avuta la dispozitie
n sistemul de calcul pe care se face modelarea.

Performantele procedurii de extractie a modelului

Folosind reteaua adaptata cu 62 22 38 noduri, a fost obtinut modelul discretizat, un
sistem cu 283733 grade de libertate. Timpul de rezolvare pentru un astfel de sistem liniar
cu necunoscute complexe a fost de 324s pe un nod din clusterul ATLAS, iar cantitatea de
memorie necesara a fost de 16GB.
AF S

V F

Nr. pct.

1e-2

1e-4

Convergenta
iteratie 1 2 3
4
ordin 3 6 12 15
S0
3 6 12 4
S + S 0 7 13 25 29

Tabelul 5.5: Convergenta algoritmului AFS-VF

Algoritmul de rezolvare AFS-VF a avut nevoie de 4 iteratii (Tabelul 5.5) pentru a obtine
modelul final, care are ordinul q = 15. Implementarea seriala a obtinut modelul de ordin
redus n 9399s. Implementarea paralela cu doua nivele de granularitate a avut nevoie doar
de 2598s, obtinandu-se o accelerare de 3.61. Pentru acest test au fost folosite 4 noduri din
clusterul Atlas. Accelerarea obtinuta se apropie de accelerarea maxima teoretica, deci, se
poate spune ca implementarea paralela exploateaza si de aceasta data eficient resursele de
calcul.

5.4

Concluzii

Studiul celor trei probleme de test reprezinta validarea experimentala a procedurii de

modelare cu parametri distribuiti prezentata n teza, dar, n acelasi timp, demonstreaza
eficienta folosirii implementarilor paralele propuse de autor. In ceea ce priveste modelarea
cu parametri concentrati, au fost propuse mbunatatiri pentru un model al inductoarelor
integrate existent n literatura de specialitate. El a fost validat pentru inductoare patrate
si hexagonale. Totusi acest model cu parametri concentrati nu reuseste sa modeleze cu
acuratete efectele de nalta frecventa , asa cum s-a vazut mai ales la ultima structura de test.
In schimb, procedura de modelare electromagnetica bazata pe rezolvarea ecuatiilor lui
Maxwell cu FIT permite extragerea n mod robust a unor modele de ordin redus, care au o
acuratete acceptabila din punct de vedere industrial, tinand cont si de abaterile geoemetriei
si parametrilor de material, inerente n tehnologiile micro- si nano- electronice si care au
ordine de marime de circa 10%.
34

CAPITOLUL 6

Concluzii finale si contributii originale

Modelarea electromagnetica a componentelor pasive din circuitele integrate de nalta

frecventa (pana la 60GHz), folosind metode numerice, se reduce n final la rezolvarea unor
sisteme de ecuatii algebrice liniare de foarte mari dimensiuni. In bibliotecile matematice
disponibile, comercial sau n domeniul public, exista sute chiar si mii de rutine pentru
rezolvarea unor astfel de sisteme. Acestea au fost dezvoltate de persoane sau colective cu
cele mai avansate competente n domeniul matematic si/sau al calculatoarelor. Fiecare din
aceste rutine este potrivita pentru o anumita clasa de matrice.
Daca toate acestea au fost stabilite anterior, atunci trebuie, n principiu, identificate din
bibliotecile matematice, acele rutine potrivite pentru proprietatile concrete. In perspectiva
inversa, daca se alege o metoda directa sau iterativa si de preconditionare recunoscuta ca
fiind foarte eficienta, ar trebui ca atunci cand se formuleaza problema de camp si se decide metoda de discretizare, sa se urmareasca obtinerea proprietatilor cerute de metoda de
rezolvare aleasa. Aceasta corelatie ntre formularea problemei de camp electromagnetic
si tehnica de rezolvare numerica de rezolvare a ei, n paralel, presupune cunostinte de inginerie electrica ce nu sunt la ndemana matematicienilor sau a informaticienilor, care au
dezvoltat rutinele de rezolvare. Pe de alta parte inginerul, care se ocupa de modelarea electromagnetica, trebuie sa nteleaga nu doar aspectele fizice si ingineresti, sa poata identifica
ipotezele simplificatoare acceptabil, ci sa aiba cunostintele de matematica si informatica,
necesare ntelegerii modului de functionare si utilizare a acestor rutine de rezolvare.
Tehnologia de modelare electromagnetica a bobineleor spiralate din circuitele integrate
de nalta frecventa , prezentata n teza, a fost pusa la punct si validata experimental folosind
rezultatele masuratorilor puse la dispozitie de partenerii nostri industriali, pentru structuri
de test proiectate si realizate de acestia. Dintre toate alternativele evaluate, n final, s-a
dovedit a fi cea mai eficienta si precisa, tehnologia care se bazeaza pe rezolvarea numerica
a ecuatiilor lui Maxwell, cu conditii de frontiera de tip EMCE, folosind metoda FIT n
domeniul frecventei si extragand modelul de ordin redus cu tehnica Esantionarii Adaptive a
Frecventei AFS-VF. Ea a fost impelementata pe sistemul hibrid ATLAS, folosind tehnicile
de paralelizare cele mai potrivite pentru etapele acestei tehnologii.
Procedurile de modelare electromagnetica dezvoltate n LMN si prezentate n teza au
condus la accelerarea procesului de 5-10 si chiar de 100 ori, fata de situatia existenta nainte
de a ncepe aceste cercetari. In concluzie, putem afirma fara dubiu, ca obiectivele tezei au
35

6. Concluzii finale si contributii originale

fost pe deplin realizate.

Principalele contributii originale aduse prin teza de doctorat:
1. Realizarea unui studiu critic asupra metodelor de modelare elctromagnetica a inductoarelor din circuitelele integrate de nalta frecventa .
2. Modelarea folosind un program dezvoltat n cadrul LMN (Chamy) si un program
comercial (COMSOL) a unui set de structuri inductive de test, virtuale si reale, n
vederea identificarii celei mai eficiente tehnologii TCAD de modelare electromagnetica. Pe nivelul inferior, cele doua programe au fost folosite doar pentru generarea
matricelor sistemului liniar, care au fost rezolvate apoi cu diverse metode, pe sisteme
de calcul multiprocesor. Pe nivelul cel mai nalt, frecventele, pentru care se realizeaza simularea, au fost generate de un algoritm adaptiv distribuit implementat de
autor.
3. S-a studiat eficienta diferitelor metode directe si iterative cu si fara preconditionare,
pentru rezolvarea n paralel (pe sisteme cu arhitecturi ierarhice hibride: cluster, CPU,
GPU) a sistemelor de mari dimensiuni, cu matrice rare generate prin discretizarea
ecuatiilor campului elctromagnetic si s-au identificat solut.iile cele mai eficiente pentru tehnologia de modelare propusa. Acestea au fost incluse n programul TCAD
numit Chamy, dezvoltat n cadrul LMN. Testele efectuate pe sistemul de calcul multiprocesor ATLAS au dovedit o o accelerare substantiala a procesului de modelare.
4. A fost dezvoltat, n MATLAB, un program distribuit de extragerea a modelului de
ordin redus. Metoda cea mai eficienta s-a dovedit a fi AFS-VF - Esantionarea Adaptiva a Frecventelor cu Vector Fitting - AFS-VF. Acestea au fost incluse n programul
TCAD Chamy, dezvoltat de echipa LMN. Metoda AFS-VF a reusit sa reduca numarul variabilelor de stare la 5-20, ceea ce evidentaza eficienta sa extraordinara.
5. A fost modelata structura de test CDST-SP-MIDDLE, constand dintr-o bobina spiralata cu spire patrate, realizata n tehnologia CMOS. Rezultatele au fost validate prin
comparatie cu rezultatele masuratorilor efectuate de partenerii nostri industriali. Fata
de rularea secventiala, folosind 4 noduri din cluster, s-a obtinut o accelerare de 3.
6. A fost modelata structura de test CHRF217, constand dintr-o bobina spiralata cu
spire hexagonale realizata n tehnologia CMOS. Rezultatele au fost validate prin
comparatie cu rezultatele masuratorilor efectuate de partenerii nostri industriali.
7. A fost modelata structura de test CHRF201, constand dintr-o pereche de bobine cuplate, realizate n tehnologia CMOS. Rezultatele au fost validate prin comparatie cu
rezultatele masuratorilor efectuate de partenerii nostri industriali. Rezultatele numerice au acuratete mai mare decat cele obtinute initial, n cadrul proiecteleor, si sunt
obtinute mult mai rapid.
Contributiile orginale aduse de autor au fost comunicate n lucrari publicate mpreuna
cu alti membri ai echipei de cercetare LMN.
1. I. Andrei, E. Caciulan, D. Dan, G. Ciuprina and D. Ioan, Matlab Based Parallel
Deterministic Optimization of the Loneys Solenoid, Acta Electrotehnica Special
36

Issue Selected papers from the 3rd International Conference of Modern Power Systems (MPS 2010), Vol. 51, No. 5, pp. 9-14, Mediamira Science Publisher, ClujNapoca, Romania, 2010, ISSN 1841-3323.
2. I. Andrei, E. Caciulan and D. Dan, Parallel and Distributed Computations Applied
to the Deterministic Optimization of the Loneys Solenoid, Proceedings of the 11th
International Workshop on Optimization and Inverse Problems in Electromagnetism
(OIPE 2010), pp:90-91, September 14-18, 2010, Sofia, Bulgaria, ISBN 978-954438-855-3.
3. G. Ciuprina, D. Ioan, I.A. Lazar, M.I. Andrei, Adaptive Frequency Sampling for the
Effective Extraction of Reduced Models for HF-ICs Passive Components, Proceedings of National Symposium of Theoretical Electrical Engineering (SNET 2010),
Bucharest, 2010, ISSN 2067-4147.
4. I.A. Lazar, M.I. Andrei, E. Caciulan, G. Ciuprina and D. Ioan, Parallel algorithms
for the efficient extraction of fitting based reduced order models, Proceedings of the
7th International Symposium on Advanced Topics in Electrical Engineering (ATEE
2011), pp:1-6, 12-14 May, Bucharest, 2011, ISSN: 2068-7966
5. D. Ioan, G. Ciuprina, C.B. Dita and M.I. Andrei, Electromagnetic Models of Integrated Circuits with Coupled Magnetic Circuits, Proceedings of the International
Conference on Electromagnetics in Advanced Applications (ICEAA 2012), September 2-7, 2012, Cape Town, South Africa.
6. G. Ciuprina, D. Ioan, C.B. Dita and M.I. Andrei, Frequency Dependent Models for
Planar On-Chip Inductors, Book of Abstracts, Scientific Computing in Electrical
Engineering (SCEE 2012), 11-14 September, 2012, Zurich, Switzerland.
7. G. Ciuprina, D. Ioan, C.B. Dita and M.I. Andrei, Optimal terminals identification
for domain partitioning of electro-magnetic circuit elements, Proceedings of 12th
International Workshop on Optimization and Inverse Problems in Electromagnetism
(OIPE 2012), 19-21 September, 2012, Ghent, Belgium.
Lucrari trimise pentru publicare:
1. G. Ciuprina, C.B. Dita , M.I. Andrei and D. Ioan, Hierarchical Sparse Circuits for
the Modeling of Homogeneous Domains in High Frequency ICs, n curs de publicare la Editura Politehnica Press
2. M.I. Andrei and C.B. Dita , Using Multiprocessors Systems for Electromagnetic
Modelling of Spiral Inductors, lucrare trimisa pentru Buletinul UPB, ID 1698.
Lucrari n pregatire:
1. Parallel extraction of reduced order models for integrated inductors by AFS-VF
2. Parallel iterative electromagnetic modeling of spiral inductors

37

Bibliografie

[1] C. Mocanu, Teoria Circuitelor Electrice. Editura Didactica si Pedagogica, 1979.

[2] D. Ioan, Modelarea dispozitivelor electromagnetice.
[3] A. Timotin, Elementul electromagnetic pasiv de circuit, Revue Roumaine des sciences techniques, vol. 21, no. 2, 1971.
[4] D. Ioan and I. Munteanu, Missing link rediscovered: The electromagnetic circuit element
concept, JSAEM Studies in Applied Electromagnetics and Mechanics, vol. 8, Oct. 1999.
[5] I. A. Lazar, G. Ciuprina, and D. Ioan, Effective extraction of accurate reduced order models
for hf-ic using multi-CPU arhitectures, Inverse Problems in Science and Engineering, vol. 20,
no. 1, 2010.
[6] B. Gustavsen and A. Semlyen, Rational approximation of frequency domain responses by
vector fitting, IEEE Transactions on Power Delivery, vol. 14, July 1999.
[7] B. Gustavsen, Improving the pole relocating properties of vector fitting, IEEE Transactions
on Power Delivery, vol. 21, July 2006.
[8] D. Deschrijver, M. Mrozowski, T. Dhaene, and D. D. Zutter, Macromodeling of multiport
systems using a fast implementation of the vector fitting method, IEEE Microwave and Wireless Components Letters, vol. 18, June 2008.
[9] A. Semlyen and B. Gustavsen, A half-size singularity test matrix for fast and reliable passivity
assessment of rational models, IEEE Transactions on Power Delivery, vol. 24, Jan 2009.
[10] B. Gustavsen, Fast passivity enforcement for pole-residue models by perturbation of residue
matrix eigenvalues, IEEE Transactions on Power Delivery, vol. 23, Oct. 2008.
[11] B. Gustavsen and A. Semlyen, Fast passivity assessment for s-parameter rational models via
a half-size test matrix, IEEE Transactions on Microwave Theory And Techniques, vol. 56,
Dec. 2008.
[12] B. Gustavsen, Fast passivity enforcement for s-parameter models by perturbation of residue
matrix eigenvalues, IEEE Transactions on Advanced Packaging, vol. 39, May 2003.
[13] T. A. Davis, Algorithm 832: UMFPACK, an unsymmetric-pattern multifrontal method, ACM
Transactions on Mathematical Software, vol. 30, no. 2, pp. 196199, 2004.
[14] S. S. Mohan, M. del Mar Hershenson, S. P. Boyd, and T. H. Lee, Simple Accurate Expressions
for Planar Spiral Inductances, IEEE Journal of Solid-State Circuits, vol. 34, no. 10, 1999.
http://smirc.stanford.edu/papers/JSSC99OCT-mohan.pdf.

38