Documente Academic
Documente Profesional
Documente Cultură
la zona central (core) y la corteza (shell). Tradicionalmente, al- conducta sea eficaz y constituyen la denominada ‘memoria de
gunos de estos núcleos se agrupan en subdivisiones como el trabajo u operativa’.
estriado (formado por el caudado, el putamen y el NAcb), e in- Los ganglios basales y el córtex prefrontal forman un siste-
cluso en áreas especializadas de esta última agrupación, como ma neuronal distribuido e implicado en tareas cognitivas que
el estriado dorsal (parte superior del caudado y el putamen) y el requieren de la selección de acciones en un contexto determina-
estriado ventral (parte inferior y medial del caudado y el puta- do [6]. Entre estas tareas encontraríamos tanto la planificación
men más el NAcb). Las neuronas espinosas medianas del estria- como el aprendizaje instrumental de habilidades motoras y de
do son el tipo de neurona más densamente cargada de espinas hábitos. En ambos casos se necesita de la evaluación de los
dendríticas de todo el cerebro, lo que las hace estar bien diseña- resultados de la acción y de las mejoras en la ejecución a través
das para integrar información procedente de diferentes fuentes. de procesos ensayo-error. Alexander et al [7] introdujeron el
La principal fuente de información aferente de los ganglios ba- concepto de ‘circuitos frontosubcorticales paralelos y segrega-
sales es el córtex frontal y los núcleos mesencefálicos dopami- dos’. Se trata de cinco circuitos que se inician en alguna de las
nérgicos. áreas de la corteza frontal y, tras realizar sucesivas sinapsis en
Junto con los ganglios basales hay una serie de estructuras en los ganglios basales y el tálamo, proyectan de vuelta a la corte-
estrecha relación funcional pero que forman parte del diencéfalo, za frontal [6]. De entre ellos destacamos el circuito orbitofron-
como el núcleo subtalámico, o del mesencéfalo, con el área teg- tal lateral-estriado ventral, región ventrocaudal del caudado que
mental ventral (ATV) y la sustancia negra en sus dos divisiones: tiene un papel en el aprendizaje asociativo instrumental y en la
parte compacta (SNc) y parte reticulada. El ATV y la SNc pro- flexibilidad de la conducta, y el circuito cingulado anterior ros-
yectan axones dopaminérgicos a diferentes puntos del estriado, tral-estriado ventral, NAcb que evaluaría la probabilidad de error.
de la amígdala o del córtex prefrontal formando las vías dopami- Los ganglios basales actuarían frenando o liberando la actividad
nérgicas nigroestriatales, mesolímbicas y mesocorticales. talámica y, de este modo, serían los árbitros de la actividad cor-
El córtex frontal se divide en áreas motoras (localizadas pos- tical seleccionando entre múltiples sistemas corticales que com-
teriormente) y áreas prefrontales o de asociación. El córtex mo- piten por una capacidad limitada de procesamiento [8]. La
tor está formado por las áreas motora primaria, premotora y dopamina (DA) actuaría como el interruptor que modula dicha
motora suplementaria (AMS), que posee una representación bi- selección.
lateral de todo el cuerpo, un área motora cingulada rostral Por otro lado, la amígdala es una estructura neural compues-
(AMCr) y dos áreas cinguladas caudales: una en el margen dor- ta por un grupo heterogéneo de núcleos, diferentes en su citoar-
sal y la otra en el margen ventral; en ellas sólo están representa- quitectura y en sus aferencias y eferencias, que se encuentra en el
das las extremidades. La lesión del AMS produce afasias y len- lóbulo temporal. En general, esta estructura se encarga del reco-
titud en la generación de movimientos repetitivos. Se activa du- nocimiento de estímulos emocionales, la iniciación de respuestas
rante la realización de secuencias complejas de movimientos y motoras y vegetativas como reacción a esos estímulos y la aso-
en movimientos autogenerados [5], especialmente en las transi- ciación entre estímulos y entre éstos y sus consecuencias, que
ciones entre un movimiento y otro, más que durante la ejecu- ayudarían a establecer el significado emocional de las diferentes
ción del movimiento y durante el aprendizaje de nuevas secuen- situaciones [9]. Los principales núcleos que la componen son el
cias motoras, función en la que también se implica la AMCr [5]. complejo lateral-basolateral, el basal, el central y el medial. Los
El córtex prefrontal comparte una composición citológica núcleos lateral-basolateral (ABL) reciben aferencias de diferen-
similar con el córtex motor y se divide en las regiones dorsolate- tes zonas: córtex sensorial primario, córtex de asociación, tálamo
ral (CPd) y orbitomedial (CPo). La CPd (a través de la corriente e hipocampo, y proyectan eferencias al estriado ventral y al tála-
dorsal) recibe aferencias corticales parietales y occipitales, así mo dorsomedial, el cual, a su vez, proyecta al córtex prefrontal.
como aferencias talámicas a través de la porción parvocelular La ABL también proyecta al núcleo central de la amígdala. El
del núcleo dorsomedial. La CPo medial recibe (a través de la co- núcleo central (AC) es el núcleo con mayor output descendente
rriente ventral) conexiones corticales del lóbulo temporal que (al hipotálamo, a la protuberancia y al bulbo raquídeo) por lo que
llegan a su zona más lateral y de las estructuras límbicas, las parece tener un papel principal en la expresión de las emociones.
cuales llegan a su parte más medial, así como aferencias talámi- También tiene proyecciones glutamatérgicas al mesencéfalo, en
cas desde la porción magnocelular del núcleo dorsomedial. La concreto al ATV, de manera que indirectamente estaría regulando
orbitofrontal se considera como una corteza de asociación lím- las aferencias dopaminérgicas al NAcb.
bica; su lesión produce, en general, una pérdida de control inhi-
bitorio sobre el medio y perseverancia conductual.
A partir de estudios neurofisiológicos y neuropsicológicos APRENDIZAJES ASOCIATIVOS
se ha observado que la corteza prefrontal es responsable de la Como Rescorla et al [10] han mencionado, el aprendizaje aso-
organización temporal de la conducta, es decir, de desarrollar la ciativo es la manera en la que los organismos aprenden acerca
secuencia de comportamientos ordenados en el tiempo que con- de las relaciones causales del mundo que los rodea. Las reglas
ducirán a la ejecución de un plan y a la consecución de un obje- del aprendizaje asociativo son el orden, la contigüidad temporal
tivo. Para ello, mediante un mecanismo de atención selectiva se y la contingencia. En general, es la asociación entre estímulos
mantienen activas unas áreas específicas de la corteza prefrontal (E) o entre E y respuestas (R).
y se inhiben otras de forma consecutiva hasta que se consigue el
objetivo. Este sistema se ha denominado ‘sistema atencional Condicionamiento clásico
anterior’ [6]. Las funciones de la corteza prefrontal son, pues, la Este tipo de aprendizaje fue originalmente descrito por Pavlov
combinación entre el mantenimiento de la actividad cortical [11]. Se trata de una forma de aprendizaje que implica una aso-
relacionada con los estímulos que demandan una tarea relevan- ciación entre dos estímulos. El emparejamiento contingente,
te y la actualización constante y selectiva; permiten que nuestra contiguo temporalmente y repetido de un estímulo incondicio-
Neuroanatomía funcional
Figura 1. Circuito neural propuesto para los aprendizajes pavlovianos.
del aprendizaje pavloviano
Este condicionamiento requiere de la actividad
de áreas cerebrales implicadas en la percepción de los estímulos, repita en el futuro y, por tanto, el refuerzo aumentará la probabi-
además de conexiones neurales localizadas en regiones cerebra- lidad de ocurrencia de cualquier respuesta instrumental que se
les tan diversas como la amígdala, el tálamo, el cerebelo o el tron- dé justo antes de que aparezca el reforzador.
co del encéfalo. La localización anatómica del aprendizaje emo- Así pues, el condicionamiento instrumental es una forma de
cional condicionado pavlovianamente se ha propuesto en la amíg- aprendizaje asociativo entre la realización de una conducta o R
dala. Para que se produzca este aprendizaje clásico tienen que que, operando sobre el ambiente, sirve como el instrumento
converger en el ABL las vías que transmiten la información del para la obtención de un Rf. Un Rf es un estímulo (o actividad)
EC con las que transmiten la información del EI [9] (Fig. 1). que incrementa la probabilidad de que se dé la R asociada a él y
Según LeDoux et al [13], los EI y los EC activan los núcleos tiene propiedades relevantes (motivadoras, mobilizadoras) para
geniculados mediales e intralaminares del tálamo (en el caso de el sujeto, ya sean éstas aversivas o apetitivas. En el caso de los
los EC sonoros) y la ABL. La información referente al EC (un Rf con propiedades apetitivas, la emisión de la R conlleva la
sonido) llega a la parte medial del núcleo geniculado medial del obtención del Rf (reforzamiento positivo). En el caso de que el
tálamo y la información sobre el EI (shock eléctrico) llega tanto a Rf sea un estímulo aversivo, la ejecución de la R hace que se
este núcleo como a la ABL. Los cambios sinápticos responsables evite la presentación del Rf (reforzamiento negativo). El condi-
del aprendizaje (que sigue el principio hebbiano) ocurren en am- cionamiento instrumental es un condicionamiento más flexible,
bas estructuras. Lesiones de estas estructuras, así como de la AC, permite que el individuo adapte su conducta en función de las
alteran las respuestas emocionales condicionadas [14]. La AC (con consecuencias de ésta.
sus proyecciones colinérgicas al córtex) facilita el establecimien- La adquisición de una conducta instrumental dirigida a una
to de circuitos neurales sensibles al EC y por sus eferencias des- meta (que es el Rf) implica dos formas de aprendizaje: el prime-
cendentes desempeña un importante papel en la organización de ro, aprender sobre las contingencias instrumentales entre R-Rf
patrones de respuestas emocionales conductuales, autonómicas y y el segundo, aprender el valor de incentivo del propio Rf. Por
endocrinas elicitadas por estímulos aversivos. ello, las funciones del condicionamiento instrumental serían el
fortalecimiento de conexiones en el aprendizaje y la capacidad
Condicionamiento instrumental de promover conducta, a la que denominamos ‘motivación’. En
Thorndike [15] fue el primero en proponer la denominada ‘ley algunos casos, la conducta instrumental también puede llegar a
del efecto’, que describe este tipo de aprendizaje. Estableció controlarse por un sistema de E-R que se independiza del Rf
que la asociación entre los estímulos ambientales presentes en (aprendizaje de hábitos) [17].
las cajas-problema y la respuesta de escape se vería fortalecida Las reglas generales para el establecimiento de un condicio-
por la obtención de consecuencias favorables (obtención de namiento instrumental son parecidas a las del condicionamiento
comida fuera de la caja). De esta forma, la obtención de comida clásico. En ambos se requiere contingencia y contigüidad tem-
promovería el almacenamiento en la memoria de la asociación poral entre los eventos que hay que asociar (en este caso, entre
entre los E y las R instrumentales. Asimismo, la concepción de R y Rf) y se requiere también adquisición gradual del aprendi-
aprendizaje instrumental de Skinner [16] también implica un zaje a través de la repetición, que permite que se consolide la
fortalecimiento pero, esta vez, de las relaciones entre la R y sus asociación. La retirada del Rf o la devaluación de éste producen
consecuencias. Skinner definió un reforzador (Rf) como una la progresiva extinción de la R instrumental. Las diferencias
consecuencia (estímulo o actividad) que, al seguir a la conducta más claras radican en que la RI, que más tarde se condiciona, en
instrumental, aumenta la probabilidad de que dicha conducta se el clásico es una respuesta automática (refleja), mientras que en
Transferencia pavloviana-instrumental
El condicionamiento pavloviano permite al organismo
predecir y prepararse para futuros eventos basándose en
la experiencia previa. Pero esta forma de aprendizaje
puede ir más allá del fortalecimiento de asociaciones en-
tre estímulos con una particular forma de R automática.
Dado que dicha R puede conllevar una consecuencia
positiva o negativa para el sujeto, todos aquellos estímu-
los asociados pavlovianamente (los EC) a la emisión de
la R también quedarán asociados a la consecuencia de la
emisión de ésta. Esta asociación llevará a que, en sucesi-
vas ocasiones, el sujeto, ante la presencia de los EC, ade-
más de realizar la R refleja, llevará a cabo respuestas
aproximatorias a éste en un intento por acercarse así a la
obtención del Rf y de las consecuencias emocionales que
éste produce. Así, estos EC se convierten en incentivos
que también son capaces de actuar como Rf secundarios
promoviendo la respuesta instrumental [23]. Este tipo de
conducta implica una transferencia de una asociación
pavloviana a otra instrumental [24], pero carece de la fle-
Figura 2. Circuito neural propuesto para los aprendizajes instrumentales. xibilidad de las conductas dirigidas a una meta como
serían las conductas puramente instrumentales. La res-
puesta emitida se ha denominado ‘respuesta pavloviana
el condicionamiento instrumental el organismo emite una res- de seguimiento del indicio’ y se ha estudiado a través de proce-
puesta voluntaria para conseguir un Rf. dimientos de automodelado [25,26]. En estos procedimientos se
evalúan la discriminación y el acercamiento del sujeto hacia un
Neuroanatomía funcional del aprendizaje instrumental EC (una palanca) por oposición a un segundo E que nunca se ha
El sustrato neural que se ha estudiado tradicionalmente en rela- asociado a un Rf. El EC generará una secuencia motora con
ción con el proceso de refuerzo se ha centrado en las estructuras direccionalidad (aproximarse a la consecución del Rf; por ejem-
que componen el haz prosencefálico medial, un conjunto de plo, olisqueando o caminando de un lado a otro en dirección a la
axones que, partiendo del mesencéfalo, proyectan a lo largo del palanca) que se traduce en un estado de arousal (conductual,
eje rostro-caudal hasta el prosencéfalo basal rostral. De ellos, se autonómico y neuroendocrino) [26].
ha enfatizado el grupo de neuronas dopaminérgicas que tienen
sus somas en los núcleos A9 y A10. Estas neuronas dan lugar a Neuroanatomía funcional de la
los sistemas mesolímbico (ATV-NAcb/amígdala/hipocampo, en- transferencia pavloviana-instrumental
tre otros), mesocortical (ATV-neocórtex prefrontal/ córtex cin- Las bases neuroanatómicas propuestas para este tipo de apren-
gulado/hipocampo) y nigroestriatal (SNc-neoestriado). En con- dizaje, en concreto para el automodelado, implican a redes neu-
creto, la proyección mesolímbica es la que más atención ha re- rales corticosubcorticales que incluyen el córtex cingulado an-
cibido cuando se tratan los aspectos motivacionales implicados terior, la parte central del NAcb, la AC y el sistema mesolímbi-
en las conductas reforzadas [18]. co de dopamina (Fig. 3).
Sin embargo, desde la perspectiva del aprendizaje, este foco Según Robbins et al [25], la corteza cingulada anterior ejer-
se ha ampliado más a la conexión entre estructuras corticoes- ce su papel a través de sus eferencias al estriado, concretamente
triadoamigdalinas. a la parte central del NAcb (las lesiones de la corteza del NAcb
En concreto, se han estudiado las interconexiones neurales en- o del estriado dorsal no impiden el desarrollo de este tipo de
tre el córtex prefrontal medial (área cingulada anterior), el NAcb condicionamiento). La AC también se ha implicado directamen-
y la ABL, que son básicamente glutamatérgicas y que reciben te en este proceso (no así la ABL, como ocurre con otros apren-
aferencias dopaminérgicas del ATV [19]. En el NAcb las afe- dizajes pavlovianos). La AC proyecta a los núcleos dopaminér-
rencias glutamatérgicas y dopaminérgicas convergen en las es- gicos del mesencéfalo (ATV y SNc) y regula de esta manera la
pinas de las neuronas espinosas medianas; por ello, este núcleo liberación de DA en el NAcb. Estos autores proponen que las
está en una posición privilegiada para reconocer los patrones de conexiones procedentes del cingulado anterior al NAcb central
activación producida por el contexto y para transferir esta infor- aportarían la direccionalidad a las respuestas aproximatorias en
mación a regiones motoras y de planificación que den lugar a los procesos asociativos pavlovianos [25]. Las proyecciones
una respuesta conductual adecuada [20]. Se ha sugerido que la desde la AC al ATV y desde ésta al NAcb regularían la activa-
transmisión dopaminérgica en el córtex prefrontal medial y en ción conductual que vigoriza las respuestas aproximatorias [18,
el NAcb es crucial para la adquisición de conductas instrumen- 25,27,28].
APRENDIZAJE MOTOR
Y DE DESTREZAS
La mayoría de conductas motoras en
los mamíferos superiores son conduc-
tas aprendidas, es decir, se adquieren y
perfeccionan con la práctica. Al inicio
constituyen movimientos voluntarios
conscientes y poco precisos pero, con
la práctica, se transforman en automá-
ticos, no conscientes y de gran perfec-
ción. El aprendizaje motor está impli-
cado en gran parte de los aprendizajes
asociativos instrumentales, aunque, en
muchos casos, en estos aprendizajes
la respuesta motora ha sido aprendida
previamente al condicionamiento (por
ejemplo, el animal ya sabe correr o ya
sabe meter la cabeza en un agujero, el
humano ya sabe apretar botones).
La conducta motora implica una
continua interacción entre conducta
automática y conducta voluntaria. Los
programas motores instintivos pueden
modificarse por las estrategias cogni-
tivas de los sujetos. Así pues, muchos
de los procedimientos motores en un
primer estadio de aprendizaje necesi- Figura 3. Circuito neural propuesto para la transferencia desde un aprendizaje pavloviano a un aprendi-
tan de la participación de la memoria zaje instrumental.
explícita. A medida que se modifica el
aprendizaje motor, deja de ser volun-
tario, se automatiza y se vuelve más implícito. La corteza pare- das, en las cuales la ejecución de una respuesta constituye la se-
ce controlar programas motores novedosos y que requieran fle- ñal para que se realice la respuesta siguiente [29]. También se
xibilidad. Por el contrario, las estructuras subcorticales contro- han observado diferencias entre las regiones del AMS [5]. La
lan los programas motores más ensayados y los hábitos motores parte anterior del AMS parece controlar la adquisición, mientras
que se ejecutan más rígidamente. Los estudios con técnicas de que la parte posterior está más activa durante la ejecución. Esto
neuroimagen confirman que, a medida que se va adquiriendo se ve apoyado en el hecho de que la parte posterior tiene cone-
una destreza motora, la actividad de áreas como los ganglios xiones directas con la corteza motora primaria [30] (Fig. 4).
basales o el cerebelo aumentan al tiempo que la actividad corti- El cerebelo está claramente implicado en aprendizajes de
cal disminuye [1]. respuestas motoras simples y condicionadas, como el reflejo
palpebral [1]. Su contribución al aprendizaje motor se realiza
Neuroanatomía funcional de los aprendizajes motores en paralelo a la de los ganglios basales. Ratones con una muta-
En el procesamiento de las asociaciones E-R intervienen, en un ción que produce degeneración progresiva olivocerebelar mues-
primer momento, las cortezas de asociación sensorial y, en último tran ataxia y deficiencias en el aprendizaje motor; sin embargo,
lugar, las cortezas de asociación motoras, pero la conexión entre su capacidad de aprendizaje motor no está totalmente deteriora-
ellas puede ser directa o indirecta. La conexión directa transcorti- da [31]. Estos mutantes mejoran cuando se les administran ago-
cal parece que participa en un primer momento del aprendizaje nistas dopaminérgicos. Ello sugiere que los ganglios basales
cuando utilizamos una serie de reglas explícitas para aprender la (que en estos animales son normales) permiten estas mejoras en
secuencia de acontecimientos motores, pero, a medida que los habilidades motoras que precisan de un aprendizaje gradual re-
movimientos se repiten y se vuelven más automáticos, las cone- petitivo.
xiones subcorticales con los ganglios basales y el tálamo son las Así pues, los ganglios basales y el cerebelo parecen ser crí-
que controlan la ejecución, de manera que ésta ya no requiere de ticos para el aprendizaje de habilidades sensoriomotoras. Los
un control consciente. Precisamente, ésta es una tarea que está ganglios basales se encargarían del aprendizaje de secuencias
deteriorada en los pacientes con Parkinson. Éstos son capaces de motoras repetitivas y el cerebelo de los aprendizajes en los que
andar pero deben hacer un gran esfuerzo consciente para iniciar y se formen nuevos mapas basándose en las asociaciones estable-
detener las secuencias de movimientos y necesitan un continuo cidas entre estímulos visuales y respuestas motoras [1]. Otra
control y una guía consciente de sus movimientos. diferencia en las funciones de ambos grupos de estructuras radi-
Los ganglios basales proyectan a núcleos concretos del tála- ca en que los ganglios basales intervienen en el aprendizaje de
mo y éste, a su vez, envía axones a diferentes áreas corticales habilidades que requieren efectuarse de acuerdo con un plan
motoras que participan en la planificación y la ejecución moto- inicial de los movimientos que hay que ejecutar, y en los que
ras: áreas premotora y AMS. La lesión del AMS no afecta a res- existe una demora en la retroalimentación sobre los posibles
puestas motoras simples, aunque sí a las secuencias autoinicia- errores efectuados. Por el contrario, el cerebelo estaría involu-
vincula principalmente a la aparición de estímulos ambientales que se reduce el repertorio conductual. Esto estaría en conso-
salientes más que a los reforzadores primarios [19,41]. nancia con los datos en los que la administración de antagonis-
El bloqueo de los receptores D2 mejora la adquisición del tas D2 impide la transferencia pavloviana-instrumental [33]. El
aprendizaje instrumental y el bloqueo de los receptores D1 im- animal lleva a cabo únicamente las conductas condicionadas
pide la adquisición del condicionamiento. Esto puede deberse pero no realiza toda la serie de respuestas de automodelado que
al papel predominantemente de autorreceptor de los D2. Sin em- se autoinician. La reducción del repertorio conductual se obser-
bargo, el bloqueo de ambos receptores cuando el condiciona- va también en los estudios en los cuales la realización de un
miento ya se ha establecido fuertemente no afecta a la expre- esfuerzo en tareas instrumentales previamente aprendidas (ta-
sión de la respuesta condicionada [48,49]. El único cambio que reas repetitivas pero que no tienen gran requerimiento físico) se
este bloqueo produce en la conducta de un animal que ya ha ve reducida por el antagonismo dopaminérgico en el NAcb,
aprendido la asociación es la reducción de respuestas condicio- aunque la operante se realiza cuando el animal no tiene elec-
nadas a estímulos autogenerados (no ambientales), de manera ción [18,27,28].
BIBLIOGRAFÍA
1. Morgado I. Psicobiología del aprendizaje y la memoria. Rev Neurol 25. Robbins TW, Everitt BJ. Limbic-striatal memory systems and drug
2005; 40: 289-97. addiction. Neurobiol Learn Mem 2002; 78: 625-36.
2. Mishkin M, Appenzeller T. Anatomía de la memoria. In Morgado I, ed. 26. Tomie A, Tirado AD, Yu L, Pohorecky LA. Pavlovian autoshaping pro-
Psicología fisiológica. Libros de investigación y ciencia. Barcelona: cedures increase plasma corticosterone and levels of norepinephrine
Prensa Científica; 1987. p. 110-21. and serotonin in prefrontal cortex in rats. Behav Brain Res 2004; 153:
3. Squire LR. Memory systems. C R Acad Sci III 1998; 321: 153-6. 97-105.
4. Schacter DL. Implicit expressions of memory in organic amnesia: 27. Salamone JD, Correa M, Mingote S, Weber SM. Nucleus accumbens
learning of new facts and associations. Hum Neurobiol 1987; 6: 107-18. dopamine and the regulation of effort in food-seeking behavior: impli-
5. Hikosaka O, Nakamura K, Sakai K, Nakahara H. Central mechanisms cations for studies of natural motivation, psychiatry, and drug abuse. J
of motor skill learning. Curr Opin Neurobiol 2002; 12: 217-22. Pharmacol Exp Ther 2003; 305: 1-8.
6. Català-Barceló J. Papel de los ganglios basales en la monitorización de 28. Salamone JD, Correa M, Mingote S, Weber SM. Beyond the reward
las funciones de los lóbulos frontales. Rev Neurol 2002; 34: 371-7. hypothesis: alternative functions of nucleus accumbens dopamine. Curr
7. Alexander GE, De Long MR, Strick PL. Parallel organization of func- Opin Pharmacol 2005; 5: 34-41.
tionally segregated circuits linking basal ganglia and cortex. Annu Rev 29. Thaler D, Chen Y, Ixon PD, Stern CE, Passingham RE. The functions
Neurosci 1986; 9: 357-81. of medial premotor cortex. I. Simple learned movements. Exp Brain
8. Redgrave P, Prescot TJ, Gurney K. The basal ganglia: a vertebrate Res 1995; 102: 445-60.
solution to the selection problem? Neuroscience 1999; 89: 1009-23. 30. Luppino G, Matelli M, Camarda R, Rizzolati G. Corticocortical con-
9. Torras M, Portell I, Morgado I. La amígdala: implicaciones funciona- nections of area F3 (SMA proper) and area F6 (pre-SMA) in the ma-
les. Rev Neurol 2001; 33: 471-6. caque monkey. J Comp Neurol 1993; 228: 114-40.
10. Rescorla RA, Wagner AR. A theory of pavlovian conditioning: varia- 31. Krizkova A, Vozeh F. Development of early motor learning and topical
tions in the effectiveness of reinforcement and non-reinforcement. In motor skill in a model of cerebellar degeneration. Behav Brain Res
Black AH, Prokasy WF, eds. Classical conditioning II: current research 2004; 150: 65-72.
and theory. New York: Appleton-Century-Crofs; 1972. 32. Dickinson A, Wood N, Smith JW. Alcohol seeking by rats: action or
11. Pavlov IP. Conditioned reflexes. London: Oxford University Press; 1927. habit? Q J Exp Psychol B 2002; 55: 331-48.
12. Millenson JR, Leslie J. The conditioned emotional response (CER) as 33. Dickinson A, Smith S, Mirenowicz J. Dissociation of pavlovian and
a baseline for the study of anti-anxiety drugs. Neuropharmacology 1974; instrumental incentive learning under dopamine antagonists. Behav
13: 1-9. Neurosci 2000; 114: 468-83.
13. LeDoux JE, Sakaguchi A, Iwata J, Reis DJ. Interruption of projections 34. Kelley AE. Memory and addiction: shared neural circuitry and mole-
from the medial geniculate body to an archi-neostriatal field disrupts cular mechanisms. Neuron 2004; 44: 161-79.
the classical conditioning of emotional responses to acoustic stimuli. 35. Miles FJ, Everitt BJ, Dickinson A. Oral cocaine seeking by rats: action
Neuroscience 1986; 17: 615-27. or habit? Behav Neurosci 2003; 117: 927-38.
14. McGaugh JL, Vadarjanova A. Basolateral amygdala is not critical for 36. McFarlnad K, Ettenberg A. Haloperidol does not attenuate conditioned
cognitive memory of contextual fear conditioning. Proc Natl Acad Sci place preference or locomotor activation produced by food-or heroin-pre-
U S A 1998; 95: 15003-7. dictive discriminative cues. Pharmacol Biochem Behav 1999; 4: 631-41.
15. Thorndike EL. Animal intelligence. New York: McMillan; 1911. 37. Tzschentke TM. Measuring reward with the conditioned place prefer-
16. Skinner BF. The behavior of organisms: an experimental analysis. New ence paradigm: a comprehensive review of drug effects, recent progress
York: Appleton-Century; 1938. and issues. Prog Neurobiol 1998; 56: 613-72.
17. Balleine BW, Dickinson A. Goal-directed instrumental action: contin- 38. Everitt BJ, Dickinson A, Robbins TW. The neuropsychological basis
gency and incentive learning and their cortical substrates. Neurophar- of addictive behavior. Brain Res Brain Res Rev 2001; 36: 129-38.
macology 1998; 37: 407-19. 39. Volkow ND, Fowler JS, Wang G, Goldstein RZ. Role of dopamine, the
18. Salamone JD, Correa M. Motivational views of reinforcement: impli- frontal cortex and memory circuits in drug addiction: insights from
cations for understanding the behavioral functions of nucleus accum- imaging studies. Neurobiol Learn Mem 2002; 78: 610-24.
bens dopamine. Behav Brain Res 2002; 137: 3-25. 40. Schneider JS. Functions of the basal ganglia: an overview. In Schnei-
19. Baldwin AE, Sadeghian K, Kelley AE. Appetitive instrumental learn- der JS, Lidsky TI, eds. Basal ganglia and behavior: sensory aspects of
ing require coincident activation of NMDA and dopamine D1 recep- motor functioning. Lewiston: Hans Huber Publishers; 1987. p. 1-8.
tors within the medial prefrontal cortex. J Neurosci 2002; 22: 1063-71. 41. Horvitz JC. Mesolimbocortical and nigrostriatal dopamine responses
20. Houk JC, Adams JL, Barto AG. A model of how the basal ganglia gen- to salient non-reward events. Neuroscience 2000; 96: 651-6.
erate and use neural signals that predict reinforcement. In Houk JC, 42. Wilkinson LS, Humby T, Killcross AS, Torres EM, Everitt BJ, Robbins
Davis JL, Beiser DG, eds. Models of information processing in the TW. Dissociations in dopamine release in medial prefrontal cortex and
basal ganglia. Cambridge: MIT Press; 1995. ventral striatum during the acquisition and extinction of classical aver-
21. Sawaguchi T, Goldman-Rakic PS. D1 dopamine receptors in prefrontal sive conditioning in the rat. Eur J Neurosci 1998; 10: 1019-26.
cortex: involvement in working memory. Science 1991; 251: 947-50. 43. Chiodo LA, Bannon MJ, Grace AA, Roth RH, Bunney BS. Evidence
22. Salamone JD. The involvement of nucleus accumbens dopamine in for the absence of impulse-regulating of somatodendritic and synthe-
appetitive and aversive motivation. Behav Brain Res 1994; 61: 117-33. sis-modulating nerve terminal autoreceptors on subpopulations of meso-
23. Di Chiara G. Nucleus accumbens shell and core dopamine: differential cortical dopamine neurons. Neuroscience 1984; 12: 1-16.
role in behavior and addiction. Behav Brain Res 2002; 137: 75-114. 44. Braun AR, Laruelle M, Mouradian MM. Interactions between D1 and
24. Ettenberg A. Haloperidol prevents the reinstatement o amphetamine- D2 dopamine receptor family agonists and antagonists: the effects of
rewarded runway responding in rats. Pharmacol Biochem Behav 1990; chronic exposure on behavior and receptor binding in rats and their
36: 635-8. clinical implications. J Neural Transm 1997; 104: 341-62.
45. Liao RM, Fowler SC, Kallman MJ. Quantifying operant behavior guishing whether dopamine regulates liking, wanting, and/or learning
deficits in rats with bilateral 6-hydroxydopamine lesions of the ventro- about rewards. Behav Neurosci 2005; 119: 5-15.
lateral striatum. Chin J Physiol 1997; 40: 71-8. 48. Eyny YS, Horvitz JC. Opposing roles of D1 and D2 receptors in appet-
46. Gibbs SE, D’Esposito M. Individual capacity differences predict work- itive conditioning. J Neurosci 2003; 23: 1584-7.
ing memory performance and prefrontal activity following dopamine 49. Horvitz JC. The effects of D1 and D2 receptor blockade on the acqui-
receptor stimulation. Cogn Affect Behav Neurosci 2005; 5: 212-21. sition and expression of a conditioned appetitive response. Appetite
47. Robinson S, Sandstrom SM, Denenberg VH, Palmiter RD. Distin- 2001; 37: 119-20.