Documente Academic
Documente Profesional
Documente Cultură
De la Extracción al
Modelado de Conocimiento
J. T. Palma, E. Paniagua, F. Martı́n y R. Marı́n
Dpto. Ingenierı́a de la Información y las Comunicaciones
Universidad de Murcia
Facultad de Informática. Campus de Espinardo
{jpalma,paniagua,fmartin,roque}@dif.um.es
Resumen
En el presente trabajo se intentará dar una visión general del estado actual en el que se encuentra
la disciplina Ingenierı́a del Conocimiento. Para comprender la situación actual de esta disciplina es
imprescindible un análisis de su evolución histórica, analizando cada uno de los paradigmas en los que
se ha ido basando. Este análisis nos permitirá analizar las causas que dieron lugar a la crisis que se
produjo en esta disciplina y cuáles fueron las medidas que se articularon para salvarla. Se concluirá el
trabajo con una revisión de las metodologı́as más utilizadas ası́ como análisis del presente y futuro de la
Ingenierı́a del Conocimiento
Inteligencia Artificial. Revista Revista Iberoamericana de Inteligencia Artificial. No.11 (2000), pp. 46-72.
(ISSN: 1137-3601).
AEPIA
c (http://aepia.dsic.upv.es/).
La aplicación de una aproximación sistemática, Un punto que merece la pena aclarar ahora es
disciplinada y cuantificable al desarrollo, fun- el significado del concepto metodologı́a. A lo
cionamiento y mantenimiento del software; en largo de este trabajo, entenderemos por meto-
otras palabras, la aplicación de la ingenierı́a al dologı́a un conjunto de métodos y prácticas que
software [IEEE, 1999]. permiten desarrollar de una manera efectiva to-
das aquellas tareas que están implicadas en el
Esta definición ya nos puede ayudar algo, ya diseño, producción, mantenimiento y extensión
que nos da la visión de que el concepto de in- de un determinado producto, que en nuestro
genierı́a aplicado a las ciencias de computación caso es un SBC. Por lo tanto, una metodologı́a
(o más ampliamente la visión ingenieril de la indica cómo se deben desarrollar las tareas de-
informática) va encaminada hacia la sistemati- finidas de acuerdo a un determinado ciclo de
zación del desarrollo de software. Sin embar- vida. Esta última afirmación es de vital impor-
go, todavı́a no estamos en disposición de res- tancia por cuanto implica que una metodologı́a
ponder a la pregunta que nos planteábamos al necesita de la existencia de un ciclo de vida, y
principio. Si establecemos un pequeño parale- que además supone el punto de apoyo sobre el
lismo entre la IS y la IC, podrı́amos llegar a que se define.
deducir que si en la IS el elemento central es
el software, en la IC el elemento central debe Como se puede apreciar, la IC y la IS son disci-
ser el ’software con conocimiento’. Pero ¿qué plinas completamente paralelas, aunque presen-
podrı́amos entender por ’software con conoci- ten un desfase temporal de unos 10 años. Mu-
miento’ ?. Una rápida consulta nos lleva al chas de las técnicas de IS han sido adapatadas a
término sistema experto o sistema basado en la IC con relativo éxito, aunque queda todavı́a
conocimiento (SBC en adelante), que se pue- mucho camino por recorrer. Sin embargo, no
de definir como: ”un sistema software capaz se debe pensar en la IC como la piedra filoso-
de soportar la representación explı́cita del co- fal que nos permitirá solucionar el desarrollo de
nocimiento de un dominio especı́fico y de ex- aplicaciones para problemas mal estructurados
plotarlo a través de los mecanismos apropia- y cuya definición no es completa, más bien la
dos de razonamiento para proporcionar un com- debemos considerar como una herramienta que
portamiento de alto nivel en la resolución de nos permitirá aislar y delimitar las partes del
problemas”[Guida and Tasso, 1994]. En otras problema que provocan esa indefinición y como
palabras los SBC tratan con problemas po- abordar su desarrollo. A pesar de esta, en prin-
co estructurados en los que nos podemos en- cipio, limitación, la IC tiene que ser analizada
contrar requisitos subjetivos, entradas incon- desde una perspectiva más amplia, ya que em-
sistente, incompletas o con incertidumbre y pieza a ser utilizadas en otras disciplinas que
que no pueden ser resueltos aplicando los al- en la actualidad están adquiriendo una enorme
goritmos clásicos o la investigación operativa importancia, como por ejemplo la Gestión del
[Alonso et al., 1995]. Conocimiento.
De esta forma podemos establecer que el obje- A continuación, y para hacernos una idea de
tivo de la IC es el mismo que el de la IS y que cuáles fueron las causas que originaron la nece-
no es más que el de transformar el proceso de sidad de establecer la IC como una disciplina,
desarrollo de SBC de un arte a un disciplina in- haremos una revisión histórica en la que podre-
genieril. Una vez que hemos llegado a este nivel, mos apreciar cómo ha evolucionado esta disci-
ya estamos en condiciones de dar una respuesta plina desde sus inicios hasta nuestros dı́as.
a la pregunta objeto de esta sección:
del conocimiento era una tarea comple- las causas principales de esta dificultad radican
ja al estar éste desperdigado sobre la ba- en los siguientes problemas:
se de reglas. Por otro lado, la dispersión
del conocimiento provocaba que la exten-
sión de la base de conocimiento (median- 1. El problema del conocimiento tácito.
te la adición de nuevas reglas) resultara Aunque no se sabe exactamente como
compleja, sobre todo a la luz del traba- el conocimiento tácito es codificado psi-
jo de [Heckerman and Horovitz, 1986] que cológicamente en la memoria humana, se
demostraron que la independencia y mo- da por hecho que la resolución de proble-
dularidad de un conjunto de reglas de una mas por parte de los expertos involucra el
base de conocimiento no era tan evidente, uso de este tipo de conocimiento. Por lo
ya que la adición de reglas podı́an produ- tanto, no es de extrañar que el conocimien-
cir interacciones negativas con el resto de to tácito sea el objeto de estudio de la ad-
las reglas, degradando de esta forma la efi- quisición de conocimiento. Además, a me-
ciencia del sistema. dida que las personas se vuelven más ex-
perimentadas en su área de conocimiento
y aplican repetidamente su conocimiento
declarativo a determinadas tareas, éste se
4 El Cuello de Botella de vuelve tácito, perdiendo de esta forma con-
ciencia de lo que realmente saben. Conse-
la Adquisición de Conoci- cuentemente, el conocimiento que es más
miento idóneo para su incorporación a un SBC,
y por lo tanto el objeto de la adquisición
de conocimiento, es el tipo de conocimiento
Como ya mencionamos en el apartado ante- sobre el qué los expertos tienen menos con-
rior el término cuello de botella de la adquisi- ciencia, con lo cual su adquisición se hace
ción de conocimiento fue acuñado por Bucha- una tarea bastante compleja.
nan [Buchanan et al., 1983] y se utilizó para ha-
cer referencia al hecho de que la adquisición de 2. El problema de la comunicación. Es-
conocimiento es el punto que plantea una ma- te problema radica en que los expertos en
yor dificultad a la hora de crear una base de una determinada área de aplicación y los
conocimiento. En [Musen, 1993] se enumeran ingenieros del conocimiento no utilizan el
mismo lenguaje para comunicarse. Como evidenciaba el hecho de que se habı́a llegado a
se afirma en [Musen, 1993], para poder re- un punto en el que el tamaño de los problemas
presentar el conocimiento relevante en un que se intentaban abordar requerı́a de unas me-
determinado tema, el ingeniero del conoci- todologı́as de desarrollo más elaboradas de lo
miento se debe familiarizar con el domino que existı́an en esos momentos.
de la aplicación, debe de aprender el vo-
cabulario utilizado en dicha área, y quizás,
una nueva forma de ver los problemas. Por
lo tanto, el ingeniero del conocimiento de-
5 El Nivel de Conocimiento
be esforzarse en comprender el área sobre
la que el experto va a hablar, o puede no Aunque la crisis de la ingenierı́a del conocimien-
entender lo que el experto trata de comu- to era palpable, pocos esfuerzos se realizaron
nicar. Por otro lado, el problema de la co- para determinar cuál eran las causas principa-
municación no solo recae en la falta de co- les de dicha crisis. Fue Newell [Newell, 1982] el
nocimiento sobre el dominio que posee el primero que analizó en profundidad este pro-
ingeniero del conocimiento, sino que tam- blema. Para Newell el principal problema que
bién se debe al hecho de que el experto, en habı́a que abordar era el establecimiento de la
la mayor parte de los casos, carece de cono- diferencia que existe entre lo que entendemos
cimientos de programación, y por lo tanto, por conocimiento y su representación, diferen-
no sabe qué conocimiento es el es idóneo cias que en ese momento no estaban claras. El
para ser codificado en el ordenador. origen de este problema se debı́a al hecho de
que al ser el nivel simbólico el nivel más alto en
3. El problema de utilizar representa- la jerarquı́a, tanto el conocimiento como su re-
ciones del conocimiento. Además de presentación se colocaban en dicho nivel, y por
las barreras lingüı́sticas y cognitivas, otro lo tanto, no se podı́an diferenciar de una forma
componente adicional al cuello de botella clara. Para resolver el problema, Newell pro-
de la adquisición del conocimiento radi- pone la existencia de un nivel adicional al que
ca en el lenguaje elegido para la codifica- le da el nombre de nivel de conocimiento. Este
ción del mismo, ya que los lenguajes usa- nuevo nivel hay que considerarlo realmente co-
dos para codificar el conocimiento carecen mo un nivel y como veremos nos va a ayudar
generalmente de la suficiente potencia ex- a distinguir entre lo que es conocimiento y su
presiva. En [McCarthy and Hayes, 1969] representación.
se introdujo el término adecuación episte-
mológica como la habilidad de un forma- En una rápida aproximación al nivel de conoci-
lismo de representación del conocimiento miento, podemos decir que:
para expresar los hechos que una persona
conoce sobre algún aspecto del mundo re-
al. Este aspecto es bastante importante ya • El sistema en este nivel es un agente.
que hay experimentos que demuestran que • Sus componentes son los objetivos, accio-
la forma en la que es modelado el cono- nes y cuerpos.
cimiento del experto, depende fuertemen-
te del lenguaje de representación utilizado. • El medio lo constituye el conocimiento.
Por lo tanto, las primitivas ofrecidas por Por lo tanto, el agente procesará el conoci-
las herramientas de construcción de SBC miento que tiene para determinar que ac-
tiene una influencia bastante fuerte la for- ciones tiene que tomar.
ma en el que el conocimiento sobre el do- • La ley de comportamiento está determina-
minio es adquirido. da por el principio de racionalidad: las ac-
ciones son seleccionadas para alcanzar los
objetivos, es decir, el agente selecciona las
Estos problemas se hicieron cada vez más evi-
acciones que sabe que le llevan a cubrir los
dentes a medida que se intentaba abordar la
objetivos.
construcción de SBC más complejos, dando lu-
gar a que las funcionalidades esperadas no se
cumplieran y que tampoco se cumplieran con Por lo tanto, al definir un sistema en el nivel
los plazos establecidos para el desarrollo. Esto de conocimiento lo estamos tratando como si
poseyera conocimiento y objetivos, además de el entorno puede ser lo complejo que se quiera,
suponer que hará todo lo posible para alcan- su complejidad no queda reflejada en el sistema
zar dichos objetivos, en la medida en que su descrito en el nivel de conocimiento, ya que es-
conocimiento se lo permita. En la jerarquı́a de te último sólo puede evocar el comportamiento
niveles, el nivel de conocimiento se sitúa sobre del sistema.
el nivel simbólico, con lo que sus componentes
(acciones, objetivos y cuerpos) y medio (cono- Otro de los elementos que se encuentran en es-
cimiento) pueden ser definidos en términos de te nivel es el cuerpo de conocimiento, que es
dicho nivel. La definición estructural de este como una memoria que contiene todo lo que el
nuevo nivel es bastante simple, ya que sólo po- agente sabe en un determinado instante. Como
demos decir que está formado de cuerpos de se puede deducir, el conocimiento es añadido a
conocimiento, objetivos y acciones, y que estos esta memoria por medio de la ejecución de las
están de alguna forma conectados en el sentido acciones. Aunque de algún modo este cuerpo
de que todos los componentes son tenidos en de conocimiento se comporta como una memo-
cuenta en la selección las acciones que hay que ria, no tiene ninguna similitud estructural con
tomar. el concepto de memoria utilizado en los niveles
inferiores. Finalmente se puede decir que un
Hasta la aparición de este nuevo nivel, se con- agente posee un conjunto de objetivos. Un ob-
sideraba que el nivel simbólico estaba divido en jetivo es una parte diferenciada del cuerpo del
dos subniveles: uno que era propiamente el ni- conocimiento que define un determinado esta-
vel simbólico y otro que corresponde al nivel de do del entorno. Esta diferenciación del resto
conocimiento, pero la descripción de sistemas del cuerpo del conocimiento les permite desa-
que manifiestan un comportamiento inteligen- rrollar un papel distinto en el comportamiento
te necesita que estos dos niveles sean tratados que presenta el agente, describiendo de alguna
por separado. La existencia de este nivel queda forma las intenciones del mismo.
reflejada en la siguiente hipótesis:
Un hecho importante que se puede deducir es
Hipótesis del Nivel de Conocimiento. que en este nivel no existe ninguna ley de com-
Existe un nivel adicional en los sistemas com- posición, a diferencia de los niveles inferiores
putacionales, que está situado justo encima de en los que diferentes leyes de composición defi-
nivel simbólico, que está caracterizado por te- nen sistemas con distinto comportamiento. Es-
ner el conocimiento como medio y el principio ta ausencia de estructura es la clave del nivel
de racionalidad como ley del comportamiento. de conocimiento, en el sentido de que el com-
portamiento del sistema se define en términos
Para describir este nuevo nivel de forma de lo que el agente sabe, y no en la forma de
autónoma, es decir, sin hacer referencia algu- ensamblar sus componentes. Por lo tanto, po-
na a los niveles inferiores, se deben de tratar demos decir que la estructura interna del sis-
los siguientes aspectos: la estructura del nivel, tema se define de una forma en la que no se
constituida por sus componentes y las leyes de tiene que conocer nada sobre ella para predecir
composición, las leyes de comportamiento que el comportamiento del mismo, el cuál sólo de-
lo rige, y por último del medio, el conocimiento. pende de lo que sabe el agente, lo que quiere y
de los medios que tiene para interaccionar con
el entorno. Como se verá más adelante, este
5.1 La Estructura del Nivel de
servirá como punto de partida de la idea de la
Conocimiento reutilización del conocimiento, es decir, la po-
sibilidad de definir componentes genéricos de
El agente, es decir, el sistema definido en el ni- conocimiento que puedan ser aplicables a dis-
vel del conocimiento, tiene una estructura muy tintos problemas se puede interpretar como la
simple. En una primera aproximación pode- utilización del mismo nivel de conocimiento pa-
mos decir que un agente está compuesto de un ra distintas instancias de los niveles inferiores.
cuerpo fı́sico, que le permite interaccionar con
el entorno. Este cuerpo fı́sico está formado por
un conjunto de acciones a través de las cua-
les se puede realizar dicha interacción. Aunque
el cuerpo fı́sico que permite la interacción con
5.2 El principio de Racionalidad miento no puede ser descrito en términos de los
distintos estados en los que pueden encontrarse
Bajo este nombre se esconde la ley que rige sus estructuras fı́sicas. Esta caracterı́stica di-
el comportamiento de un agente y que permi- ferenciadora le da al conocimiento un aspecto
te la predicción de su comportamiento. Este abstracto, con lo que no puede ser explicitado
principio puede ser formulado en los siguientes con la claridad que lo son el resto de los me-
términos: dios de los niveles inferiores. Sólo puede ser
imaginado como resultado de los procesos in-
Principio de racionalidad. Si un agente tie- terpretativos que operan en el nivel simbólico.
ne conocimiento de que una de sus acciones Por lo tanto, no lo podemos considerar como un
puede llevarle a la consecución de uno de sus conjunto de expresiones simbólicas con una or-
objetivos, entonces el agente seleccionará dicha ganización estática, hay que considerarlo como
acción. compuesto de procesos y estructuras de datos.
Como se puede observar este principio estable- Esta visión del conocimiento puede considerarse
ce la conexión del conocimiento y los objetivos como la constatación de la existencia del cue-
con el proceso de selección de acciones, sin es- llo de botella de la adquisición de conocimiento
pecificar el mecanismo por el que se lleva a cabo en el proceso de desarrollo de un SBC. El he-
dicha conexión. Esta caracterı́stica también es cho de que sea una entidad abstracta y difı́cil
distintiva respecto al resto de niveles. En los de detectar, nos puede ayudar a comprender lo
demás niveles, el comportamiento queda deter- difı́cil del proceso de extracción de conocimien-
minado por la forma en que son procesados los to. Si además, a esto le unimos la situación que
componentes. En el nivel de conocimiento el existı́a antes del trabajo de Newell, en la que
principio de racionalidad nos define la conexión el nivel de conocimiento se consideraba parte
entre las acciones y los objetivos de acuerdo con del nivel simbólico, el proceso de construcción
el conocimiento que posee el agente. de un SBC se convertı́a en un intento de su-
perar dos barreras: por un lado la dificultad
de la detección del conocimiento, y por el otro,
5.3 La Naturaleza del Conoci- el intento de implementarlo directamente en el
miento nivel simbólico, que como dijo Newell, sólo per-
mite reflejar un conjunto bastante reducido de
En las secciones anteriores quedó claro que el la variedad de todos los posibles comportamien-
medio utilizado en el nivel de conocimiento es el tos, resultado de intentar representar un com-
propio conocimiento, es decir, algo que es pro- portamiento indeterminista mediante estructu-
cesado según el principio de racionalidad. En ras deterministas. Newell nos indica que este
una definición más formal, podemos decir: problema puede ser resuelto representando el
conocimiento en un nivel superior, el nivel de
Conocimiento. Cualquier cosa que puede ser conocimiento.
adscrita a un agente y que su comportamiento
se puede computar según el principio de racio-
nalidad.
6 KLIC
El conocimiento puede ser descrito totalmen-
te en términos funcionales (qué hace), o en
términos estructurales (una serie de objetos que KLIC (KBS life cycle o Ciclo de Vida pa-
poseen determinadas propiedades y relaciones). ra SBC) fue presentada por Guida y Tasso
Sin embargo, hay que tener en cuenta que el pa- [Guida and Tasso, 1994]. Supuso el primer in-
pel que juega el conocimiento no puede ser cu- tento serio en el planteamiento de una metodo-
bierto directamente por una estructura fı́sica, logı́a para le desarrollo de SBC, ya que no solo
sino que se cubre aproximadamente e indirec- se le da importancia al propio proceso de des-
tamente por distintos sistemas simbólicos. arrollo sino que también se presta mucha aten-
ción a los productos generados en cada una de
Un aspecto diferenciador del conocimiento res- los procesos. Básicamente, en el nivel más alto
pecto a los medios que podemos encontrar en el de abstracción el ciclo de vida propuesto está
resto de los niveles, es el hecho de que el conoci- compuesto de una serie de fases que se corres-
ponden con los procesos principales del ciclo de se resume las actividades realizadas y los
vida: diseño, producción y mantenimiento. Ca- resultados alcanzados.
da una de estas fases se descompone en una se-
rie de tareas. El modelo planteado es una mez- Fase-3. Desarrollo del Prototipo. El obje-
cla entre un modelo ciclo de vida en cascada, tivo de esta fase es la de encontrar la solu-
las fases se ejecutan en un orden estrictamente ción técnica más apropiada para la aplica-
secuencial y un modelo en espiral, ya que la eje- ción considerada y en base a esta, construir
cución de las tareas puede implicar estructuras el SBC objeto del proyecto. Los productos
de control de tipo bucle, además de estructuras generados en esta fase son: el prototipo,
condicionales, de selección y de ejecución para- que es un SBC que de alguna forma cum-
lela. pla con todas las especificaciones funcio-
nales, el conjunto de herramientas de des-
KLIC se organiza en 6 fases que se agrupan en arrollo que han servido de ayuda para la
tres macrofases que se corresponden con los pro- construcción de la Base de Conocimiento
cesos de análisis, desarrollo y mantenimiento: y el informe sobre el prototipo, en el que se
recogen un resumen de las actividades des-
arrolladas y los resultados alcanzados. Sin
Fase-0. Análisis de Posibilidades. En esta embargo, un hecho bastante importante es
fase se indentifican qué áreas de la organi- que los autores proponen un desarrollo in-
zación bajo estudio se podrı́an beneficiar cremental para el prototipo. De esta forma
del desarrollo de un SBC y se clasifican vemos como en un ciclo de vida en cascada
de acuerdo a su importancia estratégica y se intercalan fases basadas en un ciclo de
táctica, beneficios esperados, costes y com- vida en espiral.
plejidad técnica. El producto que se genera
en esta fase es el informe sobre el análisis Fase-4. Implementación, Instalación y
de posibilidades, que entre otras cosas in- Entrega del Producto Final. Aquı́ el
cluye un plan maestro para la organización objetivo es el desarrollo del SBC completo,
para que esta se beneficie del uso de las tec- el cual tiene que tener el mismo compor-
nologı́as basadas en el conocimiento. tamiento que el prototipo pero tiene que
estar instalado en un entorno real de ope-
Fase-1. Análisis de Viabilidad. En esta fa- ración, verificado con datos reales y, even-
se se analiza el dominio de aplicación (po- tualmente, entregado a los usuarios para
siblemente sugerido por el plan maestro) y que lo exploten. Los productos de esta fase
se identifica el problema que hay que resol- son: el Sistema final, el Sistema de sopor-
ver. A partir de aquı́, se analizan los requi- te para el mantenimiento, los manuales de
sitos, se definen los objetivos del proyecto usuario, técnicos y de mantenimiento y el
y se describen las especificaciones funcio- Informe sobre el Sistema Final.
nales, técnicas y el criterio de aceptabili-
dad. El producto generado en esta fase Fase-5. Mantenimiento y Extensión. Es-
es el Informe sobre el análisis de la viabi- ta fase comienza una vez que el producto
lidad que además de la información ante- final (el SBC desarrollado) es entregado a
riormente comentada, incluye las primeras los usuarios finales para su utilización y se
versiones del diseño técnico, el diseño de la extiende durante el resto del ciclo de vida
organización y del plan del proyecto. del SBC. En ella se monitoriza la vida ope-
racional del SBC, se realizan intervencio-
Fase-2. Construcción del Demostrador. nes correctivas, intervenciones adaptativas
El principal objetivo de esta fase es la cons- y se realiza un mantenimiento proactivo y
trucción de una primera versión y muy li- evolutivo. Los productos de esta fase son:
mitada del SBC. Esta primera versión nos las nuevas versiones del SBC, ası́ como los
permitirá entre otras cosas: validar, refi- manuales actualizados, y la historia de mo-
nar y reconsidear las decisiones técnicas y dificaciones del SBC.
el plan del proyecto realizados en la Fase
1, y refinar el análisis de requisitos una vez
consultados los usuarios finales. Los pro- Como podemos apreciar, el trabajo de Guida y
ductos de esta fase son el Demostrador y Taso supone una de las primeras aproximacio-
el informe sobre el demostrador en el que nes serias hacia una metodologı́a para el des-
arrollo de SBC. La base de este trabajo reside llevado al planteamiento de metodologı́as para
en el intento de adaptar los resultados alcan- el desarrollo de SBC: la idea de limitar los pape-
zados en la Ingenierı́a del Software al campo les (roles) que puede jugar el conocimiento den-
de la Ingenierı́a del Conocimiento que en esos tro de un determinado dominio y los conceptos
momentos empezaba ha adquirir un auge im- de tareas y métodos genéricos como elementos
portante. Aunque en lı́neas generales KLIC se constitutivos de los SBC.
basa en el modelo de ciclo de vida en cascada
clásico, deja sentadas las bases sobre las que
se construirán las nuevas metodologı́as: (1) se 7.1 Métodos de Limitación de
considera el proceso de desarrollo de SBC una
tarea compleja y distinta a la del desarrollo de
Roles
sistemas software tradicionales, y se adopta el
ciclo de vida en espiral como el más adecuado Los métodos con limitación de roles (MLR, en
para esta fase; y (2) el análisis la viabilidad del adelante) [McDermott, 1988] se pueden consi-
proyecto abarca un espectro más amplio que en derar como uno de los primeros intentos de ex-
la Ingenierı́a del Software, requiriendo un estu- plotar la reutilización de los métodos de resolu-
dio mucho más profundo del entorno organiza- ción de problemas en el desarrollo de los SBC.
cional en el que se desarrolla. Como veremos McDermott puso de manifiesto que todos los
en los siguientes párrafos, estos aspectos serán SBC desarrollados hasta la fecha de su traba-
comunes a las nuevas metodologı́as basadas en jo se caracterizaban por tener un conocimien-
el paradigma del modelado del conocimiento. to de control, es decir, un motor de inferencia
o método de resolución de problema utilizado
(MRP, en adelante) bastante sencillo. Esta sim-
plicidad del conocimiento de control aportaba
7 Los Primeros Pasos hacia la flexibilidad suficiente para que éste pudiese
las Técnicas de Modelado ser aplicado a gran cantidad de tareas de dis-
tinta naturaleza. Sin embargo, esta flexibilidad
obligaba a que parte del conocimiento de con-
En la sección anterior quedó claro que an- trol necesario para llevar a cabo tareas concre-
tes de la aparición del trabajo de Newe- tas se codificara junto con la base de conoci-
ll [Newell, 1982] la discusión en el desarro- miento, con lo que la selección y secuencia de
llo de SBC se realizaba en términos del nivel acciones que se llevaba a cabo dependı́a del do-
simbólico, con lo que el debate no se centra- minio de la aplicación. Obviamente, esta falta
ba en la relación entre las tareas y el tipo de de distinción entre el control y el conocimiento
conocimiento que necesitan. Para centrar la especı́fico de la aplicación conllevaba problemas
discusión en dichos términos, se plantea que el de mantenimiento en las aplicaciones desarro-
análisis de los SBC se haga de manera inde- lladas.
pendiente a la implementación. Como el lector,
puede suponer esta proposición desemboca en Otro problema que surgı́a al utilizar MRP que
el nuevo paradigma de la Ingenierı́a del Conoci- obligaban a añadir el conocimiento de control
miento basado en el modelado del conocimien- especı́fico de la tarea, al mismo tiempo que se
to. Pero como veremos, el camino que se tuvo construı́a la base de conocimiento, es que no se
que recorrer desde que se reconociera la exis- proporcionaba ninguna guı́a sobre qué tipo de
tencia del nivel de conocimiento a la aparición conocimiento deberı́a ser adquirido y cómo éste
de las primeras metodologı́as no fue un camino deberı́a ser codificado. Esto era debido a que
sencillo, sino más bien un proceso en el que se los requisitos necesarios sobre el conocimiento
fueron refinando una serie de ideas que fueron especı́fico de la tarea no se podı́an establecer
surgiendo. Por esto, creemos que es importan- hasta que no se conociese el conocimiento de
te comentar dos trabajos que la mayor parte control adicional que se necesitaba, y por su-
de los autores los sitúan en el puente entre las puesto, esto no se podı́a deducir de la definición
metodologı́as modernas y el trabajo de Newell. del MRP.
Se trata de los métodos de limitación de roles
y las tareas genéricas, trabajos que se pueden Para resolver estos problemas, McDermott pro-
considerar paralelos y que ponen de manifiesto puso analizar los MRP utilizados en distintas
dos de los aspectos más importantes que han aplicaciones y redefinirlos llevando hasta sus
últimas consecuencias la diferenciación, tan uti- Los MLR propuestos por McDermott fueron
lizada en los SBC desarrollados hasta la fecha, utilizados en un gran número de dominios dife-
del MRP y la base de conocimiento especı́fico rentes, pero sin embargo, cuando se intentaba
de la tarea. Este análisis llevó a las siguientes abordar algún problema del mundo real apa-
conclusiones: recı́a el problema de cómo precisar si una tarea
concreta podı́a ser resuelta por un MLR deter-
minado (hay que tener en cuenta que este pro-
• Existı́an familias de tareas (como por ejem- blema está todavı́a sin resolver). Otros de los
plo el diagnóstico) que podı́an ser resueltas inconvenientes que aparecieron se debieron al
por métodos cuyo conocimiento de control hecho de que los MLR presentaran una estruc-
era lo suficientemente abstracto como para tura fija, con lo que no se podı́an utilizar en
que no se viese influenciada por las carac- problemas que requerı́an la combinación de va-
terı́sticas particulares de cualquiera de los rios MLR. La principal causa de este problema
miembros de la familia de tareas. radicaba en el hecho de que no se habı́a definido
• Al definir un método en los términos ante- de una forma clara la estructura y los elemen-
riores, se indicaba implı́citamente qué ro- tos constitutivos del conocimiento de control de
les pueden jugar los componentes del co- los MLR, problema que serı́a resulto de forma
nocimiento especı́fico de la tarea. De es- paralela por el trabajo de Chandrasekaran que
ta forma, la definición del método propor- se describirá a continuación.
cionaba una guı́a lo suficientemente clara
de qué conocimiento debe ser adquirido y 7.2 Las Tareas Genéricas y Las
cómo éste debe ser implementado. Estructuras de Tareas
• La definición de los roles que podı́a jugar el
conocimiento especı́fico de la tarea, provo- El concepto de tarea genérica (TG, en adelante)
caba una disminución en la diversidad del [Chandrasekaran, 1983, Chandrasekaran, 1986]
conocimiento que se tenı́a que utilizar en [Chandrasekaran and Johnson, 1993] tiene sus
la implementación de la tarea. orı́genes en los trabajos de Gómez y Chandra-
sekaran [Gómez and Chandrasekaran, 1981],
que dieron como resultado la identificación
A estos métodos que proporcionaban las lı́neas del proceso de clasificación como un elemento
básicas para la adquisición y codificación de co- común a los problemas de diagnóstico, y
nocimiento se les denominó Métodos con Limi- en los trabajos de Mittal y Chandrasekaran
tación de Roles. Este tipo de métodos cons- [Mittal and Chandrasekaran, 1984] que añadie-
tituı́a una clase bastante importante ya que ron la abstracción de datos como otro de los
además de indicar qué conocimiento era nece- elementos comunes a dicho proceso. Estos
sario adquirir, se podı́an utilizar en un amplio resultados fueron producto del trabajo realiza-
número de dominios diferentes. Generalmente, do en el desarrollo del sistema de diagnóstico
un MLR estaba formado por un bucle defini- MDX [Chandrasekaran and Mittal, 1983]
do sobre 5 o 10 pasos. Algunos de estos pa- [Chandrasekaran et al., 1979].
sos operaban sobre módulos de conocimiento es-
pecı́ficos de la tarea, con la condición de que en El trabajo del grupo de Chandrasekaran se
su definición no se incluyera ningún tipo de co- basa en la idea intuitiva de que tienen que
nocimiento de control. De esta forma, se conse- existir tipos de conocimiento y requisitos de
guı́a dotar de cierta regularidad al conocimien- control que sean comunes al razonamiento de
to especı́fico de la tarea requerido por el MLR. diagnóstico en diferentes dominios, de la mis-
Esta regularidad en el conocimiento hacı́a tra- ma forma que cabe esperar que la representa-
table la automatización de la adquisición del ción del conocimiento asociado a la tarea de
conocimiento. De esta idea surgieron varias he- diagnóstico se pueda realizar utilizando un vo-
rramientas entre las que cabe destacar MOLE cabulario común. Además, cabe esperar que es-
[Eshelman et al., 1993] que se centraba en el ta idea se pueda aplicar a otros tipos de razona-
MLR de cubrir y diferenciar y que fue aplicado miento, como se hizo con el proceso de diseño,
con éxito a numerosos problemas de diagnóstico y que el resultado obtenido fuera distinto al ob-
y SALT [Marcus and McDermott, 1993] que se tenido con el proceso de diagnóstico. Otra de
basaba el MLR de proponer y revisar. las ideas que sirvieron de base para este trabajo
fue el hecho de que la experiencia esté constitui- es decir, especifica el problema a resolver
da por un conjunto organizado de conocimien- y el objetivo a alcanzar. En este pun-
to (más de lo que podı́an ofrecer los sistemas to es importante distinguir entre una ins-
basados en reglas), con un comportamiento de tancia de tarea, especificada como un par
control que está indexado por la organización y problema/objetivo concretos (por ejemplo,
forma del conocimiento que contienen. el diagnóstico de un determinado pacien-
te con unos sı́ntomas especı́ficos), y tareas,
Todos estos antecedentes llevaron a la defi- que especifican una familia de instancias de
nición de un TG como una estructura de un determinado tipo, familias que pueden
conocimiento que se describe en el nivel de ser descritas a distintos grados de granula-
conocimiento, y que especifica una tarea de ridad. Obsérvese que en la definición de la
utilidad general (por ejemplo, clasificación), tarea no se ha incluido nada de cómo llevar
un método para llevarla a cabo y las clases a cabo la misma.
de conocimiento que necesita dicho método.
En la primera aproximación se identificaron • Métodos y Subtareas. Los métodos son
seis TG [Chandrasekaran, 1986]: clasificación los medios que nos permiten llevar a ca-
jerárquica, valoración de hipótesis, transferen- bo una tarea. Un método se define co-
cia de información dirigida por conocimiento, mo un conjunto de subtareas que permiten
ensamblado abductivo, diseño jerárquico por la transformación del estado inicial de una
selección de planes y refinamiento y abstracción tarea en el estado objetivo. Puede conte-
de estados. ner información adicional relacionada con
la forma en que las subtareas son ordena-
Estas TG pueden ser utilizadas como primitivas das en el tiempo. Las tareas obtenidas pue-
a la hora de definir tareas más complejas como den ser aplicadas directamente o por medio
el diagnóstico y diseño. Por lo tanto, las TG de otros métodos, y por consiguiente, otras
pueden ser vistas como bloques constructivos subtareas.
para la composición de tareas más complejas.
Sin embargo, a pesar de que se admitı́a la ne- • Estructuras de Tareas. La ET es un
cesidad del análisis en el nivel de tareas y las árbol de tareas, métodos y subtareas apli-
ventajas que este ofrecı́a a la adquisición de co- cadas de forma recursiva hasta que las ta-
nocimiento y la Ingenierı́a del Conocimiento, la reas que se alcancen puedan ser llevadas a
definición de las TG presentaban las siguientes cabo utilizando el conocimiento del que se
desventajas [Chandrasekaran et al., 1992]: dispone. Esta estructura nos permite es-
pecificar el hecho de que para una misma
tarea se pueden utilizar más de un método.
• No queda claro cuál es la diferencia entre
tareas y clases de tareas, y no se especifica
El uso de ET nos permite definir procesos de
como están relacionadas las TG complejas
razonamiento en el nivel de conocimiento sin
con las simples.
hacer referencia alguna a la implementación, es
• Las TG propuestas están definidas a nive- decir, el nivel simbólico. En las figuras 2-A y 2-
les de complejidad diferentes, es decir, no B se pueden apreciar las ET que corresponden
queda claro cuál es el nivel de abstracción con la tarea de diagnóstico y la de diseño.
en el que se tienen que definir.
Como conclusión podemos decir que las ET fa-
cilita el modelado del conocimiento ya que per-
Para solventar dichos problemas se propone una mite asociar las tareas con los métodos que
evolución del concepto de TG hacı́a el concepto la desarrollan y el conocimiento necesario pa-
de Estructura de Tareas (ET, en adelante). En ra usar dicho método. Otro aspecto que po-
este nuevo marco se consideran los siguientes tencia el uso de las ET es el hecho de que per-
elementos: mite combinar distintos tipos de métodos para
llevar a cabo una tarea. Finalmente, los pro-
blemas que surgı́an del uso de las TG quedan
• Tareas. El término tarea se refiere a resueltos, ya que mediante la definición separa-
un tipo de problema o conjunto de ins- da de los métodos y las tareas queda claro qué
tancias de problemas con algo en común, conocimiento queda asociado a cada elemento,
Figura 2: Estructura de Tareas para el Diagnóstico (A) y el Diseño (B). Los cı́rculos representan las
tareas y los rectángulos métodos.
y gracias a la ET, queda explicitado la relación se el proceso de modelado, pero como veremos
entre subtareas y tareas. Además, la propia en las siguientes secciones, los conceptos de ta-
jerarquı́a inherente a la ET nos permite dejar rea, método y su ensamblado en una estructura
claro a qué nivel de abstracción se define cada de tarea-método-descomposición formaron una
tarea, y consecuentemente, cuáles son las tareas base lo suficientemente sólida que permitió el
más generales y cuales las más especı́ficas. desarrollo de metodologı́as que completasen el
camino iniciado por Chandrasekaran.
La importancia de este marco de trabajo re-
side en que es el primer intento serio de des-
cripción de un sistema inteligente en el nivel de
conocimiento, permitiendo por tanto la defini- 8 Metodologı́as Basadas en
ción de componentes genéricos que pueden ser
”reutilizados”en diferentes dominios. Una de el Modelado de Conoci-
las carencias importantes de la aproximación de miento
Chandrasekaran es que no se hace referencia en
ningún momento al conocimiento del dominio
necesario para las tareas, ya que sólo se descri- Conjuntamente a los trabajos anteriormente
be la estructura de las tareas en el dominio. Por citados, otros investigadores realizaron tra-
lo tanto, es necesario fundir esta aproximación bajos en la misma lı́nea, entre los que ca-
con la aproximación de McDermott para tener ben destacar a Clancey [Clancey, 1985] que
una aproximación que aborde todos los aspec- propuso la clasificación heurı́stica como un
tos necesarios para modelar el conocimiento: la método genérico de resolución de problemas,
estructura de tareas-métodos y la función que Friedlan [Friedland and Iwasaky, 1985] con su
juega el conocimiento del dominio. refinamiento de esqueletos de planes, y por
último, los componentes de experiencia de Ste-
Aparte de las consideraciones anteriores, el els [Steels, 1990]. Subyacente a todos estos tra-
único reproche que se le puede hacer es que bajos está la convicción de que existen patrones
no se indica ninguna metodologı́a que dirigie- recurrentes de comportamiento que los inge-
nieros del conocimiento implementan, bien ex- que existe en la ingenierı́a del software), pro-
plı́citamente o bien implı́citamente, en sus sis- porcionado pautas a seguir desde el análisis
temas. Además, estos patrones de comporta- hasta la implementación final del sistema. A
miento describen los requisitos de conocimiento continuación ofreceremos una breve exposi-
que necesita el sistema y, por lo tanto, pueden ción de las tres metodologı́as más importantes:
dirigir la adquisición del mismo. CommonKADS [Schreiber et al., 1999], MI-
KE [Angele et al., 1998] [Angele et al., 1996] y
Los trabajos desarrollados en la segunda mi- PROTÉGÉ-II [Eriksson et al., 1995]. Finaliza-
tad de la década de los ochenta, y a la vista remos dicha exposición citando un conjunto de
del trabajo de McDermott[McDermott, 1988], metodologı́as, que si bien no han llegado al es-
se englobaron dentro de los que se denominaron tatus de las anteriores, ofrecen resultados bas-
métodos con limitación de roles. Estos métodos tante significativos.
aportaron la ventaja de que proporcionaban
una manera de clarificar el conocimiento usado
en la resolución del problema y proporcionaban 8.1 CommonKADS
una serie de expectativas que podı́an dirigir la
adquisición del contenido del conocimiento re- KADS es una metodologı́a completa para el
querido por las aplicaciones [Musen, 1992]. De desarrollo de SBC. Ha sido el resultado de un
esta forma, se podı́a afirmar que si todos los trabajo que ha durado aproximadamente una
roles de un método de resolución de problemas década dentro de dos proyectos SPRIT. En sus
estaban cubiertos en la base de conocimiento, inicios, KADS se centraba en el problema del
ésta está completa, en caso contrario, dirı́amos cuello de botella de suponı́a la adquisición de
que está incompleta (si falta algún rol por cu- conocimiento, para posteriormente convertirse
brir) o sobredimensionada (si existen elementos en una metodologı́a completa para el desarrollo
en la base de conocimiento que no están asocia- de SBC [Schreiber et al., 1993]. En la actuali-
dos a ningún rol). dad, CommonKADS, nombre que recibe la evo-
lución de KADS, cubre la gestión del proyecto,
Sin embargo, los métodos con limitación de el análisis organizacional y los aspectos relati-
roles presentaban dos problemas importantes. vos a las Ingenierı́as del Software y Conocimien-
Por un lado, al asumir que el comportamiento to relacionados con el desarrollo de SBC.
del sistema puede ser descrito en términos abs-
tractos, es decir, sin hacer referencia a la imple- En CommonKADS podemos ver reflejadas tres
mentación, se impide el modelado de los siste- ideas que han emergido, no sólo de la experien-
mas en los que consideraciones especı́ficas sobre cia en la Ingenierı́a del Conocimiento, sino tam-
el dominio pueden alterar la estrategia de con- bién del campo de la Ingenierı́a del Software
trol del sistema. Por otro lado, al ser bastante en general. Estas tres ideas se pueden concre-
genéricos resulta difı́cil aplicarlos a problemas tar en tres conceptos: modelado, reutilización
concretos, ya que dicha generalidad hace que las y gestión del riesgo.
condiciones requeridas por dichos problemas no
se cumplan en el modelo genérico. El principal producto que resulta de la apli-
cación de CommonKADS es el conjunto de
Estos problemas provocaron un replanteamien- modelos. Este conjunto de modelos se pue-
to de estado de la Ingenierı́a del Conocimien- de considerar una agrupación estructurada de
to que dio como resultado la aparición de nue- conocimiento que refleja todos aquellos aspec-
vas metodologı́as de desarrollo de SBC. Es- tos importantes para que el SBC tenga éxito
tas nuevas metodologı́as, que se basaron en dentro de un contexto organizacional deter-
las ideas resultantes de los trabajos anterio- minado. Para reflejar los diferentes aspec-
res, permiten realizar el análisis del sistema tos del contexto en el cual se quiere implan-
en el nivel de conocimiento, ofreciendo la po- tar el SBC, CommonKADS ofrece seis mode-
sibilidad de especificar el problema a diferen- los [de Hoog et al., 1994]: organización, tareas,
tes niveles de granularidad, con lo cual se po- agentes, comunicación, conocimiento y diseño.
tencia la idea de la reutilización de componen- Todos estos modelos están relacionados entre sı́
tes de conocimiento. Por otro lado, estas nue- y pueden ser configurados gracias a unas plan-
vas metodologı́as ofrecen un ciclo de vida com- tillas que la metodologı́a ofrece para su confec-
pleto para el proceso de desarrollo (al igual ción. Los tres primeros modelos describen el
contexto en el cual se va a desenvolver el SBC. las distintas partes del dominio de la apli-
Los modelos de experiencia y agentes propor- cación. Por lo tanto, en este apartado se
cionan los requisitos de entrada que guiarán la va a especificar la forma, estructura y con-
implementación del sistema a través del modelo tenido del conocimiento relevante para la
de diseño. Como se puede deducir, cada una de aplicación. La forma y la estructura cons-
estas agrupaciones intentan responder a cada tituyen lo que se denomina la ontologı́a del
una de las preguntas claves en el desarrollo de dominio.
un SBC: ¿Es un SBC la solución idónea para el
problema que se quiere resolver?, pregunta que • Conocimiento sobre inferencias. Des-
se puede responder por la descripción del con- cribe los procesos primitivos de razona-
texto dado por los tres primeros modelos; ¿Cuál miento que tienen lugar en una aplicación,
es la naturaleza y la estructura tanto del cono- ası́ como los roles de conocimiento que son
cimiento como de la comunicación utilizada?, usados por las inferencias. Obviamente,
cuya respuesta se puede encontrar en el modelo estos roles de conocimientos están relacio-
de experiencia y en el modelo de comunicación; nados con elementos del conocimiento del
y finalmente, ¿Cómo debe ser implementado el dominio. Hay que tener en cuenta, que las
conocimiento?, pregunta que intenta esclarecer inferencias son consideradas primitivas res-
el modelo del diseño. pecto a un modelo de experiencia determi-
nado, ya que en otros modelos de experien-
Mención especial al modelo de conocimien- cia la misma inferencia puede ser una tarea
to. Este modelo, que está descrito en descomponible.
[Wielinga et al., 1994], describe el conocimien-
to que tiene un determinado agente y que es
relevante para la consecución de una determi-
nada tarea, además de describir la estructura
del mismo en función de su uso. Obviamente,
este modelo se hace en el nivel de conocimiento,
sin hacer referencia a aspectos de implementa-
ción. Para poder llevar a cabo este modelado de
los distintos papeles que puede jugar el conoci-
miento, éste está distribuido en tres categorı́as
disjuntas:
8.3 Protégé-II
[Clancey, 1985] W. J. Clancey. Heuristic cals- [Eshelman et al., 1993] L. Eshelman, D. Ehret,
sification. Artificial Intelligence, 27:289–350, J. McDermott, and M. Tan. Mole: A tena-
1985. cious knowledge-acquisition tool. In B. G.
Buchanan and D. C. Wilkins, editors, Re-
[Cockburn and Jennings, 1996] D. Cockburn adings in Knowledge Acquisition and Lear-
and N. R. Jennings. ARCHON: A dis- ning: Automating the Construction and Im-
trubuted artificial intelligence system for provement of Expert Systems, pages 253–259.
industrial applications. In G.. M. P. O’Hare Kaufmann, San Mateo, CA, 1993.
and N. R. Jennings, editors, Foundations
of Distributed Artificial Intelligence, pages [Fensel, 1995] D. Fensel. The Knowledge Acqui-
319–344. John Willey and Sons, 1996. sition and Representation Language KARL.
Kluwer Academic Press, 1995.
[Cuena and Molina, 1994] J. Cuena and
M. Molina. KSM: An environment for [Fikes and Nilsson, 1971] R. Fikes and N.Ñils-
knowledge oriented design of applications son. STRIPS: A new approach to the applica-
using structured knowledge architectures. tion of theorem proving to problem solving.
In K. Brunnstein and E. Raubold, editors, Artificial Intelligence, 2(3/4):189–208, 1971.
Applications and Impacts. Information
[Fox and Iwasaky, 1984] M. S. Fox and Y. Iwa-
Processing’94, volume 2. Elsevier Science
saky. ISIS: A knowledge-based system for
(North Holland), 1994.
factory scheduling. Expert Systems, 1(1):25–
[Cuena and Molina, 1997] J. Cuena and 49, 1984.
M. Molina. KSM; an environment for design
[Friedland and Iwasaky, 1985] P. Friedland
structured knowledge models. In Tzafestas,
and Y. Iwasaky. The concept and imple-
editor, Knowledge-Based Systems: Advanced
mentation of skeletal plans. Journal of
Concepts, Techniques and Applications.
Automated Reasoning, 1:161–208, 1985.
World Sicientific Publishing Company, 1997.
[Gómez and Chandrasekaran, 1981] F. Gómez
[de Hoog et al., 1994] R. de Hoog, R. Marti- and B. Chandrasekaran. Knowledge organi-
lo, B. Wielinga, R. Taylor, C. Bright, and sation and distribution for medical diagno-
W. Van de Velde. The CommonKADS mo- sis. IEEE Transactions on Systems, Man and
del set. Technical Report ESPRIT Project Cybernetics, 11(1):34–42, 1981.
P5248 KADS-II/M1/DM.1b/UvA/018/6.0,
University of Amsterdam and Lloyd’s Regis- [González et al., 1986] A. J. González, R. L.
ter and Touche Ross Management Consul- Osborne, C. Kemper, and S. Lowenfeld. On-
tans and Free University of Brussels, June line diagnosis of turbine generators using ar-
1994. tificial intelligence. IEEE Transaction on
Energy Conversion, 1(2):68–74, 1986.
[Domingue et al., 1993] J. Domingue, E. Mot-
ta, and S. Watt. The emerging VITAL wor- [Guida and Tasso, 1994] G. Guida and C. Tas-
kbench. In Proceedings of the 7th European so. Design and Development of Knowledge-
Knowledge Acquisition for Knowledge-Based Based Systems. From Life Cycle to Metho-
Systems EKAW’93, pages 320–339, 1993. dology. John Wiley and Sons Ltd., Baffins
Lane, Chichester, England, 1994.
[Duda et al., 1978] R. Duda, P. E. Hart, N. J.
Nilsson, R. Reboh, J. Slocum, and G. Suther- [Harmelen et al., 1991] F. Van Harmelen,
land. Development of the PROSPECTOR J. R. Balder, M. Aben, and J. M. Akker-
consultation system for mineral explotation. mans. (ml)2 : A formal language for
KADS conceptual models. Technical [Maestre-Yenes, 2000] P. Maestre-Yenes. Dic-
Report ESPRIT Project P5248 KADS- cionario de Gestión Del Conocimiento En
II/T1.2/TR/ECN/006/1.0, Netherlands Informática. Monografı́as Y Publicaciones.
Energy Research Centre ECN and Univer- Gestión Del Conocimiento. Fundación Din-
sity of Amsterdam, June 1991. tel, 2000.
[Heckerman and Horovitz, 1986] D. Hec- [Marcus and McDermott, 1993] S. Marcus and
kerman and E. Horovitz. The myth of J. McDermott. Salt: A knowledge acquisition
modularity in rule-based systems. Technical language for propose-and-revise systems. In
report, Standford University, 1986. B. G. Buchanan and D. C. Wilkins, editors,
Readings in Knowledge Acquisition and Lear-
[Holland et al., 1984] J. D. Holland, E. L. Hut- ning: Automating the Construction and Im-
chings, and L. Weitzman. An interactive, ins- provement of Expert Systems, pages 263–281.
pectable, simulation-based training system. Kaufmann, San Mateo, CA, 1993.
AI Magazine, 5(2):15–27, 1984.
[McCarthy and Hayes, 1969] K. McCarthy and
[IEEE, 1999] IEEE. IEEE Standards Soft- P. J. Hayes. Some philosophical problems
ware Engineering. Customer and Termino- form the standpoint of artificial intelligence.
logy Standards, volume 1. IEEE, 1999. Machine Intelligence, 4:463–502, 1969.