Peeters, M. A. G., van Tuijl H. F. J. M., Reymen I. M. M. J., Rutte C. G., (2007) The development of a design behavior

questionnaire for multidisciplinar teams. Design Studies 28 623-643

• Introducción

– objetivo (desarrollar un cuestionario)

– pregunta de investigación (comportamientos críticos para desarrollar exitosamente una tarea de diseño)

– Descripción general del estudio y el artículo

• El objetivo del estudio es utilizar un enfoque integral con el fin de desarrollar un instrumento para medir aspectos del comportamiento del diseño y proveer una reflexión general cerca de aspectos del comportamiento del proceso de diseño que están detrás de la culminación exitosa de una tarea de diseño

• Pregunta de investigación: – ¿Qué comportamientos específicos de los miembros

de un equipo multidisciplinario de diseño son críticos para una dinámica favorable durante el diseño de tal forma que se termine exitosamente la tarea de diseño?

• Cuestionario para estudiar comportamientos críticos de la relación entre el comportamiento diseñístico y el resultado del diseño en equipos multidisciplnarios de diseño.

– 55 reactivos

– validado estadísticamente en dos estudios diferentes

– 3 principales categorías; creación de diseño, planeación del diseño y cooperación en el diseño

• Investigadores y profesionales usaron el análisis de tareas para describir comportamientos críticos para el éxito de una trabajo en particular.

• El comportamiento es una característica observable del proceso de diseño, en cambio, los procesos cognitivos son difíciles de observar y por tanto menos accesibles para intervenciones directas.

• Al medir el comportamiento con un cuestionario, es posible probar estadísticamente teorías acerca de las relaciones entre las categorías del comportamiento

• Up till now, design team member behaviour has been studied in protocol studies in both lab (e.g., Cross et al., 1996) and field settings (e.g., Badke-Schaub and Frankenberger, 2002), in ethnographic (field) studies (e.g., Bucciarelli, 1988; Baird et al., 2000; Eckert and Stacey, 2001), in case studies (e.g., Peng, 1994; Sonnenwald, 1996), and in interviews (e.g., Denton, 1997; Tomes et al., 1998; Reid et al., 2000; Lawson, 2004). As stated before, the majority of these studies have focussed in depth only on a single behavioural aspect of the design process.

ANTECEDENTES

Comportamiento crítico

en el Diseño

creación de diseño

planeación del diseño

cooperación en el diseño

X1

X2

X3

Xj

Xm

.

.

...

Teoría

Categorías

variables

observaciones

R

E

A

L

I

D

A

D

E

M

P

Í

R

I

C

A

C

U

E

A

T

I

O

A

R

I

O

Estudio 1

• Critical Incident Technique:– Un conjunto de procedimientos para

recolectar observaciones directas de la conducta humana al resolver problemas prácticos

– Incidente: cualquier actividad humana observable suficientemente completa en sí misma que permite hacer inferencias y predicciones acerca de la persona que realiza el acto

Los 5 pasos del CIT para construir un conjunto de comportamientos críticos

1. Se establece el objetivo del equipo multidisciplinario: completar una tarea de diseño.

2. Planes y especificaciones. Se definen las situaciones de interés y los sujetos. Participaron de posgrado en diseño.

3. Recolección de datos. Se hicieron entrevistas acerca de incidentes críticos, con preguntas como:

– ¿Cómo contribuyen los miembros del equipo para hacer exitoso el proyecto?

– ¿Podría darme ejemplos concretos (< de 5 meses) de conductas de los miembros del equipo que contribuyeran al éxito o fracaso del proyecto? Para ello:• 1) ¿Cuál era la situación anterior (antecedente)• 2) ¿Qué hicieron los miembros en esa situación?• 3) ¿Cuál fue el efecto de las conductas?

(consecuencia)

– Esta descripción forma un incidente crítico.

4 Análisis de datos y 5 Interpretación y reporte

• La idea es transformar los incidentes críticos en reactivos conductuales;

– Combinar aquellos de fraseo idéntico en uno solo.

– Seleccionar aleatoriamente el 10% de ello.– Desarrollar un marco de categorías agrupando

el restante 90%.– Probar la validez de contenido del marco con el

restante 10% de los reactivos.

Resultados

• Entrevistas con diseñadores de 13 compañías tecnológicas (5 líderes de proyecto, 8 diseñadores o ingenieros de procesos).

• 8 de los entrevistados calificaron los diseños de sus equipos como innovadores, 4 como incrementales y 1 como una combinación de ambos.

• Las disciplinas: arquitectura, ingeniería química, diseño industrial, tecnologías de la información y la comunicación. Ingeniería mecánica y mecatrónica.

• Se reportaron 120 incidentes críticos (antecedente, conducta y consecuencia) t

• La mayoría reportó entre 8 y 12 incidentes. Media = 10.

• De estos 120 incidentes, se construyeron 299 reactivos conductuales

Categorización

• Se apartó el 10%, seleccionado al azar, de los reactivos.

• Con el resto de los reactivos, 3 investigadores agruparon, de manera independiente, en categorías aquellos que eran semejantes en contenido.

• Al compararlas se concluyó que solo diferían en cuanto al nivel de agregación.

• Se generó una estructura jerárquica de categorías y subcategorías

• Las tres categorías más generales son:– ‘design creation’ – ‘design planning’– ‘design cooperation’.

‘design creation’

Reactivos relativos a la creación del diseño

engloba subcategorías como:

establecer el objetivo del diseño

le elaboración del diseño y

la reflexión acerca del diseño.

design planning

• Temas relacionados con los tiempos durante el proceso de diseño

– El tiempo de la planeación– Cumplir la agenda– Evaluar el calendario de actividades

2. Construcción del cuestionario de comportamiento diseñístico para equipos

• Se usó una escala de 5 opciones a los ítems y los miembros de los equipos multidisciplinarios evaluaron una selección del conjunto de datos para así probar estadísticamente la estructura del marco de categorización, en particular la estructura de cada una de las tres categorías principales.

• También se estudiaron su confiabilidad (estabilidad (mismas medidas en el tiempo) y consistencia interna (homogeneidad de los ítems)) y su validez predictiva (predecir valores de otras medidas).

• Los datos se obtuvieron de equipos de diseño de estudiantes de las 3 universidades tecnológicas de Holanda que concursaron en el diseño y construcción de un robot que realizara una tarea específica (diferente para cada universidad).

• 33 equipos completaron el trabajo y de estos 25 proporcionaron suficientes datos. Los equipos eran multidisciplinarios, el promedio de miembros 5.2, 85% hombres.

• Se eliminaron todos los items que tenían que ver con la interacción con el cliente, pues en este caso no había cliente. A pesar de esto, el cuestionario tenía muchos ítems, lo que podría influir negativamente en su respuesta.

• Se recortó: i) condensando ítems cuyo contenido lo permitía y ii)se eliminaron aquellos ítems que de acuerdo con ocho expertos eran de poca relevancia en la tarea de diseño en cuestión.

• El cuestionario que finalmente se aplicó

contenía 12 subcategorías (7 de la primera

categoría principal, 2 de la segunda y 3 de la

tercera) y un total de 85 ítems de escala

Likert con 5 opciones.

• El cuestionario fue llenado 2 veces, durante la

fase del concepto del proyecto y durante la

elaboración.

• Se probó la hipótesis de que la estructura de la categorización era correcta, es decir, que los ítems pertenecientes a una subcategoría, estadísticamente también pertenecen a una categoría diferente (análisis factorial confirmatorio)

• Se hicieron las pruebas sobre su confiabilidad; se usó la de de Cronbach, correlacionando los valores en dos puntos en el tiempo y la predictibilidad sobre 3 aspectos de diseño: originalidad, realización técnica y fundamentación conceptual y sobre la satisfacción reportada por los miembros del equipo acerca de el método de trabajo, la calidad del diseño y sobre el equipo mismo.

• Se aplicó el análisis factorial confirmatorio

(n=104) a los 37 ítems de las 7 subcategorías

de la categoría principal creación en el diseño.

Siete factores encajaron bien con la estructura

de los datos y juntos explicaban el 59.67% de

la varianza de creación en el diseño.

• El factor 1 incluye ítems de las subcategorías

elaboración e información; ambas se refieren al

uso de la información, por lo que este factor fue

llamado diseño basado en información.

• Los ítems de los factores 2 y 6

provienen de la subcategoría

soluciones. Al revisar el contenido de

los ítems se acordó rebautizar los

factores como delimitando el espacio

solución y construyendo el espacio

solución.

• 3 fractores para la tercer categoría principal cooperación

en el diseño que explican el 42.64% de la varianza.

• La subcategoría cooperación puede dividirse en

cooperación y reflexionando sobre el funcionamiento del

equipo.

• Los ítems del factor 3 provienen de dos subcategorías

tomando decisiones y comunicación. Una revisión

detallada de los contenidos de los ítems revela que uno

de los ítems de comunicación también se relaciona con

decisiones y el otro con la frecuencia del contacto.

Puesto que un contacto frecuente es base para otras

conductas relacionadas con el proceso de toma de

decisiones, se etiquetó esta nueva escala toma de

decisiones.

Discusión

• La distinción entre las

subcategorías recolección de

información y elaboración del

diseño no se sostuvo al ser sometida

a prueba. Estos dos aspectos del

proceso de diseño resultaron estar

conectados.

• La distinción que reveló el análisis factorial al

dividir la subcategoría solución en sus dos

dimensiones construcción del espacio solución

y delimitación del espacio solución, esta

distinción está en la línea de las teorías de

resolución de problemas y del proceso de

diseño. Esta distinción parece importante

aunque el relativamente bajo número de

ocurrencias en las nuevas subcategorías no es

deseable.

• Las subcategorías fase de transición y reflexionar sobre el diseño fueron condensadas, la importancia de la reflexión ha sido reportada en diversos estudios.

• También se encontró que ambas dimensiones se relacionan con la calidad del producto evaluada por los miembros del equipo.

• Las transiciones entre generar, analizar y evaluar ideas, y la conciencia sobre estas transiciones, es fundamental para llegar a soluciones satisfactorias de problemas complejos.

• Hay 3 limitaciones importantes en el estudio:

– El número de participantes. La razón entre número de participantes y número de ítems no es del todo adecuada. Pruebas con muestras mayores pueden alterar el contenido de las subcategorías y podría incrementarse le confiabilidad de la categoría organización de la tarea de diseño que es baja.

– Las características de los equipos restringen las posibilidades de generalizar los resultados: i)equipos auto-organizados (self-managed), ii) compuestos por relativamente inexpertos diseñadores, iii) no interactuaron directamente con un cliente, iv) trabajaron juntos durante relativamente poco tiempo, v) los miembros interactuaban frecuentemente.

– Será necesario correlacionar los valores del cuestionario con otras variables con el fin de validar su predictibilidad.