National Household Education Survey (NHES) Adult Training and Education Survey (ATES) Spanish Version Cognitive Interviews

Cognitive Interview Protocol: VERSION 1 for Spanish Translation

Adult Training and Education Survey (ATES)

July 11, 2014

General Introduction

I would like to begin by thanking you for coming here today to help us out. We’re scheduled to be here for about 1 hour, and I won’t keep you any longer.

The reason we’ve asked you here is to help with a survey that is run by the U.S. Department of Education to describe adults’ education and training experiences.

Today I’m going to ask you to fill out the survey questionnaire and provide feedback. This will help the Department of Education make sure the questionnaire will be understood by all different types of people. I don’t work for the Department of Education, so feel free to be honest with your comments. My role is to find out how YOU interpret the questions.

• [IF OBSERVER PRESENT]: One [a few] of my colleagues will be observing our discussion from behind this mirror. They are here to make sure that I don’t forget to ask you any of the important questions that you and I are supposed to cover. Toward the end of the interview, I will step out to ask them if there is anything I forgot to discuss with you. Is that OK with you? [IF NOT, ASK OBSERVERS TO LEAVE]

• Because it would be hard to keep track of everything you say today, I would like to audio-record this session. Is that OK with you? [IF NOT, CONTINUE WITHOUT RECORDING]

• And I’ll also be taking notes, so you might notice me writing as we are talking.

• I want you to know that your participation is voluntary and your responses are protected from disclosure by federal statute [US code title 20, section 9573]. All responses that relate to or describe identifiable characteristics of individuals may be used only for statistical purposes and may not be disclosed, or used, in identifiable form for any other purpose, unless otherwise compelled by law. We want you to know that you can speak freely. Also, you do not have to answer any question you don’t want to and can stop the interview at any time if you wish.

• There are no right or wrong answers. Today we are more interested in how you answer the questions than what the answers are. Your answers will not be counted as part of the real survey.

In a few minutes I'm going to hand you the questionnaire. I would like you to think “out loud” as you answer each question. That is, tell me how you go about answering the question, tell me if something doesn’t sound right, is hard to answer, there are words you don’t understand, etc. I’ll ask you to stop periodically so that we can talk about what you were thinking as you answered the questions. If any questions are unclear to you as you go through, please stop and let me know.

Now because some people aren't used to reading, thinking, and expressing their feelings aloud, I'd like to begin today with a short practice question. I will show you an example of how to think out loud. Then I will give you a chance to practice it.

QUESTION: How many glasses of water did you drink in the past two days?

[Model the think aloud process for the respondent.]

Now I’d like you to practice this by telling me what you are thinking from the moment I read this question until you are finished explaining your answer.

The question is: How many meals did you have yesterday?

Do you have any questions before we begin? [TURN ON THE AUDIO RECORDER NOW.]

Specific Probes for Questionnaire

INTERVIEWER - If you feel there was uncertainty about a respondent’s answer, probe retrospectively on those items. Pay attention to respondent behavior here. Do they hesitate? Ask questions? Make remarks that indicate the question is awkward? If yes, PROBE.

Pay attention to SKIP errors. Do they have trouble finding the start of the next section? Do they have trouble figuring out which question to go to next? Do they go to the wrong question? If you notice they go to the wrong question, give them a chance to figure it out on their own, but if they don’t, point out to them that they skipped to the wrong question, PROBE about what was confusing.

Pay attention to how they answer the multiple response items. Do they notice when questions change from “mark one” to “mark all that apply”?

Pay attention to how they answer the grids. Do they fill in the correct cells?

After the respondent completes each section of interest [Certification and Licensure/Certificates/Initial Job Training/Other training]:

General Probes – These should only be used when the Respondent shows signs of confusion to a question that does not have a specific probe
Problem items	What is this question asking, in your own words?
	What were you thinking when you answered this question?
Problem with instructions	Tell me what this introduction/instruction is telling you.
Problems with clarity	Can you tell me in your own words what this question is asking? What does this word [term] mean to you? [in reference to a particular word or technical term] Tell me what you were thinking when I asked you about this [topic, time period, degree, certification, etc.].
Skip and marking issues	I noticed you skipped this/checked this. How did you choose this answer and not this other option?
	Can you tell me how you chose this category? How easy or hard was it to find your answer on that list?

	CERTIFICATION AND LICENSURE Qs 3-9 – STOP RESPONDENT AFTER 9
I’d like you to stop here.
Q3	[these probes are determining accuracy of the translation] You answered [response] can you tell me more about your answer? For you, what is a certification or a state or industry license? If Respondent answered Yes. Can you describe the certification or license?
ALL	Were there any questions in this section that were confusing or a bit difficult for you to answer? PROBE.

You can continue from question 10.

	CERTIFICATES Qs 10 to 18 – STOP RESPONDENT AFTER 18
I’d like you to stop here.
Q10		[This question is to determine validity of the translation] what does certificate mean to you? What do you think is the difference between what we’re asking for in 10a and 10d? IF YES TO ANY: What do you think is the difference between what we’re asking for in this section and the previous section on certifications and licenses?
Q10a		IF YES: Tell me about this certificate. What was the name or how would you describe it? Who provided the training that led to your certificate?
Q10d		IF YES: Tell me about this certificate. What was the name or how would you describe it? How did you get it? PRIORITY - IF DOES NOT SEEM TO BE AN EDUCATIONAL CERTIFICATE: Why did you decide to count this as an educational certificate?
Q11(if applicable)		IF NOT ALREADY CLEAR: Can you tell me a little bit more about where you got your educational certificate?
Q14(if applicable)		IF Respondent HAD ANY EDUCATIONAL REQUIREMENTS: Can you tell me a little more about what was required to enter the program?
Q15(if applicable)		IF YES TO ANY: Can you tell me a little more about what was required by your program?
Q11-18(if applicable)		Was it easy or difficult to answer these follow-up questions about your certificate? IF DIFFICULT: Why was it difficult?
ALL		Were there any other questions in this section that were confusing or a bit difficult for you to answer? Which ones? PROBE.

You can continue from question 19.

	Work Experience Programs Qs 19 & 20 – STOP RESPONDENT AFTER 20
I’d like you to stop here.
Q19	PRIORITY: IF YES: Tell me about your program: What job was it for? Could you describe a typical day in the program? What types of organizations were involved in it and what were their roles?
Q20(if applicable)	ONLY ASK IF YES TO JOURNEYMAN STATUS: What does “journeyman status” mean to you, in your own words?
ALL(if applicable)	Were there any other questions in this section that were confusing or a bit difficult for you to answer? Which ones? PROBE.

You can continue from question 21.

	COLLEGE AND OTHER CLASSES Qs 21 to 23 – STOP RESPONDENT AFTER 23
I’d like you to stop here.
ALL	Were there any other questions in this section that were confusing or a bit difficult for you to answer? Which ones? PROBE.

You can continue from question 24.

	TRAINING FOR WORK Qs 24 & 25 – STOP RESPONDENT AFTER 25
I’d like you to stop here.
Q24	Were there any parts of this question that you found confusing or did not understand? Note any cues that the respondent did not read all of the text (ex: answering so quickly there is no way they read it all) What types of experiences do you think you should include in your answer?
ALL	Were there any other questions in this section that were confusing or a bit difficult for you to answer? Which ones? PROBE.

You can continue from Question 26.

	EMPLOYMENT Qs 26 to 47– STOP RESPONDENT AFTER 47
Once respondent has completed question 47: I’d like you to stop here.
Q43 (if applicable)	IF YES: Is this license also reported in question 5? PROBE.
Q44(if applicable)	(R DOES NOT NEED TO PROVIDE AN ANSWER BUT ASK) Are the response options easy or difficult for you to answer?
ALL	Were there any other questions in this section that were confusing or a bit difficult for you to answer? Which ones? PROBE.

IF TIME IS RUNNING SHORT, INTERVIEW CAN END HERE.

Go ahead and finish the rest of the survey now and let me know if any questions are confusing or difficult to answer in any way or if you are unsure of anything.

	BACKGROUND Qs 48 to 58
Were any questions in this section confusing or a bit difficult for you to answer? Which ones? PROBE.
FINAL OBSERVATIONS
	Do you have anything else you would like to tell me about this questionnaire that you haven’t had a chance to mention? REMEMBER TO ASK NCES STAFF FOR INPUT, GIVE GIFT CARD & SIGN RECEIPT AT END OF INTERVIEW
	Thank you!

Additional Notes:

Protocolo de la Entrevista cognitiva: VERSION 1 for Spanish Translation

Encuesta de Educación y Capacitación de Adultos (ATES por sus siglas en inglés)

11 de julio de 2014

Introducción general

Ante todo, quiero darle las gracias por venir aquí hoy a ayudarnos. Tenemos programado estar aquí durante aproximadamente 1 hora, y no lo retendré por más tiempo.

Le hemos pedido que se reúna con nosotros para ayudarnos con una encuesta realizada por el Departamento de Educación de los Estados Unidos para describir las experiencias de educación y capacitación de adultos.

Hoy le pediré que llene el cuestionario de la encuesta y nos brinde información y comentarios. Estoy ayudará al Departamento de Educación a asegurarse que el cuestionario será entendido por todos los diferentes tipos de personas. Yo no trabajo para el Departamento de Educación, así que siéntase con la libertad de ser franco en sus comentarios. Mi papel es el de averiguar cómo USTED interpreta las preguntas.

• [SI HAY UN OBSERVADOR PRESENTE]: Un [Algunos] colega(s) mío(s) estará(n) observando nuestra conversación desde el otro lado de este espejo. Están aquí para asegurarse que yo no olvide hacerle alguna de las preguntas importantes que usted y yo debemos cubrir. Cuando nos acerquemos al final de la entrevista, iré a preguntarles si hay algún asunto que se me haya olvidado tratar con usted. ¿Le parece bien esto? [DE NO SER ASÍ, PÍDALE A EL O LOS OBSERVADORES QUE SE VAYAN]

• Debido a que sería difícil anotar todo lo que usted diga hoy, me gustaría poder grabar esta sesión en audio. ¿Me permitiría hacerlo? [SI RESPONDE QUE NO, CONTINÚE SIN GRABAR]

• Además, estaré tomando notas, por lo que notará que estaré escribiendo mientras platicamos.

• Quiero que sepa que su participación es voluntaria y sus respuestas están protegidas contra la divulgación por estatuto federal [Sección 9572 bajo el título 20 del Código de los EE.UU.]. Toda respuesta relacionada con o que describa características identificables de las personas individuales solo podrá ser utilizada para fines estadísticos y no podrá ser divulgada, o utilizada, en forma identificable para ningún otro propósito, a menos que, de lo contrario, sea exigido por la ley. Queremos que sepa que puede hablar con toda libertad. También queremos que sepa que no tiene que responder a cualquier pregunta que no desee responder y puede suspender la entrevista en cualquier momento que desee.

• No existen respuestas correctas o incorrectas. Hoy estamos más interesados en conocer cómo usted responde las preguntas que en cuáles son esas respuestas. Sus respuestas no serán tomadas en cuenta como parte de la verdadera encuesta.

En unos minutos le entregaré el cuestionario. Me gustaría que usted pensara “en voz alta” conforme responda a cada pregunta. Es decir, que me comparta cómo procede a responder a la pregunta, indíqueme si algo no suena correcto, si algo es difícil de contestar, si hay palabras que no entiende, etc. Le pediré que se detenga cada cierto tiempo para que podamos conversar sobre lo que estuvo pensando al responder las preguntas. Si mientras responde encuentra cualquier pregunta confusa, por favor deténgase e déjeme saberlo.

Ahora bien, como hay personas que no están acostumbradas a leer, pensar y expresar su sentir en voz alta, me gustaría empezar hoy con una pregunta corta a manera de ejercicio. Le mostraré un ejemplo de cómo se piensa en voz alta. Luego le daré la oportunidad para que practique.

PREGUNTA: ¿Cuántos vasos de agua ha tomado en los últimos dos días?

[Practique el proceso de pensar en voz alta para el entrevistado.]

Ahora me gustaría que usted practicara esto al contarme lo que está pensando desde el momento en que y oleo esta pregunta hasta que termine de explicar su respuesta.

La pregunta es esta: ¿Cuántas comidas hizo ayer?

¿Tiene alguna pregunta antes de que empecemos? [ENCIENDA LA GRABADORA DE AUDIO AHORA.]

Sondeo específico para el cuestionario

ENTREVISTADOR – Si sintió que hubo cierta inseguridad respecto a la respuesta del entrevistado, sondee retrospectivamente sobre esos Asuntos. Ponga atención a la conducta del entrevistado, en este momento. ¿Titubea? ¿Hace preguntas? ¿Hace comentarios que indican que la pregunta es extraña? De ser así, SONDEE.

Preste atención a los errores de SALTEAR. ¿Tiene dificultad encontrando donde empieza la siguiente sección? ¿Tiene dificultad encontrando cuál es la siguiente pregunta? ¿Pasa a la pregunta equivocada? Si nota que pasa a la pregunta equivocada, dele la oportunidad de descubrirlo por su propia cuenta, pero si no lo hace, señale que se salteó a la pregunta equivocada. SONDEE sobre qué es lo que provoca confusión.

Presta atención a cómo responde las preguntas de respuestas múltiples. ¿Se da cuenta cuando las preguntas cambian de “marque una” a “marque todas las que corresponden”?

Preste atención a cómo responde las casillas. ¿Llenó las celdas correctas?

Después de que el entrevistado haya completado cada sección de interés [Certificación y Acreditación/ Certificados/ Capacitación de empleo inicial/ Otra capacitación]:

Sondeo general – Sólo se deben utilizar cuando el Entrevistado expresa señales de confusión sobre una pregunta que no tiene un sondeo específico
Puntos con problemas	En sus propias palabras, ¿qué se le está preguntando?
	¿Qué pensaba al responder a esta pregunta?
Problema con las instrucciones	Indíqueme ¿qué es lo que esta introducción/instrucción le está diciendo?
Problemas de claridad	En sus propias palabras ¿qué se le está preguntando? ¿Qué significa esta palabra [término] para usted? [cuando se trate de una palabra específica o término técnico] Cuénteme en qué pensaba cuando le pregunté sobre este/a [tema, período de tiempo, título, certificación, etc.].
Cuestiones de salteado y de marcado	Observé que se salteó/que marcó esto. ¿Cómo escogió esta respuesta y no la otra opción?
	¿Cómo escogió esta categoría? ¿Cuán fácil o difícil fue encontrar su respuesta en esa lista?

	CERTIFICACIÓN Y CONCESIÓN DE LICENCIAS Preguntas 3 a 9 – DETENGA AL ENTREVISTADOR DESPUÉS DE LA 9
Me gustaría que se detuviera aquí.
Q3	[estos sondeos son para establecer la exactitud de la traducción] Usted respondió [respuesta]. ¿Puede compartir más conmigo sobre su respuesta? ¿Qué es, para usted, una certificación o concesión de licencia estatal o industrial? Si el Entrevistado respondió Sí. ¿Puede describir la certificación o licencia?
TODAS	¿Hubo alguna o más preguntas en esta sección que eran confusas o un tanto difíciles de responder? SONDEE.

Puede continuar con la pregunta 10.

	CERTIFICADOS Preguntas 10 a 18 – DETENGA AL ENTREVISTADO DESPUÉS DE LA 18
Me gustaría que se detuviera aquí.
Q10	[Esta pregunta es para establecer la validez de la traducción] Para usted, ¿qué significa certificado? ¿Qué cree que es la diferencia de lo que le estamos preguntando en la 10a y la 10d? SI RESPONDIÓ SI A CUALQUIERA: ¿Qué cree que es la diferencia entre lo que le estamos preguntando en esta sección y en la sección anterior sobre certificaciones y licencias?
Q10a	SI RESPONDIÓ SÍ: Hábleme sobre este certificado. ¿Cómo se llamaba o cómo lo describiría? ¿Quién le ofreció la capacitación que lo llevó a obtener su certificado?
Q10d	SI RESPONDIÓ SÍ: Hábleme sobre este certificado. ¿Cómo se llamaba o cómo lo describiría? ¿Cómo lo obtuvo? PRIORIDAD – SI NO PARECE SER UN CERTIFICADO EDUCACIONAL: ¿Por qué decidió contar éste como un certificado educacional?
Q11(si procede)	SI AÚN NO ESTÁ CLARO. ¿Puede compartir un poco más conmigo sobre dónde obtuvo este certificado educacional?
Q14(si procede)	SI el Entrevistado TENÍA ALGÚN REQUISITO DE EDUCACIÓN: ¿Puede compartir un poco más conmigo sobre lo que se requería para poder entrar al programa?
Q15(si procede)	SI RESPONDIÓ SÍ A CUALQUIERA: ¿Puede compartir un poco más conmigo sobre lo que requería su programa?
Q11-18(si procede)	¿Fue fácil o difícil responder las preguntas de seguimiento sobre su certificado? SI FUE DIFÍCIL: ¿Por qué fue difícil?
TODAS	¿Hubo una o más preguntas en esta sección que eran confusas o un poco difíciles de contestar? ¿Cuáles? SONDEE.

Puede continuar con la pregunta 19.

	Programas de experiencia laboral Preguntas 19 y 20 – DETENGA AL ENTREVISTADO DESPUÉS DE LA 20
Me gustaría que se detuviera aquí.
Q19	PRIORIDAD: SI RESPONDIÓ SÍ: Hábleme sobre su programa: ¿Para qué trabajo era? ¿Podría describir un día normal en el programa? ¿Qué clase de organizaciones estaban involucradas en el programa y qué papeles desempeñaban?
Q20(si procede)	SOLO PREGUNTE SI RESPONDIÓ SÍ A LA CONDICIÓN DE JORNALERO: En sus propias palabras, ¿qué significa “condición de jornalero” para usted?
TODAS(si procede)		¿Hubo una o más preguntas en esta sección que eran confusas o un poco difíciles de contestar? ¿Cuáles? SONDEE.

Puede continuar con la pregunta 21.

	UNIVERSIDAD Y OTRAS CLASES Preguntas 21 a 23 – DETENGA AL ENTREVISTADO DESPUÉS DE LA 23
Me gustaría que se detuviera aquí.
TODAS	¿Hubo una o más preguntas en esta sección que eran confusas o un poco difíciles de contestar? ¿Cuáles? SONDEE.

Puede continuar con la pregunta 24.

	CAPACITACIÓN PARA EL TRABAJO Preguntas 24 y 25 – DETENGA AL ENTREVISTADO DESPUÉS DE LA 25
Me gustaría que se detuviera aquí.
Q24	¿Hubo una o más partes de esta pregunta que encontró confusa o que no entendió? Observe cualquier indicio de que el entrevistado no leyó todo el texto (por ejemplo, que respondió tan rápidamente que no lo pudo haber leído todo) ¿Qué tipos de experiencias cree que debe incluir en su respuesta?
TODAS	¿Hubo una o más preguntas en esta sección que eran confusas o un poco difíciles de contestar? ¿Cuáles? SONDEE.

Puede continuar con la pregunta 26.

	EMPLEO Preguntas 26 a 47– DETENGA AL ENTREVISTADOR DESPUÉS DE LA 47
Cuando el entrevistado haya respondido a la pregunta 47: Me gustaría que se detuviera aquí.
Q43 (si procede)	SI RESPONDIÓ SÍ: ¿Esta licencia también se reportó en la pregunta 5? SONDEE.
Q44(si corresponde)	(EL ENTREVISTADO NO TIENE QUE DAR UNA RESPUESTA, PERO PREGUNTE) En su opinión, ¿las opciones de respuesta son fáciles o difíciles de responder?
TODAS	¿Hubo una o más preguntas en esta sección que eran confusas o un poco difíciles de responder? ¿Cuáles? SONDEE.

SI NO QUEDA MUCHO TIEMPO, PUEDE TERMINAR LA ENTREVISTA AQUÍ.

Por favor termine el resto de la encuesta ahora y cuénteme si hay una o más preguntas que son confusas o de alguna forma difíciles de responder o si no está seguro de cualquier cosa.

	TRAYECTORIA Preguntas 48 a 58
¿Hubo una o más preguntas confusas o un poco más difíciles de responder, en esta sección? ¿Cuáles? SONDEE.
OBSERVACIONES FINALES
	¿Hay algo más que le gustaría compartir conmigo sobre este cuestionario que no haya tenido oportunidad de mencionar? NO OLVIDE PEDIR LOS COMENTARIOS Y SUGERENCIAS DEL PERSONAL DEL NCES, ENTREGAR LA TARJETA DE REGALO Y FIRMAR EL RECIBO AL FINAL DE LA ENTREVISTA
	¡Gracias!

Notas adicionales:

13