Attachment 3
NHES 2016 Spanish Cognitive Interviews Protocol Phase 1--English
Interview ID: |
|
Date of Interview: |
|
Adult First Name: |
|
Interviewer: |
|
|
|
|
|
MATERIALS NEEDED FOR INTERVIEW
INTERVIEWER PROTOCOL
RESPONDENT LETTERS AND QUESTIONNAIRE
DO YOU HAVE THE CORRECT VERSION OF THE LETTERS, PROTOCOL, AND QUESTIONNAIRE?
CONSENT FORM (TWO COPIES)
INCENTIVE
PAYMENT RECEIPT
DIGITAL RECORDER AND EXTRA BATTERIES
PENS AND PENCILS
STEP 1: WELCOME AND INTRODUCTION SCRIPT
Interviewer Instructions: The following scripts should NOT be read verbatim. Text in italics is suggested content with which the interviewer should be thoroughly familiar in advance. Text in brackets [ ] presents instructions for the interviewer.
Hello, my name is <your name > and I work for [COMPANY]. It’s nice to meet you, thanks for coming to help us out today.
[Create small talk to build rapport with the respondent]:
You are here today to help us out with a new research study that we are working on for the U.S. Department of Education. This study asks about [your child’s schooling, finding and choosing child care for your child for parents with children 5 and younger, or your educational certificates]. As part of this study I will ask you to read some letters and tell me what you think these letters are asking you to do. In addition, I will ask you to take a short survey as if you were taking a real survey. There are no right or wrong answers, and it’s ok if you do not know some of the answers. As you are looking over the letters and answering the questions I will ask you about your answers. This will help us make the letters and the survey better and clearer for other people just like you.
Because the information you provide is so important, I am going to be taking notes while we are talking [INSERT IF THERE IS AN OBSERVER: and my colleague will also be observing our session today].
Also, this interview will be recorded so researchers can review the recording later. Any information that refers to you or your family personally, like your name or name of your child’s school, will not be included in our report, and your responses will be used for research purposes only.
Remember, you are not being tested; we want you to tell us what you think about the letters and the survey.
If at any time you want to stop, just let me know.
[If, for any reason, the participant is no longer interested in participating, thank the participant for his/her time and end the interview.]
Before we continue, do you have any questions about what I just said? [Answer any questions the respondent may ask.]
PROVIDE RESPONDENT WITH A COPY OF THE INFORMED CONSENT FORM. ASK THE RESPONDENT TO READ THE FORM (OR READ IT TO HIM/HER, DEPENDING ON RESPONDENT PREFERENCE), ANSWER ANY QUESTIONS, AND HAVE THE RESPONDENT SIGN THE FORM. LEAVE A SEPARATE COPY OF THE FORM WITH THE RESPONDENT.
IF THE RESPONDENT HAS CONSENTED TO RECORDING, START THE RECORDER.
STEP 2: SCREENER LETTER
Now I would like you to complete this task as if it happened at home. I am going to give you this envelope and I would like you to do what you would generally do if you received these materials at home and opened them. I am going to step outside of the room for about five minutes to let you read the materials and I will be back so we can talk about it.
[HAND RESPONDENT ENVELOPE AND A PEN OR PENCIL, LEAVE THE ROOM/AREA]
[When respondent is finished]
Thank you for taking the time to read this.
Screener letter |
|
Now I have a few questions for you, but I would like you to answer without looking back at the letter. Could you please give me the letter back? Thank you.
I would like to ask about your reaction to the letter. Please remember that there are no right or wrong answers, we are just trying to learn how you and others like you understand this letter.
ASK:
Thank you. |
|
Now I want to ask you about the details of the letter, I am going to give you the letter back and we can talk more about it.
[Note any places where the respondent hesitates to read. Sections that the respondent skips, words that the respondent mispronounces or anything the respondent comments on.]
|
|
Who
Please read out loud the first paragraph of the letter.
[Wait for respondent to read the paragraph].
ASK:
|
|
What
Let’s continue, can you please read the second paragraph?
[Wait for respondent to finish reading the paragraph].
ASK:
|
|
How Let’s continue, can you please read the next sentence and the bullets?
[Wait for respondent to finish reading the paragraph.]
ASK:
|
|
Privacy
Let’s continue and talk about this text in the box. Can you please read it out loud?
[Wait for respondent to finish reading the paragraph.]
ASK:
|
|
STEP 3: THINK-ALOUD PRACTICE
While you fill out the survey I want you to talk about how you are answering the questions. Hearing you talk about how you figure out your answers to the questions will help me understand how to make these materials better. I am more interested in how you arrive at your answers than in the answers you give me. To help you get started on thinking aloud, we are going to do a practice activity.
First, I will show you an example of how to think out loud. Then I will give you a chance to practice it.
Please read aloud and answer the following question: How many glasses of water did you drink in the last two days?
[Model the think aloud process for the respondent, including reading the question out loud. Elaborate on counting all of the glasses of water, as needed you can make up pieces of information to emphasize the think aloud process e.g., “I don’t know if I should count the coffee I drank in the morning, I drink three cups of coffee, I am going to count those since that is the only liquid I have in the morning...” When you are modeling, write down the number of glasses of water as you are thinking aloud.]
[Once finished the model practice think aloud]
I’m going to give you a piece of paper with a question in it. I’m going to ask you to read out loud the question and think aloud as you decide on your answer.
[Give respondent handout with think aloud practice.]
How many glasses of water did you drink yesterday?
Please tell me what you are thinking while you are figuring out your answer.
Probe as needed for detail: How did you arrive at that answer? What were you visualizing when you were deciding on that answer? Can you tell me more about what you are including in your count?
When complete: Thank you; that’s the kind of detail I’m looking for when you talk to me about your answers to the questions in the survey.
Useful Probes (translated to fit language patterns)
Can you tell me in your own words what that question was asking?
What does the word [term] in this question mean to you?
How easy or difficult is it to remember [topic]?
How easy or hard was it to choose an answer?
Tell me what you are thinking?
How did you come up with that answer?
You said [answer]. Can you tell me more about that?
[In response to R actions or comments]: Tell me what happened? Tell me what you were doing?
[If you pick up on a visual cue like a furrowed brow or a puzzled look]: “Tell me what you are thinking.”
[If you pick up on a visual cue that indicates confusion like paper flipping or rereading an old question before answering this question]: “Tell me what just happened. Tell me about what you were just doing.”
STEP 4: SCREENER QUESTIONNAIRE
Now I am going to give you a short survey. I’d like you to try to fill the questions out as if you were doing it at home except I’d like you to think aloud while you decide on your answer like we did during the exercise. Please read aloud anything you would have read to yourself if I were not here.
Remember that I am very interested in hearing you talk about what you are thinking as you figure out your answers to the questions.
REMEMBER TO TELL THE RESPONDENT THROUGHOUT THE QUESTIONNAIRE THAT THEY ARE DOING A GREAT JOB THINKING ALOUD, AND THEIR ANSWERS TO YOUR QUESTIONS ARE REALLY HELPFUL.
Screener |
|
ASK THE RESPONDENT TO FILL OUT THE ENTIRE SCREENER. REMIND THEM TO THINK ALOUD IF THEY ARE NOT DOING SO. |
|
Q3. What is the person’s month and year of birth?
[If the respondent is having difficulty with the month and/or year] How did you come up with your answer?
|
|
Q5. Is this person currently in…?
How did you come up with your answer?
[If not evident from think aloud to previous questions] What does “homeschool” mean to you? |
|
STEP 5: TOPICAL LETTERS
[WRITE IN THE NAME OF THE FIRST CHILD LISTED FOR PARENTS AND THE FIRST ADULT LISTED FOR NON-PARENTS]
Now I have another letter for you. Please take a few minutes to read this one.
[HAND RESPONDENT ENVELOPE AND A PEN OR PENCIL LEAVE THE ROOM/AREA]
[When respondent is finished]
Thank you.
Topical Letters |
Like before, I have a few questions for you, but I would like you to answer without looking back at the letter. Could you please give me the letter back? Thank you.
Now I would like to ask about your reaction to the letter. Please remember that there are no right or wrong answers, we are just trying to learn how you and others like you understand this letter.
ASK:
Thank you. |
Now I want to ask you about the details of the letter, I am going to give you the letter back and we can talk more about it.
[Note any places where the respondent hesitates to read. Sections that the respondent skips, words that the respondent mispronounces or anything the respondent comments on.] |
Who
Please read out loud the first paragraph of the letter.
[Wait for respondent to read the paragraph].
ASK:
|
What
Let’s continue, can you please read the second and third paragraph?
[Wait for respondent to finish reading the paragraph].
ASK:
|
How Let’s continue, can you please read the next two paragraphs?
[Wait for respondent to finish reading the paragraph.]
ASK:
|
STEP 6: SCREENER POSTCARD
The survey sponsor also sends this postcard to everyone. Please take a minute to read it.
SCREENER POSTCARD |
ASK:
Thank you. |
STEP 7: ATES ITEMS
The last thing I would like you to do is to answer a few questions about job training. These are new questions that are being considered for the survey and your feedback about them will be helpful. Just like we did earlier, please answer the questions and “think out loud” as you answer them.
ATES ITEMS |
Probes if needed and if applicable to the respondent:
Let’s look at the question about how useful your certification or license has been. I want you to read letter c again and tell me, in your own words, what this means to you?
And what about letter d?
Now let’s look at the question about what you did to prepare. Please read letter d again and tell me, in your own words, what this means to you.
And what about letter e?
Now let’s look at these questions about work experience. Please read question 7 again. What does the term “education or formal training” mean to you?
And what about “internship”?
And finally, “apprenticeship”?
|
FINAL QUESTION
Do you have anything else you would like to tell me about these materials that you haven’t had a chance to mention?
STEP 5. THANK YOU FOR PARTICIPATING
We are finished. Thank you for helping us. The information you’ve provided will be very helpful for making the letters and survey better.
Interviewer Instructions: Collect materials and escort parent out of the interviewing room and to the lobby. Please give the respondent incentive envelope [$40 gift card], and thank them for their time and effort.
Documento Adjunto 3
Protocolo en Español para las Entrevistas Cognitivas
ID de la Entrevista: |
|
Fecha de la entrevista: |
|
Nombre del Adulto: |
|
Entrevistador |
|
|
|
|
|
MATERIALS NEEDED FOR INTERVIEW
INTERVIEWER PROTOCOL
RESPONDENT LETTERS AND QUESTIONNAIRE
DO YOU HAVE THE CORRECT VERSION OF THE LETTERS, PROTOCOL, AND QUESTIONNAIRE?
CONSENT FORM (TWO COPIES)
INCENTIVE
PAYMENT RECEIPT
DIGITAL RECORDER AND EXTRA BATTERIES
PENS AND PENCILS
STEP 1: WELCOME AND INTRODUCTION SCRIPT
Interviewer Instructions: The following scripts should NOT be read verbatim. Text in italics is suggested content with which the interviewer should be thoroughly familiar in advance. Text in brackets [ ] presents instructions for the interviewer.
Hola, mi nombre es <su nombre> y trabajo para [COMPAÑIA]. Mucho gusto de conocerle. Gracias por venir a ayudarnos el día de hoy.
[Platique de algún tema casual para establecer una buena relación con el participante.]:
Usted está aquí hoy para ayudarnos con un nuevo estudio de investigación que estamos realizando para el Departamento de Educación de los Estados Unidos. Este estudio pregunta acerca de [la educación de sus hijos, la búsqueda y selección de cuidado infantil para los padres con hijos de cinco años de edad o menores, o acerca de sus certificados de estudios].
Este estudio es sobre [la educación de su hijo(a), cómo buscaron y escogieron el para su hijo(a) para aquellos padres con niños de cinco años o menores, y sobre sus certificados de educación. Como parte de este estudio, le voy a pedir que lea algunas cartas y que me diga lo que piensa que estas cartas le están pidiendo que haga. Además, voy a pedirle que tome una breve encuesta como que si estuviera tomando una encuesta real. No existen respuestas correctas o incorrectas y está bien si usted no sabe algunas de las respuestas. A medida que usted vaya leyendo las cartas y respondiendo a las preguntas, yo le voy a hacer algunas preguntas acerca de sus respuestas. Esto nos ayudará a que las cartas y la encuesta sean mejores y más claras.
Debido a que la información que usted nos dará es muy importante, voy a estar tomando notas mientras estamos hablando [INSERTE SI HAY UN OBSERVADOR: y mi colega también va a observar nuestra sesión de hoy].
Además, esta entrevista será grabada en audio para que los investigadores del estudio puedan revisar la grabación más tarde. Cualquier información que se refiera a usted o su familia personalmente, tal como su nombre o la escuela de su hijo(a), no será incluida en nuestro informe y sus respuestas serán utilizadas para fines de investigación únicamente.
Recuerde que usted no está tomando un examen. Queremos que nos diga lo que usted piensa acerca de las cartas y la encuesta.
Si en algún momento usted desea detenerse, solamente déjemelo saber.
[Si por algún motivo el participante ya no tiene interés en participar, agradézcale por su tiempo y termine la entrevista.]
Antes de que continuemos, ¿tiene alguna pregunta sobre lo que acabo de decir? [Responda a cualquier pregunta que pueda hacer el participante.
PROVIDE RESPONDENT WITH A COPY OF THE INFORMED CONSENT FORM. ASK THE RESPONDENT TO READ THE FORM (OR READ IT TO HIM/HER, DEPENDING ON RESPONDENT PREFERENCE), ANSWER ANY QUESTIONS, AND HAVE THE RESPONDENT SIGN THE FORM. LEAVE A SEPARATE COPY OF THE FORM WITH THE RESPONDENT.
IF THE RESPONDENT HAS CONSENTED TO RECORDING, START THE RECORDER.
STEP 2: SCREENER LETTER
Ahora me gustaría que complete esta actividad como que si estuviera sucediendo en su casa. Voy a darle este sobre y quiero que usted haga lo que usted haría normalmente si usted recibiera y abriera estos materiales en su casa.
Voy a salir del cuarto por aproximadamente cinco minutos para dejar que usted lea los materiales y luego regresaré para que podamos hablar al respecto.
[ENTREGUELE EL SOBRE Y UNA PLUMA O LÁPIZ AL ENTREVISTADO Y SALGA DEL CUARTO/AREA.]
[Cuando el entrevistado termine:]
Gracias por tomarse el tiempo para leer estos materiales.
Screener letter |
|
Ahora tengo unas cuantas preguntas para usted, pero me gustaría que las responda sin ver la carta. Por favor, ¿Puede devolverme la carta? Gracias.
Me gustaría preguntar acerca de su reacción a la carta. Por favor, recuerde que no hay respuestas correctas o incorrectas, sólo estamos tratando de saber esta carta puede ser interpretada.
PREGUNTE:
Gracias. |
|
Ahora quiero preguntarle acerca de los detalles de la carta. Voy a devolverle la carta y podemos hablar más acerca de ella.
[Anote cualquier lugar en el que el entrevistado dude al leer, secciones que se salte el entrevistado, palabras que el entrevistado pronuncie incorrectamente o cualquier cosa acerca de la que haga comentarios el entrevistado.]
|
|
Quién
Por favor, lea en voz alta el primer párrafo de la carta.
[Espere a que el entrevistado termine de leer el párrafo.]
PREGUNTE:
|
|
Qué
Continuemos. Por favor, ¿puede leer el segundo párrafo?
[Espere a que el entrevistado termine de leer el párrafo.]
PREGUNTE:
|
|
Cómo Continuemos. Por favor, ¿puede leer la siguiente oración y los puntos?
[Espere a que el entrevistado termine de leer el párrafo.]
PREGUNTE:
|
|
Privacidad
Continuemos y hablemos acerca de este texto en el cuadro. Por favor, ¿Puede leerlo en voz alta?
[Espere a que el entrevistado termine de leer el párrafo.]
PREGUNTE:
|
|
STEP 3: THINK-ALOUD PRACTICE
Mientras esté completando la encuesta, quiero que hable acerca de cómo está contestando las preguntas. Quiero escucharla(o) hablar acerca de cómo usted llega a sus respuestas para así entender cómo mejorar estos materiales. Me interesa más saber cómo llega a sus respuestas que en las respuestas que usted me dé. Para ayudarle a empezar a pensar en voz alta vamos a hacer un ejercicio de práctica.
Primero, le voy a dar una demostración de cómo pensar en voz alta. Después le voy a dar una oportunidad para que practique.
[Model the think aloud process for the respondent, including reading the question out loud. Elaborate on counting all of the glasses of water as needed you can make up pieces of information to emphasize the think aloud process e.g., “I don’t know if I should count the coffee I drank in the morning, I drink three cups of coffee, I am going to count those since that is the only liquids I have in the morning...” When you are modeling, write down the number of glasses of water as you are thinking aloud.]
[Once finished the model practice think aloud]
Voy a darle un papel con una pregunta. Le voy a pedir que lea en voz alta la pregunta y que piense en voz alta mientras decide su respuesta.
[Give respondent handout with think aloud practice.]
¿Cuántos vasos de agua tomó usted ayer?
Por favor dígame lo que está pensando mientras me da su respuesta.
Pregunte según sea necesario para obtener información detallada: ¿Cómo llegó a esa respuesta? ¿Qué estaba visualizando mientras estaba decidiendo que responder? ¿Puede decirme más acerca de lo que usted está incluyendo en su conteo?
Cuando haya completado el ejercicio: Gracias. Ese es el tipo de detalle que busco cuando usted me hable acerca de sus respuestas a las preguntas de la encuesta.
Preguntas de seguimiento (probes) En sus propias palabras, ¿puede decirme lo que dice esa pregunta?
¿Qué significa la palabra [término] en esta pregunta para usted?
¿Qué tan fácil o difícil es recordar [tema]?
¿Qué tan fácil o difícil es escoger una respuesta?
Dígame lo que está pensando.
¿Cómo llegó a esa respuesta?
Usted dijo [respuesta]. ¿Puede decirme más acerca de esto?
[En respuesta a las acciones o comentarios del entrevistado]: Dígame que pasó. Dígame que estaba haciendo.
[Si nota alguna señal visual, como cejas fruncidas o una expresión de confusión]: “Dígame que está pensando.”
[Si nota alguna señal visual que indique confusión como voltear las páginas para regresar a secciones anteriores o volver a leer preguntas anteriores antes de responder a esta pregunta: Dígame qué es lo que acaba de pasar. Dígame acerca de lo que acaba de hacer.”
STEP 4: SCREENER QUESTIONNAIRE
Ahora voy a darle una breve encuesta. Me gustaría que trate de completar las preguntas como si lo estuviera haciendo en casa, excepto que quiero que piense en voz alta mientras decide su respuesta, así como lo hicimos durante el ejercicio. Por favor lea en voz alta cualquier cosa que usted hubiera leído para sí misma, como si yo no estuviera aquí.
Recuerde que estoy muy interesada/o en escucharle hablar acerca de lo que está pensando mientras decide las respuestas para las preguntas.
REMEMBER TO TELL THE RESPONDENT THROUGHOUT THE QUESTIONNAIRE THAT THEY ARE DOING A GREAT JOB THINKING ALOUD, AND THEIR ANSWERS TO YOUR QUESTIONS ARE REALLY HELPFUL.
Screener |
|
POR FAVOR LLENE TODA LA ENCUESTA Y PIENSE EN VOZ ALTA COMO HICIMOS EN EL EJERCICIO. |
|
Q3. ¿Cuál es el mes y año de nacimiento de la persona?
[Si el participante tiene dificultad con el mes yo año] ¿Cómo se le ocurrió su respuesta? |
|
Q5. ¿Asiste esta persona actualmente a. . .?
¿Cómo se le ocurrió su respuesta?
[Si no es evidente por lo que dijo al pensar en voz alta al responder preguntas previas] ¿Qué quiere decir para usted “Escuela en el hogar (homeschool) en lugar de asistir a una escuela pública o privada para algunas o todas las clases? |
|
STEP 5: TOPICAL LETTERS
[WRITE IN THE NAME OF THE FIRST CHILD LISTED FOR PARENTS AND THE FIRST ADULT LISTED FOR NON-PARENTS]
Ahora tengo otra carta para usted. Por favor tome unos minutos para leerla.
[HAND RESPONDENT ENVELOPE AND A PEN OR PENCIL LEAVE THE ROOM/AREA]
[When respondent is finished]
Gracias.
Topical Letters |
Al igual que antes, tengo unas cuantas preguntas para usted, pero me gustaría que las responda sin ver la carta. Por favor, ¿Puede devolverme la carta? Gracias.
Ahora me gustaría preguntarle acerca de su reacción a la carta. Por favor, recuerde que no hay respuestas correctas o incorrectas. Sólo estamos tratando de entender cómo usted interpreta la carta.
PREGUNTAR:
Gracias. |
Ahora quiero preguntarle acerca de los detalles de la carta. Voy a devolverle la carta y podemos hablar más acerca de ella.
[Anote cualquier lugar en el que el entrevistado dude al leer, secciones que se salte el entrevistado, palabras que el entrevistado pronuncie incorrectamente o cualquier cosa acerca de la que haga comentarios el entrevistado.] |
Quién
Por favor, lea en voz alta el primer párrafo de la carta.
[Espere a que el entrevistado termine de leer el párrafo.]
PREGUNTE:
|
Qué
Continuemos. Por favor, ¿puede leer el segundo y tercer párrafo?
[Espere a que el entrevistado termine de leer el párrafo.]
PREGUNTE:
|
Cómo Continuemos. Por favor, ¿puede leer los siguientes dos párrafos?
[Espere a que el entrevistado termine de leer el párrafo.]
PREGUNTE:
|
STEP 6: SCREENER POSTCARD
El patrocinador de la encuesta también envía esta postal. Por favor, tómese un minuto para leerla.
SCREENER POSTCARD |
PREGUNTE:
Gracias. |
La ultima actividad que vamos que le voy a pedir que hagamos hoy es es responder a algunas preguntas acerca de su adiestramiento laboral. Estas son preguntas nuevas que se están considerando para la encuesta y sus comentarios acerca de ellas serán útil. Al igual que hicimos antes, por favor, responda a las preguntas y " piense en voz alta " mientras contesta las preguntas.
ATES ITEMS |
Probes if needed and if applicable to the respondent:
Veamos esta pregunta sobre que tan útil ha sido su certificación o licencia. Quiero leer la opción c otra vez y quiero que me diga, en sus propias palabras, ¿que significa esto para usted?
?Y la letra d?
Ahora veamos lo que hizo para preparase. Por favor lea la letra d y digame, en sus palabras, ¿que significa para usted esto?
¿Y que pasa con la letra e?
Ahora veamos las preguntas sobre su experiencia de trabajo. Por favor lea la pregunta 7 otra vez. ¿Me puede decir que significa el termino “educación o formación/capacitación formal” para usted?
¿Hablemos de “pasantía o práctica profesional”?
¿Y finalmente programa “de aprendiz”?
|
FINAL QUESTION
¿Tiene algo más que le gustaría hablar sobre estos materiales que no hemos tenido la oportunidad de hablar?
STEP 5. THANK YOU FOR PARTICIPATING
Hemos terminado. Gracias por ayudarnos. La información que nos ha dado será muy útil para mejorar las cartas y encuesta.
Interviewer Instructions: Collect materials and escort parent out of the interviewing room and to the lobby. Please give the respondent incentive envelope [$40 gift card], and thank them for their time and effort.
| File Type | application/vnd.openxmlformats-officedocument.wordprocessingml.document |
| Author | U.S. Department of Education |
| File Modified | 0000-00-00 |
| File Created | 2021-01-27 |