ECLS-K:2011 Pilot Tests of the Third-, Fourth-, and Fifth-Grade Direct Child Assessment, Child Questionnaire, and Online School Administrator Questionnaire

Appendix B:
Debriefing Questions

Debriefing Questions 

These questions will be included at the end of the online School Administrator Questionnaire (SAQ) to 
collect feedback on the online format of the questionnaire, the level of effort needed to complete the 
questionnaire with pre‐filled responses, and the ease‐of‐use of the online system. These questions will 
be asked of all respondents. Responses will be reviewed, and participants providing responses that 
would benefit from follow‐up (e.g., responses that are unclear or ambiguous, responses that indicate 
difficulty using the online system) will be called by an ECLS‐K:2011 staff member.  In those follow‐up 
calls, respondents will be asked to clarify and further explain their responses and experiences with the 
online questionnaire. 

Introductory text:  Thank you for completing the online School Administrator Questionnaire!  To help us 
refine the online questionnaire, please give us your feedback on your experiences by responding to the 
questions that follow. 

1. Please indicate whether you completed the paper questionnaire and the online questionnaire, 
or only the online questionnaire. 
a. Paper questionnaire and online questionnaire 
b. Online questionnaire only (GO TO QUESTION 6) 

2. Approximately how long did it take you to complete the paper questionnaire? 
______  
Minutes 

Or 

______  
Hours 

3. Thinking about the online questionnaire, how did having some questions pre‐filled with 
responses affect the time it took you to complete the questionnaire? 
a. It slowed me down.  It would have been faster to complete the questions myself. 
b. It made the questionnaire quicker to complete. 
c. It had no effect on the time it took me to complete the questionnaire. 

4. How difficult was it for you to change responses that were pre‐filled? 
1‐Very difficult 
2 
3 
4 
5‐Not at all 
I did not 
difficult 
change any 
of the pre‐
filled 
responses 

5. Thinking only about the questions that were not pre‐filled in the online questionnaire, did you 
find it took a different amount of time to answer the questions online than it did on paper? 

a. No, it took me about the same amount of time to answer these not pre‐filled questions 
online and on paper.  (GO TO QUESTION 6) 
b. Yes, it took me longer to answer these not pre‐filled questions in the online 
questionnaire than on paper.  (GO TO QUESTION 6) 
c. Yes, it took me less time to answer these not pre‐filled questions in the online 
questionnaire than on paper. 

5a. Which one of the following reasons best describes why it took a shorter 
amount of time to answer the questions online that were not pre‐filled as 
compared to the same questions in the paper questionnaire?   

a. The electronic system let me move through questions more quickly than 
I was able to with the paper questionnaire (for example, because the 
computer automatically routed me to the next applicable question). 
b. Most of the information I needed to answer the questions is available 
electronically, so it was easier to complete the questions online as I was 
obtaining the information I needed. 
c. I answered the online questions faster only because I was already 
familiar with these items from the paper questionnaire. 
d. Other reason.  

6. Approximately how long did it take you to complete the online questionnaire? 
______  
Minutes 

Or 

______  
Hours 

7. Please rate the online questionnaire on the following dimensions related to functionality and 
ease‐of‐use: 

The survey technology (e.g., using the   
survey link to enter the 
questionnaire, leaving and re‐
entering the questionnaire) 
Completion of the questionnaire 

items (e.g., entering responses, using 
the drop‐down boxes) 
Navigation through the questionnaire   
(e.g., moving through the 
questionnaire, going from page to 
page) 

1‐Very 
difficult 

2 

3 

4 

5‐Not at 
all 
difficult 

8. Please describe any difficulties or confusion you may have faced while completing the online 
questionnaire (for example, with the technology itself or with any of the questions). 

9. Did you skip any questions in the online questionnaire? 
a. No. 
b. Yes.  Please identify the question(s) that you skipped and describe why you skipped 
them. 

10. Thinking about the types of questions in this questionnaire, did answering them in an online 
format make them harder or easier to answer than would be the case when answering the same 
questions on a paper questionnaire? 
1‐Made it more difficult to 
2 
3‐Had no effect 
4 
5‐Made it easier 
answer the questions 
to answer the 
questions 

11. Please explain why answering the questions in an online format made them harder to answer, 
easier to answer, or had no effect on how easy they were to answer..   

12. Did you ask another person to help you complete the questionnaire? 
a. No. 
b. Yes, the other person gave me some of the responses and I entered them online myself. 
c. Yes, I forwarded the survey link to someone else and s/he completed some of the 
questions. 

IF C:  Did you encounter any problems having someone else complete some sections of 
the questionnaire? Please note any problems you may have had with more than one 
person accessing and entering responses in the online questionnaire.  (OPEN ENDED) 

13. Did you complete the questionnaire in one session/sitting? 
a. Yes. 
b. No.  Please specify how many sessions you took to complete the online questionnaire. 

14. While you were logged in to complete the questionnaire, did you also use your computer to find 
information online that you needed to answer some or all of the questions? (For example, did 
you access school or district records available online while completing the online 
questionnaire?) 
a. No, because none of the information is stored online. 
b. No, because I already knew the answers and did not need to look them up online. 
c. Yes, I did look up some or all of the responses online. 

i. IF C: How difficult was it to switch between the online questionnaire and the 
information source you were using to find your responses?  
1‐Very 
2 
3 
4 
5‐Not at 
difficult 
all 
difficult 

ii. IF C: Please note any difficulties you experienced switching between the online 
source and the questionnaire. 

15.  If you had been given a choice, would you have preferred to answer this questionnaire online or 
would you have preferred to receive a paper version? 
a. I would have preferred an online questionnaire. 
b. I would have preferred a paper questionnaire. 

16.  Please explain why you would have preferred this format. 

17. If you were asked to complete a questionnaire like this in the future, how would having an 
online questionnaire affect the likelihood that you would complete the entire questionnaire?  
4 
5‐I would be 
1‐I would be less likely to 
2 
3‐Having the 
more likely to 
complete the questionnaire 
questionnaire online 
complete the 
because it is online. 
would have no effect 
questionnaire 
on whether I complete 
because it is 
it. 
online. 

18. Please share any other comments or thoughts you have about the online questionnaire or any of 
the questionnaire items themselves. 

Thank you for taking the time to complete the online questionnaire and for providing us with your 
feedback on the process! We appreciate your effort and opinions and will use the results to refine 
our procedures for collecting data from school administrators in this important research study.