Một bảng hỏi có thể nhìn rất chỉn chu trên màn hình nhưng vẫn khiến người trả lời hiểu khác ý định của người nghiên cứu. Họ có thể không biết mốc thời gian được hỏi là lúc nào, không phân biệt được hai lựa chọn gần nghĩa, hoặc bỏ qua một nhánh câu hỏi vì giao diện chưa rõ. Khi những điểm này chỉ được phát hiện sau khi đã thu đủ mẫu, việc sửa thường không còn khả thi. Vì vậy, thử bảng hỏi không phải là bước hình thức trước khi phát hành; đó là lúc kiểm tra xem công cụ đo có thực sự vận hành được với đúng người trả lời hay không.
Hiệp hội Nghiên cứu Dư luận Hoa Kỳ khuyến nghị tiền kiểm bảng hỏi trước khi triển khai, trong đó có thể dùng phỏng vấn nhận thức để hiểu người trả lời diễn giải câu hỏi và hình thành câu trả lời ra sao; một khảo sát thử cũng nên kiểm tra toàn bộ quy trình từ tuyển mẫu đến làm sạch dữ liệu (AAPOR). GESIS cũng phân biệt rõ tiền kiểm nhận thức, nhằm tìm vấn đề trong cách người trả lời hiểu và xử lý câu hỏi, với khảo sát thử nhằm kiểm tra toàn bộ bảng hỏi và quy trình vận hành (GESIS Survey Guideline).
Đừng chỉ hỏi: “Anh/chị thấy bảng hỏi ổn không?”
Câu hỏi này thường nhận được một cái gật đầu lịch sự, nhưng cho rất ít thông tin để sửa. Hãy chọn vài câu có nguy cơ cao: khái niệm chuyên môn, câu yêu cầu nhớ lại quá khứ, thang đo dài, câu có điều kiện lọc, hoặc câu dễ chạm tới trải nghiệm nhạy cảm. Sau khi người thử trả lời, hãy hỏi tiếp: “Anh/chị hiểu câu này đang hỏi về điều gì?”, “Anh/chị dựa vào đâu để chọn phương án này?” và “Có từ nào khiến anh/chị phải dừng lại không?”. Mục đích không phải kiểm tra người trả lời; mục đích là kiểm tra chính câu hỏi.
Ví dụ, một nghiên cứu về trải nghiệm khách hàng có thể hỏi: “Trong sáu tháng qua, anh/chị có thường nhận được hỗ trợ kịp thời không?”. Người này có thể nghĩ đến nhân viên cửa hàng, người khác lại nghĩ đến tổng đài, còn một số người không nhớ rõ khoảng thời gian sáu tháng. Nếu khái niệm trung tâm là hỗ trợ qua tổng đài sau khi mua hàng, câu hỏi cần nói thẳng điều đó. Một cuộc tiền kiểm ngắn thường phát hiện những cách hiểu khác nhau này nhanh hơn nhiều so với việc nhìn lại một bảng tần suất sau khi khảo sát đã đóng.
Chia tiền kiểm thành hai việc nhỏ
Việc thứ nhất là kiểm tra cách hiểu. Với một nhóm nhỏ có đặc điểm gần với mẫu chính, người nghiên cứu quan sát họ đọc, trả lời và giải thích những câu quan trọng. Hãy ghi lại nguyên văn những chỗ họ do dự, những từ họ hỏi lại và lựa chọn nào không bao quát được câu trả lời thực tế. Việc thứ hai là chạy khảo sát thử trên đúng nền tảng sẽ dùng. Lần chạy này kiểm tra thứ tự câu hỏi, điều kiện nhảy trang, thời gian hoàn thành, hiển thị trên điện thoại và cách dữ liệu được ghi nhận.
Hai việc này không thay thế nhau. Một câu hỏi có thể được hiểu đúng trong trao đổi trực tiếp nhưng bị bỏ qua trên điện thoại vì phần hướng dẫn quá dài. Ngược lại, một biểu mẫu có thể chạy mượt về kỹ thuật nhưng vẫn đo sai vì hai người hiểu một khái niệm theo hai cách. Nếu nguồn lực hạn chế, hãy ưu tiên các câu liên quan trực tiếp đến biến chính, tiêu chí sàng lọc và các mục mà kết quả sẽ được dùng để ra quyết định.
Ghi nhận lỗi theo quyết định sửa
Sau tiền kiểm, đừng chỉ giữ những nhận xét rời rạc như “câu 7 hơi khó”. Hãy lập một bảng ngắn gồm: câu hỏi, vấn đề quan sát được, bằng chứng từ người thử, cách sửa và lý do giữ nguyên nếu không sửa. Chẳng hạn, nếu ba người hiểu “gần đây” là ba mốc khác nhau, có thể đổi thành “trong 30 ngày qua”. Nếu người trả lời chọn nhiều phương án cùng lúc nhưng biểu mẫu chỉ cho chọn một, cần quyết định lại câu hỏi đang cần một đáp án chính hay nhiều đáp án đồng thời.
Nhật ký này có hai lợi ích. Thứ nhất, nó giúp cả nhóm không sửa theo cảm giác hoặc theo ý kiến của người có tiếng nói lớn nhất. Thứ hai, nó tạo dấu vết phương pháp để sau này giải thích vì sao một câu được diễn đạt theo cách hiện tại. Khi bản dịch được sử dụng, cần tiền kiểm riêng cho từng ngôn ngữ; câu dịch đúng từ chưa chắc đã gợi cùng một cách hiểu trong ngữ cảnh sử dụng.
Chỉ phát hành khi ba câu hỏi đã rõ
Trước khi mở khảo sát chính thức, nhóm nên trả lời được ba câu hỏi: người thuộc mẫu mục tiêu có hiểu câu hỏi theo ý định không; luồng khảo sát có chạy đúng trên thiết bị thực tế không; và mỗi lựa chọn trả lời có đủ để người trả lời phản ánh tình huống của mình không. Không phải mọi dự án đều cần một đợt thử lớn, nhưng dự án nào cũng cần một cách kiểm tra có chủ đích trước khi dữ liệu trở thành nền tảng cho kết luận.
Thử bảng hỏi sớm không làm chậm nghiên cứu. Nó chuyển một phần rủi ro từ giai đoạn dữ liệu đã khóa sang giai đoạn còn có thể sửa với chi phí thấp. Một vài quan sát cụ thể từ đúng nhóm người trả lời, cùng một lần chạy thử nghiêm túc trên nền tảng thật, thường giá trị hơn nhiều so với việc phát hiện lỗi khi toàn bộ bảng dữ liệu đã được xuất ra.
Tham khảo
American Association for Public Opinion Research. Best Practices for Survey Research.
Lenzner, T., Hadler, P., & Neuert, C. Cognitive Pretesting. GESIS Leibniz Institute for the Social Sciences.
Ảnh minh họa: Catheryn Lavery / Unsplash.
