Tìm một số câu hỏi trong bài báo rồi ghép thành bảng hỏi chưa đủ để tạo thang đo. Một thang đo phải bắt đầu từ định nghĩa khái niệm, phạm vi nội dung và mô hình đo lường. Nếu nền tảng này không rõ, các chỉ số độ tin cậy cao vẫn có thể phản ánh những câu hỏi giống nhau về mặt từ ngữ nhưng không đại diện đúng cho khái niệm cần đo. Bài viết trình bày chuỗi phát triển thang đo từ khái niệm đến bằng chứng giá trị. Trọng tâm không chỉ là Cronbach’s alpha hay hệ số tải, mà là sự phù hợp giữa định nghĩa, miền nội dung, cách viết chỉ báo, đối tượng trả lời và mô hình phân tích. Mỗi bước tạo một loại bằng chứng khác nhau và không thể dùng bước sau để sửa sai hoàn toàn cho bước trước.
Độ tin cậy cho biết các chỉ báo nhất quán. Giá trị đo lường mới trả lời chúng có phản ánh đúng khái niệm hay không.
Quy trình phát triển hoặc thích nghi thang đo
- Định nghĩa khái niệm và phân biệt với khái niệm gần.
- Xác định miền nội dung và các chiều cạnh.
- Tạo hoặc lựa chọn chỉ báo từ lý thuyết và dữ liệu định tính.
- Đánh giá giá trị nội dung với chuyên gia và người trả lời mục tiêu.
- Cognitive interviewing (cách phỏng vấn để tìm hiểu người tham gia hiểu câu hỏi và chọn câu trả lời như thế nào), khảo sát sơ bộ và phân tích cấu trúc.
- Kiểm tra độ tin cậy, hội tụ, phân biệt và tính bất biến khi cần.
Ba câu hỏi trước khi “mượn” thang đo
| Câu hỏi | Vì sao quan trọng |
|---|---|
| Khái niệm có cùng định nghĩa? | Cùng tên nhưng phạm vi có thể khác |
| Bối cảnh và đối tượng có tương đồng? | Ý nghĩa chỉ báo có thể thay đổi |
| Mô hình đo lường có phù hợp? | Reflective và formative có logic khác nhau |
Dịch thuật cần kiểm tra ý nghĩa
Dịch xuôi và dịch ngược là bước hữu ích nhưng chưa đủ. Nên phỏng vấn nhận thức để biết người trả lời hiểu thuật ngữ, mốc thời gian và phương án trả lời ra sao. Một câu dịch đúng ngữ pháp vẫn có thể khác ý nghĩa đo lường.
Không loại chỉ báo chỉ để đẹp chỉ số
Loại chỉ báo cần xem cả tải nhân tố, nội dung và ảnh hưởng đến phạm vi khái niệm. Nếu loại quá nhiều câu chỉ vì tải thấp, thang đo có thể mất một chiều cạnh quan trọng. Quyết định cần được báo cáo minh bạch.
Đo lường bắt đầu từ định nghĩa khái niệm
Thang đo là cách biểu diễn một khái niệm trừu tượng bằng tập chỉ báo có quan hệ với nhau. Chất lượng thang đo phụ thuộc trước hết vào định nghĩa khái niệm và phạm vi nội dung, sau đó mới đến hệ số thống kê. Một thang đo có độ tin cậy cao vẫn có thể đo sai khái niệm hoặc bỏ sót một phần quan trọng.
Kế thừa thang đo không có nghĩa sao chép nguyên văn. Cần kiểm tra bối cảnh gốc, đối tượng, dạng thang, quá trình dịch và sự phù hợp văn hóa. Điều chỉnh câu chữ phải giữ ý nghĩa chỉ báo; thay đổi lớn có thể làm thang đo trở thành công cụ mới và cần đánh giá lại nội dung.
Đường đi từ miền nội dung đến bằng chứng giá trị
- Định nghĩa khái niệm: Làm rõ nội hàm, ranh giới và phân biệt với các khái niệm gần.
- Lập bản đồ nội dung: Xác định các khía cạnh cần được đại diện và rà soát chỉ báo từ tài liệu.
- Đánh giá trước khảo sát: Dùng chuyên gia, phỏng vấn nhận thức và thử nghiệm nhỏ để kiểm tra cách hiểu.
- Kiểm định mô hình đo lường: Đánh giá độ tin cậy, hội tụ, phân biệt và cấu trúc trước khi kiểm định quan hệ.
Khi độ tin cậy cao nhưng đo sai khái niệm
Một nghiên cứu dùng thang đo ‘hỗ trợ tổ chức’ nhưng thêm các câu hỏi về lương, lãnh đạo và quan hệ đồng nghiệp chỉ vì chúng có tương quan cao. Hệ số tin cậy có thể tăng nhưng nội dung khái niệm bị trộn. Khi quay lại định nghĩa, nhóm nghiên cứu loại các chỉ báo ngoài phạm vi và bổ sung đánh giá chuyên gia trước khi khảo sát chính thức.
Hồ sơ chất lượng của một thang đo
- Mức bao phủ nội dung theo định nghĩa khái niệm
- Kết quả phỏng vấn nhận thức và thử nghiệm
- Độ tin cậy tổng hợp và giá trị hội tụ
- HTMT, tải chéo và bằng chứng giá trị phân biệt
Khi rà soát, không nên chỉ hỏi hoạt động đã được thực hiện hay chưa. Cần kiểm tra giả định nào đã được xác nhận, quyết định nào thay đổi, ai chịu trách nhiệm và kết quả được đo ở đâu. Cách tiếp cận này giúp chuyển kiến thức thành một cơ chế cải tiến có thể theo dõi.
Bảo vệ ý nghĩa khái niệm trong toàn bộ quá trình đo lường
Trước khi kiểm định thống kê, nhóm nghiên cứu nên lập bảng đặc tả khái niệm: định nghĩa, các chiều cạnh, nội dung được bao gồm, nội dung bị loại trừ và sự khác biệt với khái niệm gần. Bảng này là căn cứ để chọn hoặc viết chỉ báo. Nếu định nghĩa thay đổi trong quá trình phân tích nhưng chỉ báo vẫn giữ nguyên, kết quả có thể nhất quán về số liệu mà không còn nhất quán về ý nghĩa.
Đánh giá của chuyên gia cần tập trung vào mức độ đại diện và sự rõ ràng, không chỉ hỏi chung rằng câu hỏi có “hợp lý” hay không. Phỏng vấn nhận thức với người trả lời mục tiêu giúp phát hiện thuật ngữ khó hiểu, cách suy luận ngoài dự kiến hoặc mốc tham chiếu khác nhau. Những vấn đề này thường không xuất hiện trong hệ số độ tin cậy nhưng có thể làm sai cách người tham gia trả lời.
Khi phân tích, quyết định giữ hoặc loại chỉ báo phải kết hợp bằng chứng thống kê và nội dung. Một chỉ báo tải thấp có thể do diễn đạt kém, nhưng cũng có thể đại diện cho một khía cạnh khác của khái niệm. Loại bỏ chỉ để tăng chỉ số có thể làm miền nội dung bị thu hẹp. Báo cáo tốt cần nói rõ tiêu chí, số lần điều chỉnh và ảnh hưởng của thay đổi đến định nghĩa. Đo lường là một lập luận về cách quan sát khái niệm, không chỉ là một bước kỹ thuật trước khi kiểm định mô hình.
Ví dụ ứng dụng
Ví dụ: Độ tin cậy cao nhưng khái niệm vẫn có thể bị đo sai
Một nghiên cứu đo trải nghiệm khách hàng bằng nhiều câu hỏi về sự hài lòng. Kết quả cho thấy hệ số tin cậy cao, nhưng các chỉ báo chủ yếu hỏi khách hàng có thích dịch vụ hay không. Trong khi đó, nghiên cứu định nghĩa trải nghiệm là đánh giá hình thành qua nhiều điểm chạm, gồm công sức, cảm xúc và mức độ đạt mục tiêu. Thang đo nhất quán về mặt thống kê nhưng không bao phủ miền nội dung của khái niệm.
Nhóm nghiên cứu quay lại định nghĩa, lập bảng đối chiếu giữa từng khía cạnh và chỉ báo, tham khảo thang đo gốc cũng như phỏng vấn nhận thức với người trả lời. Một số câu được sửa vì bản dịch đúng từ nhưng khác ý trong bối cảnh sử dụng; một số chỉ báo mới được bổ sung để phản ánh công sức và tính liên tục. Việc kiểm định thống kê được thực hiện sau khi nội dung đo lường đã được bảo vệ.
Thang đo không phải danh sách câu hỏi có tương quan cao. Chất lượng bắt đầu từ định nghĩa khái niệm, phạm vi nội dung, đối tượng và bối cảnh. Độ tin cậy cho biết các chỉ báo có vận hành nhất quán, nhưng không tự chứng minh chúng đo đúng điều cần đo. Vì vậy, quyết định giữ hoặc loại chỉ báo phải kết hợp lý thuyết, nội dung và bằng chứng thực nghiệm.
Người nghiên cứu nên lập hồ sơ cho từng thang đo gồm định nghĩa, nguồn, bối cảnh gốc, quy trình dịch, ý nghĩa từng chỉ báo và thay đổi đã thực hiện. Trước khảo sát chính thức, phỏng vấn nhận thức giúp phát hiện cách hiểu khác với dự kiến. Khi phân tích, không nên loại chỉ báo chỉ để cải thiện một chỉ số mà không xem hậu quả đối với miền nội dung. Một mô hình đo lường đẹp nhưng khái niệm bị thu hẹp sẽ làm kết luận thiếu giá trị.
Trong nghiên cứu xuyên bối cảnh, tính tương đương cần được xem xét trước khi so sánh. Cùng một từ có thể mang ý nghĩa khác giữa ngành, nhóm tuổi hoặc quốc gia. Dịch ngược chỉ kiểm tra một phần; phỏng vấn nhận thức, đánh giá chuyên gia và thử nghiệm sơ bộ giúp phát hiện khác biệt trong cách người trả lời hiểu tình huống. Nếu ý nghĩa không tương đương, việc so sánh điểm số có thể tạo ra kết luận chính xác về số học nhưng sai về khái niệm. Sai lệch này rất khó sửa sau khi dữ liệu đã được thu thập.
Kết quả cũng cần được trao đổi với người trực tiếp thực hiện, bởi số liệu chỉ cho biết điều gì đã xảy ra còn trải nghiệm của họ giúp giải thích vì sao. Ghép hai nguồn thông tin sẽ tạo cơ sở tốt hơn cho quyết định giữ nguyên, điều chỉnh hoặc dừng lại.
Bài viết liên quan
Tài liệu tham khảo
- DeVellis, R. F., & Thorpe, C. T. (2021). Scale development: Theory and applications (5th ed.). SAGE.
- MacKenzie, S. B., Podsakoff, P. M., & Podsakoff, N. P. (2011). Construct measurement and validation procedures. MIS Quarterly, 35(2), 293–334. https://doi.org/10.2307/23044045
- Hinkin, T. R. (1998). A brief tutorial on the development of measures for use in survey questionnaires. Organizational Research Methods, 1(1), 104–121. https://doi.org/10.1177/109442819800100106
