Nhiều nghiên cứu bắt đầu phần phân tích bằng việc chọn một kiểm định hoặc mở ngay phần mềm thống kê. Cách làm này dễ tạo cảm giác tiến độ, nhưng không giải quyết câu hỏi quan trọng hơn: bộ dữ liệu có thực sự phản ánh đúng điều ta định phân tích hay không. Một mô hình đúng về mặt kỹ thuật vẫn có thể cho ra kết luận thiếu tin cậy nếu dữ liệu bị mã hóa nhầm, có bản ghi trùng hoặc chứa những giá trị không thể xảy ra.
Kiểm tra dữ liệu trước khi kiểm định không phải là một thủ tục hành chính. Đây là bước xác nhận rằng đơn vị phân tích, biến số và phạm vi quan sát vẫn khớp với thiết kế nghiên cứu đã cam kết. Làm bước này sớm thường tiết kiệm thời gian hơn nhiều so với việc giải thích lại một kết quả lạ ở cuối quá trình.
Bắt đầu từ đơn vị phân tích
Trước hết, hãy xác định mỗi dòng dữ liệu đại diện cho ai hoặc cho cái gì. Đó có thể là một người trả lời, một giao dịch, một doanh nghiệp hay một lần quan sát theo thời gian. Sau đó, kiểm tra xem mỗi đơn vị có xuất hiện đúng số lần dự kiến không.
Ví dụ, một khảo sát về trải nghiệm khách hàng dự kiến có một dòng cho mỗi người trả lời. Nếu cùng một mã trả lời xuất hiện hai lần, nhà nghiên cứu cần biết đó là bản ghi trùng do xuất dữ liệu, hay là hai lần khảo sát hợp lệ. Hai tình huống đòi hỏi hai cách xử lý khác nhau. Không nên xóa bản ghi chỉ vì nó trông giống nhau.
Đọc lại mã hóa thay vì tin vào nhãn biến
Tên biến ngắn trong phần mềm thường không kể hết ý nghĩa của dữ liệu. Một biến có nhãn sat_3 có thể là mức hài lòng, cũng có thể là một câu hỏi đảo chiều. Vì vậy, hãy đặt mã hóa cạnh bảng hỏi hoặc data dictionary và kiểm tra ít nhất năm điều: thang đo hợp lệ là gì; giá trị nào biểu thị thiếu dữ liệu; câu nào cần đảo chiều; nhóm nào được phép trả lời; và đơn vị của con số là gì.
Một lỗi quen thuộc là nhập 99 để biểu thị “không trả lời” nhưng lại để phần mềm coi 99 là một giá trị hợp lệ. Khi đó, trung bình của biến có thể tăng bất thường và kiểm định phía sau vẫn chạy bình thường. Phần mềm không tự biết 99 là một mã quy ước; người nghiên cứu phải khai báo và kiểm tra điều đó.
Tìm giá trị bất thường theo ngữ cảnh
Giá trị bất thường không luôn là lỗi. Một doanh nghiệp có doanh thu cao gấp nhiều lần các doanh nghiệp khác có thể là quan sát quan trọng, không phải điểm cần loại bỏ. Câu hỏi cần đặt là: giá trị này có thể xảy ra theo logic của hiện tượng và có bằng chứng cho thấy nó được ghi đúng không?
Hãy dùng hai lớp kiểm tra. Lớp thứ nhất là các quy tắc đơn giản: tuổi không âm, tỷ lệ không vượt 100% khi biến được ghi theo phần trăm, và ngày kết thúc không trước ngày bắt đầu. Lớp thứ hai là xem phân bố: giá trị nào quá xa phần còn lại, xuất hiện ở nhóm nào, và có đi kèm với các dấu hiệu nhập liệu bất thường không. Ghi lại quyết định giữ, sửa hay loại cùng lý do để người khác có thể theo dõi.
Xử lý giá trị thiếu có chủ đích
Không có một tỷ lệ thiếu dữ liệu nào tự động cho phép bỏ qua vấn đề. Cần xem dữ liệu thiếu nằm ở biến nào, tập trung ở nhóm nào và có thể liên quan tới nội dung câu hỏi hay không. Nếu người có thu nhập cao thường bỏ qua câu hỏi về thu nhập, việc chỉ xóa các dòng thiếu có thể làm mẫu còn lại lệch đi.
Một bảng kiểm tra ngắn là đủ để bắt đầu: số quan sát gốc; số quan sát thiếu theo từng biến; số dòng bị ảnh hưởng; và cách xử lý dự kiến. Với một nghiên cứu nhỏ, bảng này có thể đặt trong phụ lục hoặc nhật ký phân tích. Điều quan trọng là quyết định xử lý được đưa ra trước khi nhìn thấy kết quả có lợi cho giả thuyết.
Đối chiếu một mẫu nhỏ với nguồn gốc
Nếu dữ liệu đi qua nhiều bước như thu thập trực tuyến, xuất file, ghép bảng và mã hóa lại, hãy lấy ngẫu nhiên một số bản ghi để đối chiếu với nguồn gốc. Mười đến hai mươi bản ghi có thể phát hiện những lỗi lặp lại như lệch cột, mất dấu tiếng Việt, đổi định dạng ngày hoặc ghép sai mã định danh.
Chẳng hạn, một nhóm nghiên cứu ghép dữ liệu khảo sát với dữ liệu mua hàng bằng số điện thoại đã chuẩn hóa. Khi kiểm ngẫu nhiên 15 trường hợp, họ thấy các số có số 0 ở đầu bị phần mềm bảng tính bỏ mất. Nếu không phát hiện, nhiều dòng sẽ không được ghép và nhóm có thể nhầm đó là khách không có giao dịch.
Lập một bản kiểm tra có thể lặp lại
Trước khi kiểm định, hãy lưu một bản tóm tắt gồm phiên bản file, ngày kiểm tra, số quan sát, các quy tắc đã dùng và những chỉnh sửa đã thực hiện. Bản này không cần dài. Nó giúp nghiên cứu có thể lặp lại, giúp đồng tác giả hiểu dữ liệu đang ở trạng thái nào, và giúp bản thân nhà nghiên cứu không phải dựa vào trí nhớ khi quay lại sau vài tuần.
Kiểm định là công cụ để trả lời câu hỏi nghiên cứu, không phải máy sửa dữ liệu. Khi dữ liệu được kiểm tra trước, kết quả cuối cùng sẽ dễ giải thích hơn và các quyết định phương pháp cũng có nền tảng rõ ràng hơn.
