Một cuộc điều tra công bằng cần ba thứ: đối chứng (so điều kiện nghi vấn với điều kiện bình thường), làm mù (người được thử và người chấm không biết đâu là đâu), và nói trước (ghi rõ dự đoán và tiêu chí thành công trước khi bắt đầu). Thiếu một trong ba, kết quả rất dễ phản ánh mong đợi của người làm chứ không phải sự thật. Điều hay là cả ba đều làm được với giấy, bút, vài phong bì và một người bạn đáng tin, không cần phòng thí nghiệm.
Vì sao người trung thực vẫn tự lừa mình
Nhiều người nghĩ thiết kế thí nghiệm cẩn thận là để chống gian lận. Đúng một phần. Phần lớn hơn là để chống những sai lệch mà người trung thực nhất cũng mắc:
- Thiên kiến xác nhận: nhớ những lần khớp, quên những lần trượt.
- Kỳ vọng: biết trước "phòng này có ma" thì để ý mọi tiếng động trong phòng này hơn.
- Tín hiệu vô thức: người hỏi vô tình đổi giọng, ánh mắt, nhịp thở khi tới câu "đúng". Con ngựa Hans ở Berlin đầu thế kỷ 20 "làm toán" nhờ đọc những tín hiệu như vậy từ người hỏi (chuyện của nó có ở wiki phapthuat).
- Chọn tiêu chí sau khi xem kết quả: kết quả nào ra cũng tìm được cách gọi là "thành công".
Mỗi công cụ dưới đây sinh ra để chặn một trong những sai lệch đó.
Một bài học từ năm 1784
Một trong những thử nghiệm làm mù sớm nhất được ghi chép diễn ra ở Pháp năm 1784. Vua Louis XVI lập một uỷ ban, trong đó có Benjamin Franklin và nhà hoá học Antoine Lavoisier, để xem xét phương pháp chữa bệnh "từ khí động vật" của Franz Mesmer đang thịnh hành ở Paris. Uỷ ban bịt mắt người được thử, có lúc nói dối rằng họ đang được "truyền từ khí" khi không có gì cả, có lúc làm thật mà không báo. Kết quả: phản ứng của người được thử đi theo việc họ tin mình đang được truyền, không theo việc có truyền thật hay không. Uỷ ban kết luận hiệu quả đến từ trí tưởng tượng.
Hơn hai thế kỷ sau, logic của thử nghiệm ấy vẫn là xương sống của mọi cuộc kiểm tra công bằng.
Đối chứng: so với cái gì
Một kết quả chỉ có nghĩa khi có thứ để so. "Máy đo kêu ba lần trong phòng ngủ" chưa nói gì. "Máy đo kêu ba lần trong phòng ngủ, và cũng ba lần trong phòng khách không ai đồn có ma" thì nói rất nhiều.
Các kiểu đối chứng hay dùng:
- Đối chứng địa điểm: phòng bị đồn và phòng tương tự không bị đồn.
- Đối chứng thời gian: giờ "hay có chuyện" và giờ bình thường.
- Đối chứng giả: câu hỏi giả, mẫu giả, "lần thử không có gì" mà người tham gia không biết.
- Mức ngẫu nhiên: nếu đoán mò thì đúng bao nhiêu. Đoán một trong năm lá bài thì đoán mò đã đúng khoảng 20%.
Làm mù: ai không được biết gì
| Mức | Ai không biết | Chặn được |
|---|---|---|
| Không mù | Ai cũng biết | Không chặn được gì |
| Mù đơn | Người được thử không biết điều kiện nào là thật | Kỳ vọng của người được thử |
| Mù đôi | Cả người được thử lẫn người trực tiếp tiến hành, ghi nhận đều không biết | Kỳ vọng và tín hiệu vô thức từ người tiến hành |
| Mù cả khâu chấm | Người chấm kết quả cũng không biết dữ liệu nào thuộc điều kiện nào | Thiên kiến khi diễn giải |
Cách làm đơn giản nhất: một người thứ ba, không tham gia trực tiếp, bốc thăm thứ tự các điều kiện, ghi vào phong bì dán kín, chỉ mở sau khi đã ghi xong mọi kết quả.
Nói trước: ghi dự đoán khi chưa có dữ liệu
Có một hình ảnh vui hay được dùng: người bắn súng vào bức tường rồi vẽ tấm bia quanh lỗ đạn, và ai cũng thấy anh ta bắn trúng hồng tâm. Đó là điều xảy ra khi ta xem dữ liệu xong mới quyết định thế nào là "trúng".
Trong khoa học hiện đại, việc này gọi là đăng ký trước: ghi rõ giả thuyết, cách đo, số lần thử, tiêu chí thành công, rồi nộp ở một nơi có ghi ngày giờ trước khi thu dữ liệu. Phong trào đăng ký trước mạnh lên sau "cuộc khủng hoảng lặp lại" trong tâm lý học từ đầu thập niên 2010, một phần khởi nguồn từ tranh cãi quanh bài báo về ngoại cảm của Daryl Bem năm 2011. Người điều tra nghiệp dư làm được điều này bằng một tin nhắn gửi cho bạn trước khi bắt đầu.
Ví dụ: thử một người nói "cảm nhận được phòng có ma"
Giả sử một người tự tin có thể cảm nhận căn phòng nào trong một toà nhà cũ bị đồn có ma. Một thiết kế công bằng có thể như sau:
- Thống nhất trước với người được thử về điều kiện và tiêu chí thành công, để họ thấy cuộc thử là công bằng. Đây là bước rất quan trọng, cả về đạo đức lẫn khoa học.
- Chọn mười phòng có kích thước, ánh sáng tương tự. Theo hồ sơ, ba phòng bị đồn có ma. Danh sách này do một người thứ ba giữ.
- Người dẫn đường cũng không biết phòng nào bị đồn, để không vô tình ra dấu (mù đôi).
- Thứ tự vào phòng do bốc thăm.
- Người được thử chấm điểm từng phòng từ 0 đến 10 trên phiếu, nộp ngay sau mỗi phòng.
- Ghi trước: thành công là khi ba phòng bị đồn có điểm cao nhất, hoặc theo một ngưỡng thống kê thống nhất từ đầu.
- Mở phong bì sau khi đã thu đủ phiếu.
Nghiên cứu năm 2003 của Richard Wiseman và cộng sự ở Hampton Court và hầm ngầm Edinburgh dùng tinh thần tương tự, và có bài riêng ở mục tâm lý học niềm tin của wiki.
Những điều nhỏ làm hỏng thiết kế tốt
- Mẫu quá nhỏ: ba lần thử thì may mắn cũng đủ cho kết quả đẹp. Cần đủ số lần để ngẫu nhiên không giải thích được.
- Rò rỉ thông tin: hồ sơ để trên bàn, người dẫn đường đã đọc báo về toà nhà, phòng "có ma" được dọn sạch hơn hay bày biện khác.
- Dừng khi kết quả đẹp: phải làm đủ số lần đã định trước, không dừng giữa chừng khi đang "thắng".
- Đổi tiêu chí sau khi thua: "hôm nay năng lượng yếu" là lý do hợp lý để thử lại, không phải lý do để không tính lần này.
Góc nhìn hôm nay: công cụ dùng được mọi nơi
Đối chứng, làm mù, nói trước là ba công cụ đã giúp y học tách thuốc có tác dụng khỏi thuốc không tác dụng, giúp tâm lý học tự sửa sai, và giúp các nhà điều tra hiện tượng lạ đi từ lời kể tới bằng chứng. Chúng cũng dùng được trong đời thường: thử xem mình có thật phân biệt được hai loại cà phê không bằng cách nhờ người khác pha và đánh số cốc.
Người muốn đọc thêm có thể tìm chương về phương pháp trong Anomalistic Psychology (2014) của Christopher French và Anna Stone, hoặc tài liệu phổ thông về thử nghiệm lâm sàng ngẫu nhiên có đối chứng. Câu chuyện uỷ ban năm 1784 cũng được nhiều sách lịch sử khoa học kể lại.
Câu hỏi thường gặp
Thí nghiệm mù đôi là gì?
Là thí nghiệm mà cả người được thử lẫn người trực tiếp tiến hành đều không biết điều kiện nào là thật, điều kiện nào là đối chứng. Cách này chặn kỳ vọng của cả hai bên và các tín hiệu vô thức.
Vì sao cần nhóm đối chứng khi điều tra chuyện ma?
Không có đối chứng thì không biết một kết quả có gì bất thường. Máy đo kêu ba lần ở phòng bị đồn chỉ có ý nghĩa khi so với số lần nó kêu ở một phòng tương tự không bị đồn.
Đăng ký trước là gì?
Là ghi rõ giả thuyết, cách đo và tiêu chí thành công trước khi thu dữ liệu, ở nơi có ghi ngày giờ. Việc này ngăn chuyện xem kết quả xong mới quyết định thế nào là thành công.
Thử nghiệm làm mù đầu tiên là khi nào?
Một trong những thử nghiệm làm mù sớm nhất được ghi chép là của uỷ ban hoàng gia Pháp năm 1784, có Benjamin Franklin và Antoine Lavoisier, khi kiểm tra phương pháp của Franz Mesmer.
Thử người ngoại cảm thế nào cho công bằng?
Thống nhất trước tiêu chí với người được thử, dùng đối chứng, bốc thăm thứ tự, làm mù cả người dẫn và người chấm, đủ số lần thử và ghi dự đoán từ trước. Cả hai bên nên đồng ý cuộc thử là công bằng trước khi bắt đầu.
