音頻調查不能作準返回

鍾庭耀
(香港大學民意研究計劃主任)
 

註:本文只代表作者個人意見,與香港大學立場無關。

 

感謝曾蔭權政府對民情民意的重視,使社會再次關注民意調查的作用。特區政府最近推出的政改和西九方案,都刻意引用了政府委託民意調查的結果,來支持自己的建議。筆者最近以不同形式討論過有關調查的局限,又提出了一個政府仍未回答的問題,即調查問卷的設計和審議工作負責誰屬的問題,以便釐清調查機構的責任和獨立程度。

 

筆者提出的問題,並非要留難政府或其他機構,而是希望各界明白民意調查有其科學要求和專業操守,不是唾手可得。政改和西九引發的民意爭論和民調比拚,若果處理得宜,其實可以提升香港社會的民智程度和公民意識。在這條戰線上,香港的新聞和學術界實在有不可推卸的責任。

 

10月31日,《明報》以顯著篇幅報導了一項由該報進行的音頻電話調查,新聞標題為「政改方案支持度急跌」,社評則為「民意有變剔除委任締造三贏」。11月2日,中文大學亞太研究所副教授王家英在《新報》撰文,批評有關調查未能符合基本的科學水平,並列舉了三個原因加以說明:

 

(一)音頻電話訪問調查的成功率極度偏低,與專業民意調查的要求相去甚遠,願意接受訪問的人士極可能只屬於某特定社經背景人士,使得所取得的樣本缺乏代表性。

(二)音頻電話訪問無法透過訪問員的直接詢問和判斷選擇適合的受訪者,進一步減低了樣本的有效性。

(三)音頻電話訪問甚少對受訪者的背景資料作出詳細詢問,使得其調查樣本難以與整體人口比較,以便確定有關樣本是否偏離調查所推論的整體人口分佈結構。

筆者除了認同和支持王家英博士的觀點外,還希望提出另外兩個問題,說明有關調查不當的地方。

 

首先,筆者曾經多番強調,所有機構在發放調查數字時,應該按照國際社會的專業守則詳細交代有關調查的研究方法、樣本資料、問卷全文、調查日期、抽樣方法、回應比率、加權過程和誤差範圍等。《明報》發放的音頻電話調查,沒有交代回應比率、樣本資料和誤差範圍。可能有關調查根本沒有記錄被訪者的背景資料,因而無法列出樣本資料。不過,根據筆者對音頻調查系統的認識,有關係統應該能夠清楚記錄打出號碼的數目和次數,和線路回應信號的類別,從而運算調查的回應比率。事實上,《明報》間中也會提供其音頻電話調查的回應比率,但今次沒有。至於誤差範圍,本地傳媒通常都視而不見,避而不談,這不單是個別報章的問題。

 

其次,為了印證政府調查的數字,《明報》刻意從政府委託進行的調查中抽取5條問題,以音頻電話重複進行調查。重複驗證本來是非常科學的方法,但由於兩種調查方法完全不同,這個科學方法便頓時失效。比較可取的方法,是以類似方法用類似的題目進行類似的調查,然後比較結果。如果《明報》的分析是基於兩次同類音頻電話訪問的結果,部份在方法上出現的問題可能得以控制,民意走勢的分析會比較「可靠」。不過,須要說明,在統計學上,「可靠度」(Reliability)和「有效性」(Validity)是兩個不同的概念,又稱為「信度」和「效度」,並非三言兩語可以解釋清楚。音頻電話調查的結果可能是「可靠」但「無效」,這些概念可能需要另文分析。

 

筆者細讀《明報》的民意調查數字後,撇開數表中題目誤殖的問題不談,筆者未能得到「經過社會一輪討論之後,港府方案的支持整體下降政改方案支持度急跌」和「取消委任區議員在立法會和特首的投票權,政府方案會得到逾半市民的支持」的結論。

 

幸好,在《明報》的報導中,亦有一則是引述政府消息人士的說話,謂音頻電話訪問與專業調查的嚴謹程度不同,不能直接比較,總算有個平衡。不過,一如王家英文章指出,一些經常批評政府民調不科學的人士,似乎沒有質疑這個音頻電話訪問調查的結果,反而是在認同有關結果的基礎上,作出解讀和評論。

 

出現這種雙重標準,可能是因為一般社會人士對政府要求甚高,但卻律己從寬,或多或少反映了政府認授性和公信力的問題。同樣道理,如果是次問題不是出現在一份自稱「公信第一」的報紙,筆者可能也只會一笑置之。

 

與王家英博士一樣,筆者希望各界人士在爭奪民意支持的同時,更加重視民意調查的科學性,和瞭解各種調查的局限,好讓政治歸政治,科學歸科學。