滾動調查小常識Back
鍾庭耀 (香港大學民意研究計劃主任) |
註:本文只代表作者個人意見,與所屬大學立場無關。 |
|||||||||||||||||||||||||||||||||||||
立法會選舉已經進入最後階段,由筆者主持的選前滾動民意調查亦已接近尾聲。一般大眾和傳媒對於該等調查可能已有一定認識。不過,以筆者觀察所得,部份學者專家,以至執掌政策研究的主管,對有關調查仍然有所誤解。筆者因此在發表今屆選舉滾動調查的最後一天,向各界人士介紹一些關於滾動調查的小常識,為傳媒及公民教育略盡綿力。篇幅所限,本文集中討論幾個常見的誤解。 |
|||||||||||||||||||||||||||||||||||||
滾動調查的樣本基數 |
|||||||||||||||||||||||||||||||||||||
筆者在8月9日第一次發放今年的滾動調查時,便公開解釋有關調查是預計每日完成334個登記選民訪問,即3日內累積超過1,000個成功樣本,成為一個完整的全港調查樣本。個別選區則會累積5日才滾動一次,而靠近選舉時,滾動樣本的數目會逐漸增加。 |
|||||||||||||||||||||||||||||||||||||
實際情況是,我們在8月4日調查首天完成了374個樣本,然後慢慢增加每日的樣本數目,到了9月9日最後一天,我們一天完成了944個樣本。整個調查過程經歷37天,按日樣本增加2.5倍,前後累積了16,785成功樣本。每一個樣本,都是我們的訪員和同事的心血結晶。 |
|||||||||||||||||||||||||||||||||||||
有評論認為我們的樣本不夠,舊數據所佔比例太高,要「翻炒冷飯」來增加樣本。與其詳細討論有關觀點,不如向大家介紹一個外國例子。以選舉研究著名的英國埃塞克斯大學(University of Essex ),在上次2001年英國大選期間,負責設計及執行有40年歷史,學術界非常重視的英國大選研究系列(British Election Study)。競選期間30日內,研究隊每日隨機抽取150個英國選民進行電話訪問,數據以7天滾動形式透過互聯網每日向外公佈,每次樣本基數因此超過1,000人。在下屆英國大選,埃塞克斯大學打算把每日的滾動樣本增加至200個,即30日內訪問6,000人。相對於英國學術界的頂尖研究,我們自1995年便開始進行的滾動調查,真是如此不濟嗎? |
|||||||||||||||||||||||||||||||||||||
問題出於,撇除具有政治動機和亂扣帽子的批評,不少參與評論的本地專家和主管,似乎對調查的抽樣誤差不太瞭解。 |
|||||||||||||||||||||||||||||||||||||
正確使用抽樣誤差 |
|||||||||||||||||||||||||||||||||||||
有人認為,1,000個樣本的抽樣誤差是正負3個百分比,600個是正負4個百分比,300個就有正負6個百分比。以此推論,300個樣本中某君的支持度為5%,他的真正支持率不就是由負數至11%之間嗎?這是一個嚴重的誤解。 |
|||||||||||||||||||||||||||||||||||||
其實,在95%置信水平下,抽樣誤差的算式是 1.96 √[(p(1-p)*(N-n))/(n*(N-1))] ,當中p為某項調查數據的百分比,N為母體總數,n為樣本數目。奇妙的是,當樣本數目不變,p愈小,誤差亦愈小。筆者用表一舉例說明,並同時假設母體數目極大。 |
|||||||||||||||||||||||||||||||||||||
表一:抽樣誤差的變化 |
|||||||||||||||||||||||||||||||||||||
數表顯示,就算樣本少到300個,某君5%支持度其實是介乎2.5%至7.5%之間。如果說300個樣本的誤差是正負6個百分比,其實只是指p=50%時的最大誤差值。西方傳媒常用之「誤差幅度」(margin of error),是把概念簡化,很多時候只是道出最大誤差的約數,應用到偏大或偏小的百分數時,須要適當調整。很多評論者只知其一,不知其二。 |
|||||||||||||||||||||||||||||||||||||
明白這個道理之後,很多批評便會不攻自破。樣本是否足夠,視乎統計結果能否準確區分兩組數字、或同組數字在不同調查的變化。國際間的民意調查一般會超過一千個樣本,但當涉及小組人口變項分析時,也必然須要採取小樣本的比較。涉及的基礎分析單位,有時也只是一百二百。 |
|||||||||||||||||||||||||||||||||||||
樣本重疊的概念 |
|||||||||||||||||||||||||||||||||||||
有評論認為我們的滾動調查中舊數據所佔比例太高,屬於「翻炒冷飯」,我們可以用表二的真實數據解釋。數表顯示,以3天滾動調查的流程計算,樣本2與樣本1有兩天數據重疊,即9月2至3日的樣本,同樣地,樣本3與樣本2又有兩天數據重疊,餘此類推。不喜歡「吃冷飯」的讀者甲,其實可以選擇只看樣本1和4的結果,因為它們完全沒有重疊。但是,另外一個不喜歡「吃冷飯」的讀者乙,可以只選擇看樣本2和5,因為它們也沒有重疊。如是者,讀者丙可以選擇只看樣本3和6。讀者甲乙丙都可以同時說,六個樣本其實只得兩次獨立分析,其餘四個是「翻炒」出來的。但竅妙的是,三個讀者其實都各自看到不同的兩次「現實」,既符合大樣本的要求,也沒有數據重疊。 |
|||||||||||||||||||||||||||||||||||||
不過,以「意見A比率」計,讀者甲和乙都看到數據上升一個百分比,讀者丙則以為數據從來沒有改變,停留在59%的水平,其實數字已經波動還原,但丙看不見。以「意見B比率」計,甲看不出改變,停留在83%,乙看到數據上升一個百分比,丙看到數據上升三個百分比。這就顯示,就算以不重疊的方法看,六天滾動調查其實可以得出不止兩套的觀察,這就是滾動調查可貴之處:悉變於微。 |
|||||||||||||||||||||||||||||||||||||
表二:滾動樣本的結合 |
|||||||||||||||||||||||||||||||||||||
又有言論謂:「既然每日收集樣本,何不每天公佈單日結果?滾動調查是不是掩飾每天樣本不足?」撇開統計理論不談,這種言論其實很易回應。讀者從今天開始,可以留意所有專業的民意調查公佈,看看哪些調查是一天內完成一千個樣本,哪些是累積數天以至數星期的樣本。可以預期,絕大多數調查都需要累積多日的樣本。那麼,為什麼有關評論不同樣質疑所有調查,要求它們按日羅列數據? |
|||||||||||||||||||||||||||||||||||||
其實,選擇滾動分析的日數,主要視乎須要進行宏觀還是微觀的分析。微觀波動大、但敏感度高。宏觀分析可以看出結構,但容易忽略小節。筆者今年累積了16,785個樣本,用來分析結構性變項因素,應該可以做得非常細緻。 |
|||||||||||||||||||||||||||||||||||||
其他誤解 |
|||||||||||||||||||||||||||||||||||||
篇幅所限,筆者未能詳細討論其他不必要的誤解,以至莫須有的罪名。只想補充一點,就是滾動調查並非新事,遠在1995年,筆者便開始在選舉年進行滾動調查。今年的操作,其實與往年差別不大。多年來,我們都把我們的方法和結果全面公開,網上又詳細記錄。傳媒機構和思匯政策研究所的贊助,完全沒有影響我們的獨立運作。 |
|||||||||||||||||||||||||||||||||||||
很多年前,一些報章來論質疑,民意調查怎可用一千幾百個樣本代表全港六百多萬市民。那時候,我幼稚地覆函解釋了一些基本的統計常識。後來得知,那些來論根本不是求知求真,覆函亦無絲毫結果。到了大家都在明在暗地進行民意調查,這種論點便開始消失,以其他歪論取代。 |
|||||||||||||||||||||||||||||||||||||
但願多年過後,社會的民智上升,回望今天,只會一笑置之。 |