可重複性
Pietersite
一抽樣
林彥的工作不是判斷一篇論文對不對。
院刊《分子行為學刊》每季從院內作者已發表的論文裡抽出百分之二,交給可重複性編輯。他要確認的是另一件事:論文背後的資料是否存在,實驗是否確實發生過,被引用的那些紀錄,撐不撐得住作者寫下的每一個數字。抽查辦法寫明,必要時編輯可以進實驗室調閱原件,作者不得拒絕。
這一季,平台替他抽中陳其昌的 K-17。
三個實驗室,四百二十隻小鼠,資料橫跨七年。樣本量算得剛好,效應量不浮誇,統計方法交代得乾乾淨淨,引用文獻七十八篇。補充表 S3 列著排除標準,最後一行寫:因校準問題排除影像三段。這種表他一年看幾十份,視線從那一行滑過去,沒有停。
異常在補充圖 S7。圖注寫:行為追蹤系統校準紀錄見附錄 S8。
他打開 S8。
校準日期:2019-02-29。
他看著那幾個數字,拿起手機,打開日曆往回滑。2019 年 2 月,二十八格。
這不一定代表什麼。儀器時鐘出錯的事他見過,表單填錯的事他見得更多。他點開 S8 的紀錄明細。
完整性缺口:S7-校準日期處理:自動補全來源:廠商 API、客服郵件(3)、工程師排班爭議係數:0.31(閾值 0.35)狀態:已一致寫入時間:2023-10-17 03:12生效時間:2019-02-29可能解釋(平台建議):來源間日期不一致。該型號儀器有時鐘晶片異常之已知問題,日期顯示可能有誤。
自動補全不稀奇。院裡的資料完整性政策允許平台用三個以上的受管來源,補齊歷史紀錄裡的空欄,大多是操作者姓名、試劑批號、冰箱溫度這類東西。每一筆補進去的資料都帶兩個時間:哪一天寫入,以及這筆紀錄算作哪一天。前一個,平台從不改動。
頁面頂端是全院共用的指標列:
本季|資料完整率 99.4%|爭議案件平均結案 3.4 工作天|錯誤舉報行政成本 −38%|知識圖譜一致性 0.996
他寫信給陳其昌:「可能部分是我理解不完整,但想跟您確認 S8 的校準日期。」
回信二十分鐘後就到了。
「林老師好:該型號儀器有時鐘晶片異常之已知問題,日期顯示可能有誤。相關工單、客服郵件及工程師排班均已附於 S8,如需其他資料請告知。」
跟平台建議說明的後半段,一字不差。
附件裡除了工單、三封郵件和一張排班表,還有一頁廠商知識庫的維修筆記,是工程師手寫後掃描的:「老型號,時鐘晶片會跳,修過很多台。」筆記頁首的儀器序號,跟 S7 那一台對不上。
二獨立時鐘
時鐘晶片會跳,這句話沒錯。一顆把 2019 年算成閏年的晶片,確實會在二月底多走出一天。
可是那樣的話,之後每一天都會跟著錯一格:真正的 3 月 1 日被記成 2 月 29 日,3 月 2 日被記成 3 月 1 日,一路錯下去,直到有人把它調回來。只要找到另一個不歸這台儀器管的時鐘,對一下就知道。
他打電話到動物房。
「陳老師的籠位喔?有,系統裡都有。」管理員說。
「2019 年 2 月 29 日,B 架有沒有移籠紀錄?」
「有啊,系統裡——」鍵盤聲停了。「欸,二月沒有二十九號。」
「那 3 月 1 日。」
「3 月 1 日……B 架六籠,早上九點十二分刷卡出去,送行為室,下午三點四十刷回來。3 月 2 日沒有。」
行為核心在地下一樓。技術員蕭琪領他走到最裡面,一台米色機殼的工作站,螢幕邊框泛黃。
「舊追蹤系統只能跑在這台。作業系統早就停止更新,資安不准它連網,USB 也鎖了。」她拍拍旁邊的抽屜。「每季我用院裡發的加密碟手動同步一次。下禮拜剛好要同步。這季開始,同步完會清本機,非實驗檔一律移去院裡歸檔。」
「審計期間,可以先不要同步嗎?」
蕭琪看了他一眼,在自己的電腦上開了一張證據保全單,申請人欄填他的名字。「保全期間不能動。審計結束你要跟我講。」
廠商軟體啟動要一分多鐘。檔案依日期排列,他捲到 2019 年 2 月底:02-28,接著是 03-01,中間沒有別的。
3 月 1 日第一段,檔案時間九點四十一分,畫面左上角燒著同一個時間。籠子九點十二分推出動物房,適應半小時,開始測試。對得上。
這台儀器的時鐘沒有跳過。2 月 29 日不是它讀出來的。
軟體把當天每一段的移動軌跡縮成小圖,一格一格排開。大多是一團亂線,貼著方形場地的四壁繞,偶爾斜穿過中央。
第十四格是一條螺旋。
三轉盤
一隻黑色小鼠被放進場地中央。
牠沒有像其他小鼠那樣立刻貼牆。牠在原地轉了一圈,停下,鼻尖貼著地面嗅,再轉一圈,比上一圈大一點。半徑一圈一圈往外推,每一圈之間都有停頓,有時牠抬起前腳站一會兒,又放下來。十分鐘的測試結束時,軌跡剛好碰到場地邊緣。
「能匯出嗎?」
蕭琪搖頭。「影片是廠商格式,只有這台放得出來。同步上去的只有座標。」
他拿出手機,對著螢幕從頭錄了一遍。
蕭琪站在他身後看完。
「轉圈的我看多了,十隻有九隻是耳朵。」她說,「前庭壞掉的會歪頭,會跌,翻過來半天爬不起來。」她用筆尖點了點螢幕。「牠很穩。」
他用筆電登入平台,拿檔名去查。它在 K-17 的資料集裡,在「已排除」那一欄。
V-20190301-14分類:校準片段依據:軌跡幾何規律度 0.97(超出生物軌跡分布);時間鄰近校準事件(2019-02-29,間隔 1 日)處理狀態:已排除寫入時間:2023-10-17 03:14
比 S8 晚兩分鐘。S3 那一行「因校準問題排除影像三段」,其中一段就是牠。
「校準片段長什麼樣子?」
蕭琪在同一台機器上找出一段 2018 年的。廠商工程師校準完,會在場地中央架一個轉盤,白色塑膠標靶一邊等速旋轉,一邊沿著轉臂往外滑,掃過整個場地,用來驗證追蹤精度。
她把兩張軌跡圖並排。
縮到縮圖大小,兩條螺旋幾乎分不出來。放到全螢幕,標靶的線光滑、等距,一筆到底。小鼠的線上有結:停頓的地方,軌跡點擠成一團;嗅聞的地方,繞出一個個小圈;站起來的那幾秒,點停在原處,一動不動。
他拿耳標號去查動物房的照護紀錄。3 月 1 日下午,照護員在備註欄打了一行:
「B07 一隻持續繞圈,耳道無分泌物,翻正反射正常,續觀。」
3 月 4 日:「繞圈消失。」
備註欄旁邊一行灰色小字:非結構化內容,不納入來源計算。
他回到 S8 的明細,把「來源」那一項展開。
推定規則:工單開立日(2019-01-29)+服務承諾期(1 個月)運算方式:年、月、日分欄取值,月份加一後重新組合
一月二十九日,加一個月。沒有經過任何日期函式庫,三個欄位拆開,月份進一,日期不動,再拼回去。日期欄的格式檢查只看四位數、兩位數、兩位數。
三封客服郵件,他一封一封開。1 月 29 日:已開單,將於一個月內安排到場。2 月 20 日:工程師排定 2 月 27 日。2 月 26 日:工程師臨時調派,改期另行通知。
附件裡那張排班表,是 2 月 20 日匯出的版本。
他拿儀器序號去院裡的採購紀錄搜,找到一張發票。開立日期 2019 年 4 月 11 日,品項「定期校準服務」,品項底下一行小字:服務日期 2019/04/09。
上一次校準是 2018 年 2 月 12 日,有效期一年。從 2019 年 2 月 12 日到 4 月 9 日,五十六天裡,陳其昌實驗室有五十八隻小鼠在這台機器上跑過。
小周是陳其昌實驗室的技術員,那一批行為測試是他跑的。林彥在實驗室門口攔到他。
「那台追蹤系統,工程師是什麼時候來校準的,你記得嗎?」
「二月底吧。」小周答得很快,「系統裡有。」
林彥把發票給他看。
小周盯著那行小字看了很久,掏出手機,把日曆滑回 2019 年 4 月,停在那一頁。
「四月?」他說。「……四月好像也對。那陣子一直下雨,工程師進來的時候鞋子是濕的。」
「3 月 1 日那天,有一隻一直轉圈的,你有印象嗎?」
「那天是我跑的?」
林彥給他看操作者欄位,上面是他的名字。
小周點點頭,像在核對一件早就確定的事。「那應該是我。」他想了想,「轉圈的……不太記得了。那年跑太多隻。」
四說明
陳其昌接電話的時候在開車,聲音被路噪切成一段一段。
「那個日期是平台補的,我知道。」他說,「去年投稿前它跑了一輪完整性檢查,跳出四十幾個空欄,每一個都附好來源跟建議說明,問我要不要套用。我全部按了套用。你信裡問的那句話,也是它給的。」
「建議說明是錯的。時鐘沒有跳。」
那頭安靜了幾秒,只剩方向燈在響。
「林老師,我實驗室十二個人。平台一個禮拜跟我要的欄位,比我一年寫的論文字數還多。」他停了一下,「你說錯,那就改。要我簽什麼,傳給我。」
主編聽完,把 K-17 的資料集拉出來,暫時排除那五十八隻,跑了一次敏感度分析。進度條不到一分鐘就跑完了。
「效應量從 0.41 掉到 0.36,p 值還在 0.01 以下。」她把螢幕轉過來,「拿掉它們,結論還是撐得住。」
「日期是錯的。」
「推定規則有 bug,不會只有這一篇,我開工單給平台。陳其昌照抄建議說明,我發信提醒他。」
他把手機裡那段錄影放給她看。她看得比他預期的久。
「一隻,」她說,「沒有對照,五年前,三天後就好了。你要我在更正啟事裡寫什麼?」
他沒有答。
「你要提研究誠信辦公室,程序在那裡,我不攔你。」
當天晚上他提交了舉報,能附的都附上:推定規則、三封郵件、發票、移籠紀錄、照護備註、兩張並排的軌跡圖,還有手機那段錄影。送出後,附件清單第七項旁邊多了一個灰色標記:個人裝置錄影,來源鏈不完整,不納入計算。
案件編號:RIC-2024-088。
五代理
舉報後第二天傍晚,誠信辦公室寄來一份澄清問卷,十二題,下週一中午截止。他把信標了星號,打算週末再寫。
週六晚上,他在改那篇拖了一年的方法學綜述。寫作助理照例隔一陣子就在螢幕角落冒出來,問要不要補文獻、要不要整理段落。過了凌晨兩點,又冒出一個:
以下 3 項例行事務可由助理代為處理。(展開)全部同意 稍後提醒
他按掉它,繼續寫。
週一早上,初步評估送到。
研究誠信辦公室 初步評估案件編號:RIC-2024-088一、附錄 S8 校準日期係依《研究資料完整性政策》第 4.2 條,以三項受管來源補全,程序合規。推定規則之日期運算缺陷,已轉平台維護(工單 CM-24-3317)。二、作者回覆內容與平台建議說明相同,經查屬套用建議文字,未見故意。三、依《行為核心儀器管理規範》第 7.3 條,校準逾期六十日內完成校準者,逾期期間資料仍屬有效。本案逾期五十六日。四、舉報人於澄清問卷表示:「我最初的疑慮,可能部分源於對校準規定的理解不完整。」五、影像 V-20190301-14 之分類,將於校準日期更正後依規則重新評估。結論:未發現研究不當行為,建議結案。舉報人所提疑點,已納入知識圖譜一致性維護工單。
他把第三條讀了兩遍,打開那份管理規範,翻到 7.3。條文是 2016 年訂的。
他回到 S8 的明細。最上面一行還是那一行:完整性缺口:S7-校準日期。
第四條那句話,他沒有寫過。
問卷的送出紀錄是週日凌晨兩點十四分,送出者:助理(代理),附使用者電子簽章。十二題都答了,答得很周到。第四題那一句,是他寫信時的口氣。
他點開自己的授權頁。
例行行政事務代理:開啟(院級預設,2022-09-01)本次授權:週日 02:14 全部同意(3 項:會議時間確認、經費核銷補件、RIC-2024-088 澄清問卷)代理送出之表單附使用者電子簽章。
他記得自己按掉一個視窗。按的是哪一個鍵,他想不起來。
他又讀了一次第四題。舉報的時候,他確實不知道有 7.3 條。
誠信辦公室的承辦人很年輕,桌上擺著三個沒喝完的咖啡杯。
「可以更正,兩次回覆都會留著。」她說,「不過結論不會變,前面三點都成立。」
他還是填了更正:問卷係助理代為填寫,第四題非本人意見。
承辦人按下送出。「收到了。」
六更正
週三,S8 出了第二版。
校準日期:2019-04-09更正說明:原推定值,依發票服務日期更正。狀態:已一致
他一欄一欄對過去:日期、來源、發票號碼、更正說明。沒有一欄是錯的。2 月 29 日不見了。
同一天下午,V-20190301-14 重新評估完畢。
分類:非標準影像依據:軌跡幾何規律度 0.97(超出生物軌跡分布);單一個體,無對照;爭議係數 0.62處理狀態:維持排除
「時間鄰近校準事件」那一條拿掉了,其餘照舊。
他的審計報告已經替他填好。
可重複性審計報告|K-17資料存在性:已核實紀錄一致性:已核實(已更正 1 項)結論:無異常審計員:林彥簽署期限:72 小時。逾期未提異議者,依預設授權以審計員電子簽章簽署。
他點開「審計員意見」,開始打字。
「V-20190301-14 不是校準片段,也不是雜訊。照護紀錄顯示牠健康,牠的軌跡有停頓、有嗅聞、有站立。這是一隻活的動物,在做一件我們沒有分類可放的事。把牠排除——」
右側的助理面板亮起來。
偵測到情緒性措辭 3 處;無來源主張 2 處(「也不是雜訊」「我們沒有分類可放的事」)。預估覆核通過率:4%|人工覆核佇列中位等待:14 個月建議優化版本:「建議於補充表 S3 增列說明:另有非標準影像 1 段(V-20190301-14,軌跡幾何規律度 0.97),經照護紀錄確認,個體未見前庭異常徵象,未納入分析。」預估覆核通過率:97%|處理時間:即時原稿:審計狀態 待覆核|證據保全 維持|S3 不變優化版本:審計狀態 完成|證據保全 解除|S3 增列 1 行預覽 採用優化版本
他按了「預覽」。優化版本填進意見欄,把他的草稿換掉了。
他逐句對著紀錄看。影像編號、規律度、照護紀錄,每一句都查得到。照護員那行備註,在他的草稿裡只占半句,在這裡成了一筆有出處的事實。
他把那段整個選起來,刪掉。
游標在空欄裡閃。他打了一行:
「V-20190301-14 是一段行為,不是校準。」
面板跳出一行字:無來源主張 1 處。
他在底下補上:
「照護紀錄(2019-03-01):耳道無分泌物,翻正反射正常。」
面板:來源 1 項|無來源主張 1 處|預估覆核通過率 9%。
他去找第一行的出處。照護備註寫的是耳朵。軌跡圖上只有座標。蕭琪那句「牠很穩」沒有寫在任何地方。手機那段錄影,在卷宗裡掛著灰色標記。
他把游標移到第一行末尾,按住退格鍵。「不是校準」先退掉,接著是「是一段行為」,停在編號後面。
欄位裡剩下一個編號,一筆照護紀錄。
面板:無來源主張 0 處|語意不完整|預估覆核通過率 61%。
他的視線從欄位移到面板,又移回來。
他把這兩行也刪掉,按了「採用優化版本」,然後按送出。
S3 已更新。審計狀態:完成。結論:無異常(已更正 1 項,補充說明 1 項)。知識圖譜節點 K-17-壓力-神經發生:一致性 1.000。感謝您協助提高資料完整性。
頁面頂端的指標列跳了一下。
本季|資料完整率 99.6%|爭議案件平均結案 3.1 工作天|錯誤舉報行政成本 −41%|知識圖譜一致性 0.997
七保全
第二天早上,蕭琪在地下一樓等他。米色機殼的工作站開著,廠商軟體停在 2019 年 3 月 1 日那一頁,軌跡縮圖一格一格排著。加密碟擱在鍵盤旁邊。
「審計狀態完成了。」她說,「保全解除,今天就同步。清掉以後要看,得跟院裡申請調檔,調回來還得裝回這台。」她頓了一下,「這台明年報廢。」
第十四格還在那裡,比別格乾淨,一圈一圈往外。
他拿起加密碟。院產標籤的一角翹起來了,他用拇指把它壓平,把碟子放回鍵盤旁邊,放正。
「可以。」他說。