大數據及其相應技術已經對社會知識體系及思維方式產生重大影響。基於這一技術對古代文學經典文本進行深度而高效的分析,可使文學研究進入更宏觀的視野,提高研究結論的精准性、穩定性及可驗証性,促生新的研究理念、方法與范式。信息革命以來,古籍文獻數據化積累和知識庫建設卓有成效。浩如煙海的古籍,可以組成大小不等的任意文本集合,具有不同維度的數據特征。對它們進行基於字詞、語句、篇體等方面的統計,可以獲得不同於紙本閱讀的認知。
對古籍進行散點透視
谷歌與哈佛大學利用其共同開發的數據庫對公元1800—2000年出版的近520萬冊書籍的單詞和短語的使用頻率進行統計,任意詞或詞組在過去數百年典籍中的出現頻率與變化趨勢得以清晰呈現。這一詞頻統計器廣泛應用於如探索名物的興衰沿革、話題的熱度變化、人物或群體的影響力等研究。
同樣,大數據時代下新的技術和研究思路為彌補紙質古籍在結構化整理、大量資料匯聚排列、關系立體化勾連呈現等方面的不足提供了可能性。我們利用《國學寶典》數據庫收錄的超一萬種逾22億字的歷代古籍精良數據,在其中篩選出最為核心的經典近百部,對其從用字量、用字比(TTR_H)、字頻等不同角度進行統計,將時代與文體來源廣泛的文獻以前人不曾設想過的方式進行關聯比較,獲得了一系列涉及漢語史、文體學、知識考古學、蒙學研究、近代文白轉型等眾多領域與交叉學科的重大命題與發現,是“數字映射經典,技術更新人文”的有效例証。
縱向概覽從先秦到清代典籍數據,首先可以關注到的是單部經典總字數和用字量的漸增趨勢。顯然,前者與文獻的物質形態的變化發展直接相關,后者除了受中古漢語雙音化等自身發展因素的影響之外,同樣與漢代至中古以來總體書籍量的增長及社會的知識好尚有關。用字量排名靠前的首先是知識性工具書與承擔識字教材功能的蒙學讀本,如《爾雅》(3360字)、《水經注》(4490字)、《古文觀止》(3863字)等。漢代以降,士人逐漸重視學術與社會觀點的積累以及人生精華的總結,故而其著述常有豐厚淵博的知識性特質。“究天人之際,通古今之變”的《史記》與“言其大也,則燾天載地﹔說其細也,則淪於無垠”的《淮南子》用字量分別為4730字與3900字,在參與統計的上古至中古文獻中十分突出,已可與明清長篇章回體小說作品比肩(四大名著和《聊齋志異》用字量在3931~4936字之間)。
僅依靠數據自身不能完成“智慧型”轉化,比數據更重要的是闡釋數據的方式。除了將統計分析與經典論題相關聯,數據的切分與聚類也是至關重要的基礎環節。一項經典研究案例是,將《紅樓夢》以四十回為單位進行文本切分,最后一部分在用字量方面的顯著不同剛好佐証關於作者的疑問。然而,以用字量直接衡量作品質量或閱讀難度又會墮入機械的統計分析思維。例如統計中居首的幾部小說文獻,其體量大、涉及內容廣、雅俗語體並包等因素共同提升了用字量。同樣,受常用漢字總量限制,抖音,文獻篇幅的增加反而會導致用字比下降。故而統計中引入計算語言學常用的TTR_H模型以修正用字比,最終結果顯示,用字比最高者皆為蒙學讀本:《千字文》(1)、《百家姓》(0.986)、《三字經》(0.894)、《聲律啟蒙》(0.857)。可見,編著者有意識地在有限的篇幅和內容難度中增加用字量,讓學童能比較密集地習得盡可能多的漢字。蒙學讀物的編纂者選字標准是什麼,是當時常見經典文獻中的高頻字,還是日常生活中的常用字,還是有別的標准?這種選擇是以何種方式完成的?這些都是值得進一步探究的話題。
從用字特征探測經典命題
字頻統計中,考慮到虛字和實字的不同屬性和闡釋功能,二者通常被分別計算。虛詞在漢語史等領域的研究中經常被作為特征數據使用,同時也是作品風格比對的標志性參數,虛詞的使用比重本身便構成不同作者間的風格標識。“五經”之中,參照后世“文筆之辨”,《詩》為有韻之文,因而與其他幾部書相比,高頻詞中實詞比重更大,古人“實字多則健,虛字多則弱”的詩論觀點或濫觴於此。以高頻字的虛實映射“文筆之辨”的方法可推及后世,普遍而言,在詩歌與詞曲等文體中,實詞作為高頻詞的概率大於散文文體。
作為“五經”中成書年代最早的《尚書》,其虛字運用特征同樣保存了上古漢語的流變痕跡。《尚書》中頻次居首者是極具上古色彩的虛詞“惟”,這不僅與其中許多篇目的記言性質有關,也體現了早期漢語與后來“之乎者也於”時代的分野。以相同視角觀照近古作品,可以窺見漢語史上的另一重大變革。對話是小說中的重要元素,表達說話行為的動詞自然享有高頻地位,在《三國演義》與《聊齋》中體現為“曰”,而《西游記》和《水滸傳》中則體現為“道”,這是后一組作品文言色彩減弱的重要標志。而真正的白話轉型發生在《紅樓夢》身上,“的”首次取代語法功能相同的“之”而上榜,成為第二高頻詞。《紅樓夢》中居首的高頻詞是另一個極具白話特征的虛詞“了”,這也是《水滸傳》中的第一高頻詞。