大数据及其相应技术已经对社会知识体系及思维方式产生重大影响。基于这一技术对古代文学经典文本进行深度而高效的分析,可使文学研究进入更宏观的视野,提高研究结论的精准性、稳定性及可验证性,促生新的研究理念、方法与范式。信息革命以来,古籍文献数据化积累和知识库建设卓有成效。浩如烟海的古籍,可以组成大小不等的任意文本集合,具有不同维度的数据特征。对它们进行基于字词、语句、篇体等方面的统计,可以获得不同于纸本阅读的认知。
对古籍进行散点透视
谷歌与哈佛大学利用其共同开发的数据库对公元1800—2000年出版的近520万册书籍的单词和短语的使用频率进行统计,任意词或词组在过去数百年典籍中的出现频率与变化趋势得以清晰呈现。这一词频统计器广泛应用于如探索名物的兴衰沿革、话题的热度变化、人物或群体的影响力等研究。
同样,大数据时代下新的技术和研究思路为弥补纸质古籍在结构化整理、大量资料汇聚排列、关系立体化勾连呈现等方面的不足提供了可能性。我们利用《国学宝典》数据库收录的超一万种逾22亿字的历代古籍精良数据,在其中筛选出最为核心的经典近百部,对其从用字量、用字比(TTR_H)、字频等不同角度进行统计,将时代与文体来源广泛的文献以前人不曾设想过的方式进行关联比较,获得了一系列涉及汉语史、文体学、知识考古学、蒙学研究、近代文白转型等众多领域与交叉学科的重大命题与发现,是“数字映射经典,技术更新人文”的有效例证。
纵向概览从先秦到清代典籍数据,首先可以关注到的是单部经典总字数和用字量的渐增趋势。显然,前者与文献的物质形态的变化发展直接相关,后者除了受中古汉语双音化等自身发展因素的影响之外,同样与汉代至中古以来总体书籍量的增长及社会的知识好尚有关。用字量排名靠前的首先是知识性工具书与承担识字教材功能的蒙学读本,如《尔雅》(3360字)、《水经注》(4490字)、《古文观止》(3863字)等。汉代以降,士人逐渐重视学术与社会观点的积累以及人生精华的总结,故而其著述常有丰厚渊博的知识性特质。“究天人之际,通古今之变”的《史记》与“言其大也,则焘天载地;说其细也,则沦于无垠”的《淮南子》用字量分别为4730字与3900字,在参与统计的上古至中古文献中十分突出,已可与明清长篇章回体小说作品比肩(四大名著和《聊斋志异》用字量在3931~4936字之间)。
仅依靠数据自身不能完成“智慧型”转化,比数据更重要的是阐释数据的方式。除了将统计分析与经典论题相关联,数据的切分与聚类也是至关重要的基础环节。一项经典研究案例是,将《红楼梦》以四十回为单位进行文本切分,最后一部分在用字量方面的显著不同刚好佐证关于作者的疑问。然而,以用字量直接衡量作品质量或阅读难度又会堕入机械的统计分析思维。例如统计中居首的几部小说文献,其体量大、涉及内容广、雅俗语体并包等因素共同提升了用字量。同样,受常用汉字总量限制,文献篇幅的增加反而会导致用字比下降。故而统计中引入计算语言学常用的TTR_H模型以修正用字比,最终结果显示,用字比最高者皆为蒙学读本:《千字文》(1)、《百家姓》(0.986)、《三字经》(0.894)、《声律启蒙》(0.857)。可见,编著者有意识地在有限的篇幅和内容难度中增加用字量,让学童能比较密集地习得尽可能多的汉字。蒙学读物的编纂者选字标准是什么,是当时常见经典文献中的高频字,还是日常生活中的常用字,还是有别的标准?这种选择是以何种方式完成的?这些都是值得进一步探究的话题。
从用字特征探测经典命题
字频统计中,考虑到虚字和实字的不同属性和阐释功能,二者通常被分别计算。虚词在汉语史等领域的研究中经常被作为特征数据使用,同时也是作品风格比对的标志性参数,虚词的使用比重本身便构成不同作者间的风格标识。“五经”之中,参照后世“文笔之辨”,《诗》为有韵之文,因而与其他几部书相比,高频词中实词比重更大,古人“实字多则健,虚字多则弱”的诗论观点或滥觞于此。以高频字的虚实映射“文笔之辨”的方法可推及后世,普遍而言,在诗歌与词曲等文体中,实词作为高频词的概率大于散文文体。
作为“五经”中成书年代最早的《尚书》,其虚字运用特征同样保存了上古汉语的流变痕迹。《尚书》中频次居首者是极具上古色彩的虚词“惟”,这不仅与其中许多篇目的记言性质有关,也体现了早期汉语与后来“之乎者也于”时代的分野。以相同视角观照近古作品,可以窥见汉语史上的另一重大变革。对话是小说中的重要元素,表达说话行为的动词自然享有高频地位,在《三国演义》与《聊斋》中体现为“曰”,而《西游记》和《水浒传》中则体现为“道”,这是后一组作品文言色彩减弱的重要标志。而真正的白话转型发生在《红楼梦》身上,“的”首次取代语法功能相同的“之”而上榜,成为第二高频词。《红楼梦》中居首的高频词是另一个极具白话特征的虚词“了”,这也是《水浒传》中的第一高频词。