古籍文献数据库存在的问题与突破的方向－试论计算机技术在古典文献研究中的若干问题

来源：网络 时间：2022-03-19

内容提要：计算机技术在古典文献整理与研究中的贡献是极大的，但目前存在着缺乏统一领导与规划；开发商嗜利忘义；热门文献数据重复，冷门文献数据罕见；技术关卡重重，难以互相兼容；功能单调，难以真正为科研服务；学术圈地，使人心有余而力难用等问题。解决这一问题的关键在于建立公共古典文献数据库和开发个性化文献检索服务系统两个方面。具体说来是加强总体规划，建立公共古典文献数据库；数据库内容与文献检索服务系统分离；加速确定字库方案；彻底解决古典文献版权问题；建立公平的交易平台和发展新兴学科，培养专业人才。
　　关键词：古典文献数据库　公共古典文献数据库　文献检索服务系统

　　计算机技术的飞速发展，为古典文献研究的现代化提供了坚实的基础，其贡献是有目共睹的。然而，计算机技术在古典文献研究中的运用仍然存在着极为严重的缺陷也是不容回避的。笔者近几年来主持并直接参加设计“e书库”数据库的过程中，感到有必要将自己的一些想法提供给正在设计有关软件的计算机专业人员、愿意使用该类软件的专家学者们参考。

　　一、我国古典文献数据库建设的历程

　　自古以来，历代学者对古典文献整理与研究一直沿袭手工操作的方式，然而自上世纪80年代后，计算机技术开始涉入到古典文献研究中，对传统的古典文献整理与研究方法（自然也对一切需要使用古典文献资料的专业研究）起到了极大冲击。
　　首先简单回顾一下计算机技术在古典文献研究领域内发展的历程。上世纪80年代初，我国一些图书馆、大专院校及科研机构陆续开始大规模地利用计算机设计并建立数据库。大致说来有两类数据库，一类是书目数据库，一类是文献数据库。南京图书馆于90年代初率先建立书目数据库，对读者检索有关书目起到了极大的帮助。之后，各地图书馆纷纷效尤，类似的书目数据库很快就普及了。虽说至今各地图书馆的书目数据库的检索方式，仍存在机读编码格式不统一的问题，然而书目数据库提供的方便快捷的查询功能，对读者来说无疑是一件大好事，具体到学术研究来说，至少为研究者提供了一个比较方便的查找有关古典文献的实用工具。
　　在建立书目数据库的同时，一些大专院校与科研机构开始研发各自的文献数据库。从数据制作格式来说，大致可以区分为两类，一类是图像格式，即将按原著内容扫描成PDF图像文本，另一类是元数据格式，即录入文献文本内容（或扫描并转化为电子文本）导入数据库，并转换成可阅读与检索的数据库机读格式。一般说来，无论是PDF格式还是元数据格式，它们数据库容量都较大，也提供了较为原始的检索方式，为学术研究提供了不小的帮助。从上述两类制作格式的数据库来说，PDF图像文本可以直接阅读图像文字，但总体说来不太适应古典文献整理与研究的需要。而元数据格式较为精致，初步具备了较为方便的常用的功能，可以检索、作卡片等等。
　　古典文献数据库从收录的文献内容来说，大致可以分为两类：一类是类目数据库，即按“类”收录有关图籍，如经学类、史学类、文学类以及甲骨文、金文或出土文献资料、石刻资料等等，另一类是综合数据库，如《四库全书》、《四部丛刊》、《国学宝典》之类数据库。
　　大陆最早的古典文献数据库是河南大学的《宋人笔记检索系统南宋主要历史文献》，建立于1987年。之后，各种数据库纷纷涌现，比较重要的有南京大学、河南大学、苏州大学联合研制的《计算机甲骨文信息处理系统》、中国社会科学院《全唐诗》、《先秦魏晋南北朝诗》、《全上古三代秦汉三国六朝文》、《十三经》、《全唐文》、《诸子集成》等数据库、北京大学《全宋诗》数据库、南京师范大学《全唐五代宋词》数据库、四川大学《宋会要辑稿》数据库（与海外合作）等等。港台古籍数字化起步较早，均采用繁体字形式。1984年台湾中央研究院历史语言研究所开始研发《汉籍全文资料库》，香港中文大学则有《汉及以前全部传世文献》、《魏晋南北朝全部传世文献》、《竹简帛书出土文献》数据库等等。其中《竹简帛书出土文献》收录《马王堆汉墓帛书》、《武威汉简》、《睡虎地秦墓汉简》、《银雀山汉简》、《居延汉简释文合校》及其它散见简牍共140多万字的竹简帛书出土文献，价值颇高。
　　值得注意的是，这些数据库主要是提供给本单位研究人员使用的，当然也有部分数据库对外开放，为其他研究者提供一定帮助。虽然这些数据库有种种限制，但它们无疑为古典文献的研究（当然包括其它专业的学术研究）提供了方便。之后，随着网络技术的发展，各科研机构、大专院校、各地方的图书馆、以及其它数以百计的网站向用户提供收费或不收费的古籍文献检索服务，甚至还提供古籍文献的下载服务。显然，这些工作的开展，为学术研究的现代化提供了极为有力的支持。至今为止，据笔者所查索到的除科研机构、大专院校、各地图书馆数据库之外，提供各种文献下载的中文网站至少在200个以上，其中就有不少古籍文献下载的网站。这些古典文献数据库或有关网站的建立，确实为古典文献整理与研究乃至其它学术研究提供了极有价值的帮助。

　　　　　　　　　　　　　　　　二、目前存在的问题

　　当然，我们也应该清醒地看到，在古典文献数据库大量涌现的同时，一些潜在的问题与数据库本身的缺陷严重地制约着古典文献数据库的正常发展。
　　从古典文献数据库技术发展角度来说，笔者认为大致经过三个发展阶段。第一阶段是PDF图像文本数据库，其数据来源主要是以扫描方式获得，形成PDF图像文本。这种图像文本优点是直观，与原书分毫不差，但它的缺点是功能极其单一，仅可供浏览图像和简单地检索书目。虽然第一阶段的数据库功能极少，但毕竟能方便而直观地阅读文献了，因此引起了学者们广泛的兴趣。必须指出的是，由于功能太少，这类数据库难以进一步发展。
　　第二阶段是元数据数据库，以香港迪志公司投资、书同文数字化技术有限公司设计、上海人民出版社出版的《四库全书》、书同文数字化技术有限公司设计、万方数据电子出版社的《四部丛刊》、尹小林《国学宝典》、南开大学永川公司的《二十四史》，以及大陆、港台等大专院校或科研机构制作的较大型的数据库为代表。它们的优点是具有较多的基本功能，如检索、卡片、打印等功能，有些还附加了日历查询、字典、音乐背景等附加功能。然而，它们都不允许对数据库内的文本错误进行修订、没有图表处理能力、不提供功能升级服务（某些软件提供所谓新版本，实际上只是增加一些文献文本，并未真正提升软件服务功能）。而且由于各自为政，开发者大都采取自定义方法来自造非常用的生僻词，因此各种数据库之间字库不能相互兼容。这一阶段的古典文献数据库也有吸收第一阶段数据库有图像的优点，如上述提及的《四库全书》就附有图像，以利研究者核对文字。该阶段绝大多数数据库注意到版权问题，但仍有一些数据库在版权上出现较大问题，乃至引起法律纠纷。
　　计算机技术广泛地涉入文科研究领域，各种古典文献数据库纷纷建立，当然给古典文献整理与研究的现代化提供了极其有利的帮助，然而，在笔者看来，目前计算机技术在这一领域中的运用形成纷乱无序的“战国时代”，有许多亟待解决的问题，否则将会影响或说削弱计算机技术在古典文献研究（乃至其它学术研究）中巨大作用。对此弊病，笔者拟作一概述，企望引起有关部门、数据库开发者及使用者的重视，以期真正使计算机技术对古典文献整理与研究起到更大的促进作用。大致说来，主要问题有以下几个方面：
　　其一，缺乏整体领导与规划，国家投资与收益不对称。当然，首先应该看到，国家有关部门已经着手做了一些规划，也实施建立一些比较大的古典文献数据库，如2002年10月，国家科技图书文献中心受科技部的委托，牵头联合中国科技信息研究所、国家图书馆、上海图书馆、中科院图书馆、北京大学图书馆等单位，启动了我国数字图书馆标准规范建设项目。这一项目的目的就是力图建立我国比较统一和规范的数字图书馆标准，自然也会对建立古典文献数据库有较大的借鉴与参考的价值。又如北京大学《中国基本古籍库》、上海图书馆《古籍影像光盘制作及检索系统》等等，也由国家有关部门投入大量资金，而且已经启动并完成了部分内容。不过也应该强调，由于国家没有制定出一个比较符合国内数据库发展状况的真正有价值的规范体系，因此这些项目的承担者仍是各自为政，数据库之间并不能兼容，不可能形成技术“合力”。再从所取得的社会效益或说实际使用价值来看，也不尽人意。因为至今为止建立的各种数据库仍人为地设置许多障碍，无法使它们实现较大的使用价值。数据库由国家投资，收益自然应该归国家，或者成为不收费的公益数据库，但目前收益既不归国家，又未能成为公益数据库，这不能不说是个极大的遗憾。实际上，数据库制作者无偿利用国家投资进行了开发，制作完成后却获得相当丰厚的收益，使人感到有“国家投资，个别单位图利”的印象。笔者不反对交纳一定使用费用，但收费单位一定应该说明收费后去向，绝不允许产生国家投资而由个别单位乃至某些个人得利的情况。
　　其二，开发商嗜利忘义，数据库错误严重。除上述由国家投资开发的古典文献数据库外，还有一些有一定技术实力的软件开发商加入到古典文献数据库的开发中来了。比较而言，各科研机构、大专院校及各地图书馆建立的古典文献数据库质量较高，而开发商则很少关注数据库中的文献质量。我们承认确有少量开发商制作的数据库质量较高，如迪志公司开发的《四库全书》之类，然而象《四库全书》这样的数据库确实凤毛麟角，难以寻觅。我们发现，甚至有些开发商仅仅是把文本进行文字扫描导入，疏于校对，因此文本错误百出，难以卒读。由于利益驱使，绝大多数开发商都以“独自开发”为己任，数据库设计相互保密，互不兼容，使用户深感不便。这些问题已严重地影响到古典文献数据库的正常发展了。
　　其三，热门文献数据重复，冷门文献数据罕见。虽说目前数据库品种繁多，但由于考虑到使用者对文献内容的需求，因此许多开发者热衷于开发那些热门数据，而一些比较冷门的文献则鲜有人问津。实际上，冷门的文献并非是没有学术价值的文献，只是使用人较少而已。因而，目前不但数据库中文献内容重复现象极为普遍，甚至同名同姓的数据库也有不少，如《四库全书》就出现了武汉大学版、上海人民出版社版等数种不同版本。且不说那些数量繁多、质量也不甚高的数据库浪费了多少人力物力，其实也使用户陷入无可适从、欲舍不能的境地。用户往往为了某些少量文献内容不得不购买和安装整个数据库操作系统，而且这些庞大的数据库大量占据硬盘空间，导致计算机运行速度大为减慢。而那些允许网上检索的文献数据库又往往容量极大，上网检索者多，导致“交通阻塞”！
　　其四，技术关卡重重，难以互相兼容。各开发者既鉴于不同开发目的与技术条件，又为防止他人解密，因此在开发过程中在数据库某些程序中人为设置技术障碍，以保障自己利益不受损害。自然，开发者需要投入大量人力物力，保障本身利益不受损害是无可非议的。然而也由于人为地设置了障碍，却使各种文献数据库之间不能兼容，无法形成合力，先进的技术反而成为技术壁垒。实际上，这一情况大大浪费了宝贵的人力资源与财力，对古典文献的开发与利用有百害而无一利。另外，由于技术壁垒，在古典文献数据库的文字方面更导致许多问题。我国古籍常用汉字大约为４万余个，这还不包括超过2万个异体字及数千甲骨文、金文等古文字。然而我国目前在计算机上采纳的国标字库(GB)和扩展字库(GBK)，两者相加也只有27000余字，这与我国古籍常用汉字数量相比，实在差距太大。因此，如此小的字库与需求相比确实是捉襟见肘。为了弥补这一缺陷，一些软件设计者就采取在自定义区自造字（乃至占据字库中扩展Ｂ的位置）、有些也用图片方式来填字。而这些自造字、图片字，拷贝到WORD文本之后，由于内码位置的差异就变成其它字了，从而导致文本错误。
　　其五，功能单调，难以真正为科研服务。建立较早的古典文献数据库功能比较单调，只能做些简单检索、拷贝，没有更为先进的功能，不能适应学术研究的需要。后来的一些古典文献数据库也存在类似问题，例如《四库全书》的检索功能，虽说可以采用添加“作者”、“书名”等限定条件，但检索结果只是罗列一排出处，无法直观地了解检索到的具体内容。而且《四库全书》也没有提供更多的功能给用户，因此这一巨大的工程仍远远不能满足用户的需求。况且这一数据库目前已经“定型”，不再继续开发，使用户对此深感遗憾。而其它古典文献数据库设计者的思维大多仍停留在“文本之争”当中，重复着原来设计思想的错误，没有更多地开发为科研服务的有效功能，因此在笔者看来，这一做法显然不可能真正摆脱古典文献数据库目前面临着的困境。
　　其六，学术圈地，使人心有余而力难用。解放后，一些国家级出版社化费了极大的精力，组织专家点校了不少重要古籍，为学术研究的发展作出了极大贡献。然而时至计算机时代的来临，却出现了“版权”的问题。一些制作者忽视了国家有关版权法规，直接利用了一些出版社的成果来牟取经济利益，理所当然地会产生版权纠纷。笔者以为，保护版权是每个学者乃至每个公民应尽的责任，根本毫无讨价还价的余地。然而问题是，现在一些出版社由于各种原因，没有对自己已出版的点校过的古籍进行开发，而愿意开发这些古籍资源者却无法涉入其中，导致他们处于既想开发这一宝藏又无法回避版权问题的尴尬境地，这就使众多需要使用者望洋兴叹。如果有关出版社不愿授权，那么想要开发这些古籍者只能返回到没有标点的原始文本中去。这种情况确实使每一个希望使用古典文献数据库的用户感到极其失望，而且严重影响了古典整理与研究的现代化进度。
　　上述种种现实情况，已经是制约计算机技术对古典文献整理与研究支持的瓶颈了，如果不解决这些问题，计算机技术即使再发达，恐怕也难以对古典文献整理与研究予以真正意义上的支持与帮助。

 [1] [2] 下一页