摘要：聚类搜索是目前互联网信息检索和数据挖掘领域的研究热点。给出了聚类搜索引擎的基本工作过程并据此概述其国内外技术发展现状，从聚类对象、聚类功能、聚类算法三个方面对现有聚类搜索引擎进行分析，从工作流程、聚类方法、应用现状等方面对两个典型聚类搜索系统进行了分析和评价，最后给出了聚类搜索引擎的发展趋势。 　　随着互联网技术和互联网应用系统的快速发展，各个领域的互联网应用系统都已经积累了海量的Web数据，包括产品数据、用户数据、评价数据、关联数据、状态数据等等。这些数据不仅内容极其丰富，而且很大程度上都开放给互联网用户，可以免费的访问、下载和处理。这就为进一步集成和开发这些Web数据的潜在价值，建立增值应用提供了重要基础。聚类搜索是近年来发展最为迅速的互联网数据集成和增值技术。聚类搜索是在垂直搜索基础上发展起来的新型搜索技术。垂直搜索是主要针对行业的专业搜索，侧重于某一行业领域，其目的是使用户能够更加方便地找出所需的专业信息。而聚类搜索是为了进一步提高搜索的精度使其符合用户的搜索习惯和兴趣，在搜索引擎的搜索结果中进行聚类，把搜索出来的信息进行分类处理，将使信息资源更加清晰明了。 　　目前国内对聚类搜索引擎的综述主要见于文献[1]和文献[2]，虽然这两篇文章对聚类搜索引擎进行了很好的综述和分析，对聚类搜索引擎的形成和发展过程进行了说明，并对主流聚类搜索系统进行了测评和分析，但是对于聚类系统的功能分析还不够详尽，对于聚类搜索引擎未来的发展没有给出明确的定位。 　　本文首先给出了典型聚类搜索引擎系统的基本工作流程，对聚类搜索引擎的发展历史和现状进行了概括式综述，然后从聚类对象、聚类功能和聚类算法三个角度对聚类搜索引擎进行研究，并全面分析了若干著名聚类搜索引擎。 　　本文结构：第1节介绍聚类搜索引擎的发展现状；第2节对聚类搜索引擎的功能进行分析；第3节对典型聚类搜索引擎进行综述；第4节描述聚类搜索引擎的发展趋势；第5节总结全文。 　　1 聚类搜索引擎的研究现状 　　1.1 聚类搜索引擎概念和工作过程 　　所谓聚类搜索引擎，就是运用聚类技术对搜索结果进行自动聚类分析的搜索工具。其特点是去重性强、分类性强、汇集性强，即可以及时去除重复信息，对搜索的结果进行分门别类，并可以汇集各大知名搜索引擎的信息资源。目前，典型的聚类搜索引擎的基本工作步骤为：①依据用户查询的关键字，从一个或多个搜索引擎获取搜索结果；②对搜索结果进行预处理，过滤掉重复、无效信息；③将文档中关键短语作为特征提取出来生成聚类标签；④将文档分配到生成的聚类标签下；⑤将聚类后的搜索结果进行排序并显示给用户。 　　1.2 国内外聚类搜索引擎的发展现状 　　搜索引擎的发展阶段总共经历了三个阶段[3]，其中第1代搜索引擎主要是基于人工分类的通用搜索；第2代主要依靠机器进行自动爬取和分析，利用链接分析技术实现更为准确的搜索，如Google、百度等；第3代搜索引擎更加体现了智能化、互动式和人性化。功能包括自动聚类、去重、用户习惯记忆等方面，是未来搜索引擎主要的发展方向。 　　近几年，国际上对聚类搜索引擎系统的研究日渐火热，已经出现了一些知名的聚类搜索系统。其中，Scatter/Gather系统[4]是第一个在搜索引擎上使用聚类方法的系统；Vivisimo[5]是一种商业化聚类搜索引擎，符合用户使用习惯，搜索效率高。基于Java的开源Carrot2聚类搜索引擎[5]可自动的把搜索结果归类到相应的语义类别中，它的一个亮点是速度和易用性的提高。中文搜索领域，早期比较有实力的聚类搜索引擎有Bbmao，Bbmao搜索系统推出了去重功能，为网民解决了大量阅读重复信息的烦恼。Bbmao的聚类功能，能够提高查找信息的效率，它还具有云集各大搜索引擎结果的功能，同时完成海量信息的分门别类。近期出现的baigoogleledu综合了谷歌、百度两大搜索引擎。其基本出发点是两大搜索引擎的搜索结果的很大的差异性。这类系统对搜索结果进行聚类分析，在一定程度上缓解了广告泛滥的局面，使用户更便捷地找到需要的信息。 　　有关国内外聚类搜索引擎的相关技术，主要有聚类分析、聚类算法、中文信息处理等技术。Anton等人[7]致力于把分类体系引入评估体系来评价聚类效果质量的研究。Sudipto Guha等研究人员[8]应用概念关联代替传统的计算欧式距离，来衡量数据之间的相似度，从而确定聚类，达到了很好的效果。 　　国内一些学术组织和团体很早就开始对自动文本分类、聚类领域等相关内容进行研究，从“天网”和“网络指南针”开始北京大学和清华大学就开始致力于网页的聚类技术研究。此外，北京科技大学的麻雪云提出了一种基于关键名词短语聚类的中文搜索结果聚类方法[9]，利用百度、谷歌、雅虎三大搜索引擎来获取互联网信息，对搜索结果进行聚类分析。国防科技大学的肖坤对STC算法和Lingo算法进行了比较，并对STC算法进行了改进，设计实现了一个面向校园网聚类搜索引擎系统[10]。 　　2 聚类搜索引擎的功能分析 　　2.1 聚类对象分析 　　现有聚类搜索引擎的聚类对象主要包括三类数据：商业数据、评价数据、社交数据。 　　商品数据主要包括对服装、电器、化妆品等数据信息进行分类整理，例如用户在淘宝网输入“牙膏”关键字，在网页上立马显示出“功能”、“品牌”、“产地”等分类信息，并按照销量、价格、信用进行了排序，对商品的聚类分析清晰明确。评价数据主要包括论坛对相关主题的讨论信息，博客的交流信息，商业网站对商品的满意度评价信息等。大连海事大学的鲁明羽、姚晓娜等人提出一种基于模糊聚类的网络论坛热点话题挖掘算法，通过分析帖子和用户间的影响力传递，来判断是否为焦点人物和热门话题[11]。社交数据主要包括社交网络注册用户个人资料信息、用户关注度信息、用户之间交互信息等社交数据资源。社交数据隐含了大量可以用于聚类的关联信息，对实现智能和个性化聚类搜索具有重要意义。此外，聚类对象按数据类型还可以划分为文本数据、多媒体数据等。 　　2.2 聚类功能分析 　　聚类搜索引擎的聚类功能主要有智能聚类、去重、多媒体、覆盖性等能力。 　　智能聚类：聚类搜索引擎大多具有这项功能。目前做得最好的如Vivisimo系统，它最大的特色是会对搜索结果自动分类，采用专门开发的启发式算法来集合或聚类原文文献。 　　去重：去重可以取掉大部分的广告网页并节省掉用户的选择时间，是十分实用的一项聚类功能。国内的比比猫的去重功能非常出色，在用户获得多个搜索引擎的搜索结果后，比比猫可以自动为用户获取最有搜索结果并取掉重复的信息。 　　多媒体：除了文本聚类，聚类搜索引擎还关注视频、音频等多媒体信息进行聚类的功能，商业化、集成化、多媒体化的气息更加浓厚。搜狗音乐推出了新版的聚类页面，可视化强，用户输入音乐名称，将获得全新的聚类结果，该结果首先按照音频特征聚类，再按照文本信息聚类，保证搜索界面显示的音乐相关度最高。 　　覆盖性：聚类搜索引擎一般基于一些大型通用搜索引擎的数据资源，这样能够保证搜索的结果覆盖全面，可聚类的对象内容丰富。