谈到网页搜索引擎时,大多数人都会想到雅虎。的确,雅虎开创了一个互联网络的搜索时代。然而,雅虎目前用于搜索网页的技术却并非该公司原先自己开发的。2000年8月,雅虎采用了Ｇｏｏｇｌｅ(ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ)这家由斯坦福大学学生创建的风险公司的技术。理由非常简单,Ｇｏｏｇｌｅ的搜索引擎比雅虎先前使用的技术能更快、更准确搜索到所需要的信息。让我们自己来设计、开发一个强劲、高效的搜索引擎和数据库恐怕短时间内在技术、资金等方面是不可能的,不过,既然雅虎都在使用别人的技术,那么我们是不是也可以使用别人现成的搜索引擎网站呢?
1 编程思路我们可以这样设想:模拟一个查询,向某个搜索引擎网站发出相应格式的搜索命令,然后传回搜索结果,对结果的ＨＴＭＬ代码进行分析,剥离多余的字符和代码,最后按所需要的格式显示在我们自己的网站页面里。这样,问题的关键就在于,我们要选定一个搜索信息准确(这样我们的搜索才会更有意义啊)、速度快(因为我们分析搜索结果并显示需要额外的时间),搜索结果简洁(便于进行ＨＴＭＬ源代码分析和剥离)的搜索网站,由于新一代搜索引擎Ｇｏｏｇｌｅ的各种优良特性,这里我们选择它为例,来看看用ＰＨＰ怎样实现后台对Ｇｏｏｇｌｅ(ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ)搜索、前台个性化显示这一过程。
我们先来看看Ｇｏｏｇｌｅ的查询命令的构成。进入ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ网站,在查询栏中输入“ａｂｃｄ”,点击查询按钮,我们可以发现浏览器的地址栏变成:“ｈｔｔｐ:∥ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ ｓｅａｒｃｈ?ｑ=ａｂｃｄ＆ｂｔｎＧ=Ｇｏｏｇｌｅ%ＣＢ%Ｄ1%ＣＢ%Ｆ7＆ｈｌ=ｚｈ-ＣＮ＆ｌｒ=”,可见,Ｇｏｏｇｌｅ是通过表单的ｇｅｔ方式来传递查询参数并递交查询命令的。我们可以使用ＰＨＰ中的ｆｉｌｅ()函数来模拟这个查询过程。
2 了解Ｆｉｌｅ()函数语法:ａｒｒａｙｆｉｌｅ(ｓｔｒｉｎｇｆｉｌｅｎａｍｅ);返回值为数组,将文件全部读入数组变量中。这里的文件可以是本地的,也可以是远程的,远程文件必须指明所使用的协议。例如:
ｒｅｓｕｌｔ=ｆｉｌｅ(“ｈｔｔｐ:∥ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ ｓｅａｒｃｈ?ｑ=ａｂｃｄ＆ｂｔｎＧ=Ｇｏｏｇｌｅ%ＣＢ%Ｄ1%ＣＢ%Ｆ7＆ｈｌ=ｚｈ-ＣＮ＆ｌｒ=”),该语句将模拟我们在Ｇｏｏｇｌｅ上查询单词“ａｂｃｄ”的过程,并将搜索结果以每行为元素,传回到数组变量ｒｅｓｕｌｔ中。因为这里读取的文件是远程的,所以协议名“ｈｔｔｐ:∥”不能缺少。如果要让用户输入搜索字符进行任意搜索,我们可以做一个输入文本框和提交按钮,并将上文中的被搜索字符“ａｂｃｄ”用变量替换:<?ｐｈｐ ｅｃｈｏ“<ｆｏｒｍ>”;∥没有参数的ｆｏｒｍ,默认提交方式为ｇｅｔ,提交到本身 ｅｃｈｏ“<ｉｎｐｕｔｔｙｐｅ=“ｔｅｘｔ”ｎａｍｅ=“ｋｅｙｗｏｒｄｓ”>”;∥构造一个文本输入框 ｅｃｈｏ“<ｉｎｐｕｔｔｙｐｅ=“ｓｕｂｍｉｔ”ｖａｌｕｅ=“查询”>”;∥构造一个提交查询按钮 ｅｃｈｏ“< ｆｏｒｍ>”; ｉｆ(ｉｓｓｅｔ(ｋｅｙｗｏｒｄｓ))∥提交后ＰＨＰ会生成变量ｋｅｙｗｏｒｄｓ,即要求下面的程序在提交后运行
{ ｕｒｌｅｎｃｏｄｅ(ｋｅｙｗｏｒｄｓ);∥对用户输入内容进行ＵＲＬ编码 ｒｅｓｕｌｔ=ｆｉｌｅ(“ｈｔｔｐ:∥ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ ｓｅａｒｃｈ?ｑ=”.ｋｅｙｗｏｒｄｓ.“＆ｂｔｎＧ=Ｇｏｏｇｌｅ%ＣＢ%Ｄ1%ＣＢ%Ｆ7＆ｈｌ=ｚｈ-ＣＮ＆ｌ=”); ∥对查询语句进行变量替换,将查询结果保存在数组变量ｒｅｓｕｌｔ中 ｒｅｓｕｌｔ ｓｔｒｉｎｇ=ｊｏｉｎ(“”,ｒｅｓｕｌｔ);∥将数组|Sｒｅｓｕｌｔ合并成字符串,各数组元素之间用空格粘和…∥进一步处理}?>上面的这段程序已经能按用户输入内容进行查询,并将返回的结果合成一个字符串变量|Sｒｅｓｕｌｔ ｓｔｒｉｎｇ。请注意要使用ｕｒｌｅｎｃｏｄｅ()函数将用户输入内容进行ＵＲＬ编码,才可以正常地对输入的汉字、空格以及其他特殊字符进行查询这样做也是尽可能逼真地模拟Ｇｏｏｇｌｅ的查询命令,保证搜索结果的正确性。
3 对Ｇｏｏｇｌｅ的分析为了便于理解,现在假设我们所真正需要的东西是:搜索结果的标题、网址和简介等,这是一个简洁而典型的需求。这样,我们所要做的便是:去除Ｇｏｏｇｌｅ搜索结果的台头和脚注,包括一个Ｇｏｏｇｌｅ的标志、再次搜索的输入框和搜索结果说明等,并且在剩余的搜索结果各项条目中剥离原来的ＨＴＭＬ格式标记,替换成我们想要的格式。要做到这一点,我们必须仔细地分析Ｇｏｏｇｌｅ搜索结果的ＨＴＭＬ源码,找到其中的规律。不难发现,在Ｇｏｏｇｌｅ的搜索结果的正文总是包含在源码的第一个<ｐ>标记和倒数第二个<ｐ>标记之间,并且倒数第二个<ｐ>标记后紧跟ｔａｂｌｅ字符,而且这个组合“<ｐ><ｔａｂｌｅ”在源码中也仅有1次,利用这个特点,我们可以这样去除Ｇｏｏｇｌｅ的台头和脚注。以下所有程序均依次接续在上文程序的“进一步处理”处。ｒｅｓｕｌｔ ｓｔｒｉｎｇ=ｓｔｒｓｔｒ(ｒｅｓｕｌｔ ｓｔｒｉｎｇ,“<ｐ>”);∥取ｒｅｓｕｌｔ ｓｔｒｉｎｇ从第一个<ｐ>开始后的字符串,以去除Ｇｏｏｇｌｅ台头ｐｏｓｉｔｉｏｎ=ｓｔｒｐｏｓ(ｒｅｓｕｌｔ ｓｔｒｉｎｇ,”<ｐ>ｔａｂｌｅ符号的位置ｒｅｓｕｌｔ ｓｔｒｉｎｇ=ｓｕｂｓｔｒ(ｒｅｓｕｌｔ ｓｔｒｉｎｇ,0,ｐｏｓｉｔｉｏｎ);∥截取第一个<ｐ>ｔａｂｌｅ符号之前的字符串,以去除脚注
4 应用与实现现在我们已经得到有用的ＨＴＭＬ源码主干了,剩下的问题是如何自主地显示这些内容。我们再分析一下这些搜索结果条目,发现每个条目之间也是很有规律的用分隔,也就是各成一个段落,按这个特点我们用ｅｘｐｌｏｄｅ()函数把每个条目切开:语法:ｅｘｐｌｏｄｅ(ｓｔｒｉｎｇｓｅｐａｒａｔｏｒ,ｓｔｒｉｎｇｓｔｒｉｎｇ);返回一个数组,按ｓｅｐａｒａｔｏｒ切开后的各个小字串被保存在数组中。于是:ｒｅｓｕｌｔ ａｒｒａｙ=ｅｘｐｌｏｄｅ(“<ｐ>”,ｒｅｓｕｌｔ ｓｔｒｉｎｇ);∥用字串“<ｐ>”把结果切开我们就得到一个数组ｒｅｓｕｌｔ ａｒｒａｙ,其中每个元素都是一个搜索结果条目。我们所要做的仅仅是研究每个条目及其ＨＴＭＬ显示格式代码,然后按要求替换就行了。下面用循环来处理ｒｅｓｕｌｔ ａｒｒａｙ中的每个条目。ｆｏｒ(ｉ=0;ｉ{…∥处理每个条目}对于每个条目,我们也很容易找到一些特点:每个条目都由标题、摘要、简介、类别、网址等组成,每个部分都换行,即包含<ｂｒ>标记,于是再次分割:(以下处理程序放在上文的循环中)ｅｖｅｒｙ ｉｔｅｍ=ｅｘｐｌｏｄｅ(“<ｂｒ>”,ｒｅｓｕｌｔ ａｒｒａｙ[ｉ]);这样我们得到一个数组ｅｖｅｒｙ ｉｔｅｍ,其中ｅｖｅｒｙ ｉｔｅｍ[0]就是标题,ｅｖｅｒｙ ｉｔｅｍ[1]和ｅｖｅｒｙ ｉｔｅｍ[2]两行为摘要,ｅｖｅｒｙ ｉｔｅｍ[3]和ｅｖｅｒｙ ｉｔｅｍ[4]等等的头部如果包含“<ｆｏｎｔｓｉｚｅ=-1ｃｏｌｏｒ=#6ｆ6ｆ6ｆ>简介:< ｆｏｎｔ>”、“<ｆｏｎｔｓｉｚｅ=-1ｃｏｌｏｒ=#6ｆ6ｆ6ｆ>类别:< ｆｏｎｔ>”字符,则是简介或类别(因为有的结果条目没有该项),如果头部包含“<ｆｏｎｔｃｏｌｏｒ=ｇｒｅｅｎ>”则肯定就是网址啦,这种对比判断我们常使用正则表达式(略),如果要替换也很方便,比如包含标题的|Sｅｖｅｒｙ ｉｔｅｍ[0],其本身是有链接的,我们希望修改这个链接属性,让它在新窗口打开链接:ｅｃｈｏｅｒｅｇｉ ｒｅｐｌａｃｅ(”{…∥处理每个条目中除去第一项(第一项为标题,已经显示)的每一项…∥更多格式修改}
这样就修改了链接属性,其余很多显示格式的修改、剥离、替换都能用正则替换ｅｒｅｇｉ ｒｅｐｌａｃｅ()来完成。至此我们已经得到了每个搜索条目的每一项,并能任意修改每项的格式,甚至可以给他套上漂亮的表格。然而一个好的程序应该能适应各种运行环境的,这里也不例外,我们其实还只是讨论了搜索结果的ＨＴＭＬ剥离的一种框架方法,真正要做得完美,还要考虑很多内容,比如要显示一共搜索出多少结果,分成多少页等等,甚至还可以刨除与Ｇｏｏｇｌｅ相关的那些“类别”、“简介”等代码,让客户根本看不到原始网站。不过这些内容和要求我们都能通过分析ＨＴＭＬ进行剥离得到。现在大家完全能自己动手,做个极富个性化的搜索引擎啦。