8.11. 文本搜索类型

PostgreSQL提供了两种数据类型用于支持全文检索, 即通过自然语言documents的集合来找到那些匹配一个query的检索。 tsvector类型产生一个文档(以优化了全文检索的形式),tsquery类型用于代表查询。 Chapter 12中说明了这两个类型,同时Section 9.13总结了相关的函数和操作符。

8.11.1. tsvector

tsvector的值时一个无重复值的lexemes排序列表, 即一些归并为同一个词的不同变种的词(可参阅 Chapter 12)。 在输入的同时会自动排序和消除重复,如:

SELECT 'a fat cat sat on a mat and ate a fat rat'::tsvector;
                      tsvector
----------------------------------------------------
 'a' 'and' 'ate' 'cat' 'fat' 'mat' 'on' 'rat' 'sat'

为了包含空格或标点符号,可以用引号标记:

SELECT $$the lexeme '    ' contains spaces$$::tsvector;
                 tsvector                  
-------------------------------------------
 '    ' 'contains' 'lexeme' 'spaces' 'the'

(在这个例子中,我们使用了双引号美元字符串文本呢,下一个例子是为了避免文本中双引号的混淆) 枚举的引号和反斜杠必须双倍:

SELECT $$the lexeme 'Joe''s' contains a quote$$::tsvector;
                    tsvector                    
------------------------------------------------
 'Joe''s' 'a' 'contains' 'lexeme' 'quote' 'the'

可选的,整型positions也可以放到词汇中:

SELECT 'a:1 fat:2 cat:3 sat:4 on:5 a:6 mat:7 and:8 ate:9 a:10 fat:11 rat:12'::tsvector;
                                  tsvector
-------------------------------------------------------------------------------
 'a':1,6,10 'and':8 'ate':9 'cat':3 'fat':2,11 'mat':7 'on':5 'rat':12 'sat':4

位置通常表示文档中的源字的位置。位置信息可以用于proximity ranking。 位置值可以使从1到16383,最大值默认是16383. 相同词的重复位会被忽略掉。

拥有位置的词汇甚至可以用一个来标记,这个权可以是ABCD。 默认的是D,因此输出中不会出现:

SELECT 'a:1A fat:2B,4C cat:5D'::tsvector;
          tsvector          
----------------------------
 'a':1A 'cat':5 'fat':2B,4C

权可以用来反映文档结构,如:标记标题以与主体相区别。全文检索排序函数可以为不同的权标记来分配不同的优先级。

充分理解tsvector类型不能自己标准化这一点是很重要的,它假设传递给它的单词对应用程序来说是恰当的标准化了的,如:

select 'The Fat Rats'::tsvector;
      tsvector      
--------------------
 'Fat' 'Rats' 'The'

对大多数的英文全文检索应用来说,上面的单词会被认为非规范化的,但tsvector并不关心这些。 原始文件中的文字应该通过to_tsvector来为检索恰当的规范化这些单词。

SELECT to_tsvector('english', 'The Fat Rats');         
   to_tsvector   
-----------------
 'fat':2 'rat':3

详细信息可参阅Chapter 12

8.11.2. tsquery

tsquery存储用于检索的词汇,并且使用布尔操作符& (AND),| (OR)和! (NOT)来组合它们。 括号用来强调操作符的分组:

SELECT 'fat & rat'::tsquery;
    tsquery    
---------------
 'fat' & 'rat'

SELECT 'fat & (rat | cat)'::tsquery;
          tsquery          
---------------------------
 'fat' & ( 'rat' | 'cat' )

SELECT 'fat & rat & ! cat'::tsquery;
        tsquery         
------------------------
 'fat' & 'rat' & !'cat'

在没有括号的情况下,! (NOT)结合的最紧密,而& (AND)结合的比| (OR)紧密。

可选的,tsquery中的词汇可以被一个或多个权字母来标记,这些权字母用来限制它们只能与带有匹配权的tsvector词汇进行匹配。

SELECT 'fat:ab & cat'::tsquery;
    tsquery
------------------
 'fat':AB & 'cat'

同样,tsquery中的词汇可以用*进行标记来指定前缀匹配:

SELECT 'super:*'::tsquery;
  tsquery  
-----------
 'super':*

这个查询可以匹配tsvector中以"super"开始的任意单词。

词汇的引用规则与之前tsvector中词汇的描述一样;并且,与tsvector,任何单词必须在转换为tsvector类型前规范化。 to_tsquery函数可以方便的用来执行规范化。

SELECT to_tsquery('Fat:ab & Cats');
    to_tsquery    
------------------
 'fat':AB & 'cat'