30.2. 测试评估

有一些正确安装并且具有完整功能的PostgreSQL 可能会在一些回归测试中"失效",这主要是因为浮点数的形式和时区支持的问题。 目前的测试只是简单的用diff与参考系统的输出进行比较, 因而对一些细小的系统区别很敏感。当一项测试报告"失败"时, 只要检查一下预期和实际的结果,你就会发现区别并不大。当然, 我们仍然在努力维护所有我们支持的平台的准确参考文件,这样我们就可以假定所有测试都通过。

回归测试的实际输出在src/test/regress/results目录里的文件里。 测试脚本使用diff比较每个输出文件和存放在src/test/regress/expected 目录里的参考输出。任何区别都存放在src/test/regress/regression.diffs 里面供你检查。(当运行一个测试套件而不是内核测试时, 这些文件当然会显示在相关的子目录中,而不是在src/test/regress中。)

如果你不喜欢默认的diff选项,设置环境变量 PG_REGRESS_DIFF_OPTSPG_REGRESS_DIFF_OPTS='-u'。 你也可以自己运行diff

如果获得一个"失败"的测试结果,但实际上输出结果是正确的, 你可以通过添加新的比较文件来抑制错误报告。参见第 30.3 节获取更多细节。

30.2.1. 错误消息差别

有一些回归测试涉及到有意的非法输入值。错误消息可能会来自PostgreSQL 代码或来自主机平台系统过程。对于后者,信息可能在平台之间区别比较大, 但应该反映相似的信息。这些信息上的差别将会导致一个"失败"的回归测试, 我们可以通过检查文件发现这一点。

30.2.2. 环境差别

如果你在一台服务器上运行测试,而该服务器是用一种非 C 区域设置初始化的, 那么可能因为有排序顺序和其它类似的差别导致的失败。 回归测试套件处理这种问题的方法是提供可选的结果文件,这些文件一起处理一大堆的区域。

当使用临时安装在一个不同的区域中运行测试时,在make 命令行传递适当的区域相关的环境变量,例如:

make check LANG=de_DE.utf8

回归测试驱动附件LC_ALL,所以它不使用那个变量选择区域。 要不使用区域,取消所有区域相关的环境变量(或设置它们为C) 或使用下列的特殊调用:

make check NO_LOCALE=1

当对一个现有安装运行测试时,区域设置取决于现有安装。要改变它, 通过传递适当的选项到initdb,用一个不同的区域初始化数据库集群。

通常,作为生产用的区域设置上运行回归测试是明智的,因为这将练习区域和编码相关的代码部分, 并将实际在生产中使用。取决于操作系统环境,你可能会得到错误, 但是然后你将至少知道在运行实际应用时,预期什么区域特定的行为。

30.2.3. 日期和时间差别

大多数日期和时间测试结果依赖于时区设置。参考文件是为PST8PDT 时区(伯克利,加州)准备的,因而如果测试没有设置为那个时区是显然会失败的。 回归测试的驱动器把PGTZ环境变量设置为PST8PDT, 基本可以保证正确的测试。

30.2.4. 浮点数差别

有些测试涉及到对表中的数据列进行 64 位浮点数(double precision)计算的问题。 我们观察了涉及到计算double precision字段的数学函数的结果差别。 float8geometry测试尤其容易在不同平台, 或者甚至是不同的编译器最优化设置之间产生小差别。 这时需要肉眼对这些差别进行比较,以判断这些差别究竟有多大,我们发现是在小数点右边 10 位左右。

有些系统把负零显示为-0,而其它的只是显示0

有些系统在pow()exp() 出错时产生的信号与目前PostgreSQL代码里期望的机制不一样。

30.2.5. 行顺序差别

你可能会看见同样的行以与预期文件的不同的顺序输出。在大多数情况下,严格说来这不算Bug。 大多数回归测试脚本都不会迂腐到在每个SELECT中都使用ORDER BY的地步, 因此根据 SQL 规范,它们的结果行顺序并非定义得非常好的。实际上, 因为我们是在同样的数据上用同样的软件运行同样的查询,所以在所有平台上通常都获得同样的结果, 因此即使缺少ORDER BY也不算什么大问题。不过有些查询的确存在跨平台的排序问题。 在测试一台已安装的服务器的时候,排序的差别也可能因为非 C 区域设置,或者非缺省的参数设置, 比如客户自己设置的work_mem或者规划器开销参数设置受影响。

因此,如果你看到一个排序差异,应该不是什么要担心的问题(除非明确使用了ORDER BY)。 不过,如果有这样的现像,请告诉我们,这样我们就可以在那条查询上加一个ORDER BY 从而在以后的版本里消除这种伪"失败"

你可能会问,为什么我们不对所有回归测试的 SELECT 进行排序以一次性消灭所有这类问题。 原因是这样做只能让回归测试用处更少,而不是更多, 因为它们会试图使用那些生成顺序结果的查询规划,而不再使用那些不排序的查询规划。

30.2.6. 堆栈深度不够

如果errors测试导致在select infinite_recurse() 命令的时候服务器崩溃,这就意味着平台对进程堆栈的限制小于 max_stack_depth参数值。 我们可以通过在更高的堆栈限制的数值上运行服务器绕开这个问题(缺省 max_stack_depth建议值是 4MB)。如果你无法这么做, 那么另外一个方法是减少max_stack_depth的值。

在支持getrlimit()的平台上,服务器应该自动选择一个 max_stack_depth安全值;所以除非你已经手动重写这个设置, 否则这种类型的失败是一个可报告的bug。

30.2.7. "随机" 测试

random测试脚本的目的是生成随机结果。在很罕见的情况下, 这会导致回归测试失败。键入:

diff results/random.out expected/random.out

会产生仅仅一行或几行差别。你不必担心这些,除非随机测试在重复测试中总是失败。

30.2.8. 配置参数

当针对现有的安装运行测试时,一些非缺省的参数设置会导致测试失败。 例如,修改了参数比如enable_seqscanenable_indexscan会导致规划改变, 影响使用EXPLAIN的测试的结果。