如何解决如何克服Netezza缺乏唯一约束/参照完整性强制的问题？
| 似乎缺乏对强制执行两个基本约束（唯一键和外键）的支持，这是许多工时调试和故障排除困难问题的原因。最初的琐碎，易于修复的问题（重复行/主从表不一致）变得不为人知，在我们的应用程序甚至我们的硬件中（甚至与硬连接自连接），其增长和引发了复杂的边缘情况。可能会导致膨胀和存储耗尽）。 Netezza在我们的环境中有多种用途：生产，研究，质量保证和分期。当然，我们的ETL流程还不成熟，无法在所有这些情况下验证所有约束。 即使在生产中使用的最成熟的应用程序中（在ETL加载数据时对其进行验证），我们也会创建一系列表，每个表都是对其前身进行计算的结果。有时，数据完整性会一路破坏，而不是一开始就被破坏（由于错误的声明） 谁能推荐一种避免这些头痛的方法论/工具？解决方法
我们最初编写了一个存储过程来处理我们数据仓库中的这一件事。
尽管从理论上讲它是可行的，但对于在NZ上常见的大型表来说却有点慢（对于500M记录表，大约需要10分钟）。
我将在下面解释存储的proc，但是现在我想说的是我们目前甚至没有利用proc，因为我们的增量/ upsert加载明确地仅插入目标数据库中尚不存在的记录。 。 （对于upsert，我们基本上只是删除插入之前要插入的记录集中的所有记录）。
这有它自己的问题，尤其是因为NZ不喜欢删除，并且需要不断整理表以实际回收空间，更不用说我们的高手可能会通过删除旧记录而丢失历史列数据这一事实。之后就进行了更改（我们还有其他过程可以加载要跟踪的尺寸不断变化的尺寸。）
无论如何，约束存储过程看起来像：
check_constraints(\'table\',\'constraint_type\') returns boolean
select constraintname,contype,attname
from _v_relation_keydata
where relation = upper(p_table) order by constraintname,conseq;
select count(*)
from (
select distinct col1,col2,...
from p_table
where col1 is not null
and col2 is not null... );
select count(*)
from p_table
where col1 is not null
and col2 is not null...;
CREATE TABLE
NZ_DUPLICATE_PKS
(
DATABASE_NAME CHARACTER VARYING(128) NOT NULL,TABLE_OWNER CHARACTER VARYING(128) NOT NULL,TABLE_NAME CHARACTER VARYING(128) NOT NULL,ROW_ID BIGINT NOT NULL,CURRENT_RECORD_INDICATOR CHARACTER(1) NOT NULL,CREATE_TIMESTAMP TIMESTAMP NOT NULL,LAST_UPDATE_TIMESTAMP TIMESTAMP NOT NULL
)
DISTRIBUTE ON
(
ROW_ID
);
CREATE TABLE
STG_NZ_DUPLICATE_PKS
(
DATABASE_NAME CHARACTER VARYING(128),TABLE_OWNER CHARACTER VARYING(128),TABLE_NAME CHARACTER VARYING(128),ROW_ID BIGINT,CURRENT_RECORD_INDICATOR CHARACTER(1),CREATE_TIMESTAMP TIMESTAMP,LAST_UPDATE_TIMESTAMP TIMESTAMP
)
DISTRIBUTE ON
(
ROW_ID
);
SELECT
DATABASE,OWNER,RELATION,CONSTRAINTNAME,ATTNAME
FROM
{YOUR_DATABASE_NAME}._V_RELATION_KEYDATA
WHERE
CONTYPE = \'p\'
-- Exclude the duplicate tracking table
AND RELATION != \'NZ_DUPLICATE_PKS\'
ORDER BY
DATABASE,CONSEQ
;
INSERT
INTO
STG_NZ_DUPLICATE_PKS
(
DATABASE_NAME,TABLE_OWNER,TABLE_NAME,ROW_ID,CURRENT_RECORD_INDICATOR,CREATE_TIMESTAMP,LAST_UPDATE_TIMESTAMP
)
SELECT
\'{YOUR_DATABASE_NAME}\' DATABASE_NAME,\'{YOUR_TABLE_OWNER}\' TABLE_OWNER,\'{YOUR_TABLE_NAME}\' TABLE_NAME,DUPS.ROWID ROW_ID,\'Y\' CURRENT_RECORD_INDICATOR,CURRENT_TIMESTAMP CREATE_TIMESTAMP,CURRENT_TIMESTAMP LAST_UPDATE_TIMESTAMP
FROM
{YOUR_TABLE_NAME} DUPS
INNER JOIN
(
SELECT
{KEY_COLUMN_1},{KEY_COLUMN_2}
FROM
{YOUR_TABLE_NAME}
GROUP BY
{KEY_COLUMN_1},{KEY_COLUMN_2}
HAVING
COUNT(*) > 1
)
KEYS
ON
DUPS.{KEY_COLUMN_1} = KEYS.{KEY_COLUMN_1}
AND DUPS.{KEY_COLUMN_2} = KEYS.{KEY_COLUMN_2};
UPDATE
NZ_DUPLICATE_PKS
SET
CURRENT_RECORD_INDICATOR = \'N\',LAST_UPDATE_TIMESTAMP = CURRENT_TIMESTAMP
WHERE
CURRENT_RECORD_INDICATOR = \'Y\'
AND
(
DATABASE_NAME,ROW_ID
)
NOT IN
(
SELECT
DATABASE_NAME,ROW_ID
FROM
STG_NZ_DUPLICATE_PKS
)
;
INSERT
INTO
NZ_DUPLICATE_PKS
(
DATABASE_NAME,LAST_UPDATE_TIMESTAMP
)
SELECT
DATABASE_NAME,LAST_UPDATE_TIMESTAMP
FROM
STG_NZ_DUPLICATE_PKS
WHERE
(
DATABASE_NAME,ROW_ID
FROM
NZ_DUPLICATE_PKS
WHERE
CURRENT_RECORD_INDICATOR = \'Y\'
)
;
SELECT
*
FROM
{YOUR_TABLE_NAME}
WHERE
ROWID IN
(
SELECT
ROW_ID
FROM
NZ_DUPLICATE_PKS
WHERE
CURRENT_RECORD_INDICATOR = \'Y\'
AND DATABASE_NAME = \'{YOUR_DATABASE_NAME}\'
AND TABLE_OWNER = \'{YOUR_OWNER_NAME}\'
AND TABLE_NAME = \'{YOUR_TABLE_NAME}\'
);
SELECT
DATABASE_NAME,COUNT(*) QUANTITY
FROM
NZ_DUPLICATE_PKS
WHERE
CURRENT_RECORD_INDICATOR = \'Y\'
GROUP BY
1,2,3
ORDER BY
1,3;
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
