增量牺牲视图的中枢在于"增量"，仅处理自前次更新以来的数据变动，幸免再行策画统统这个词视图，权贵申斥策画和时刻支拨。通过拿获并策画增量数据，它能高效更动最新数据收尾，在及时数据分析、报表生成和数据同步等场景中，成为升迁查询性能、减少存储支拨的弗成或缺器具。
视图和牺牲视图
视图（View）
视图是一种臆造表，它仅存储界说，并不存储实质的数据。视图是字据基础表通过SQL查询语句组合、策画或过滤数据创建的。用户不错像操作普通表雷同对视图进行SELECT操作，但实质上每次稽察视图时，皆会及时延迟相应的查询。牺牲视图（Materialized View）
与普通视图不同，牺牲视图不仅存储了视图的界说，还将其查询收尾抓久化存储在数据库中，普通存储在一个物理表中。因此，当查询掷中牺牲视图时，数据库不错径直从存储的收尾中读取数据，而无需再行策画SELECT语句，从而提高了查询效果。但需要贯注的是，为了保抓数据的时效性，需要手动刷新牺牲视图来更新其存储的数据。
增量牺牲视图
增量牺牲视图（Incremental Materialized View，简称IVM）在牺牲视图的基础上增多了INCREMENTAL关节字，用于指点数据库以增量的形势自动更动视图数据。当基础数据发生变化时，增量牺牲视图梗概自动捕捉这些变化并仅更新受影响的数据部分，而无需再行策画统统这个词视图。特定情况下，用户也不错使用REFRESH敕令手动刷新增量牺牲视图，以确保数据的全皆一致性。牺牲视图的更动机制下图展示了牺牲视图的更动机制直不雅经过，图中绿色旅途，它代表了传统牺牲视图的更动过程。其中，D代表基础表是数据变更的源泉。每当D发生增量更新（如数据的插入、更新或删除），这些变更会触发一个全面的再行策画过程，沿着绿色旅途进行，以生成新的牺牲视图Vnew。这一过程中，牺牲视图的内容会被全皆再行策画，以确保与基础表D的最新情状保抓一致。为了优化这一过程，咱们引入了增量牺牲视图（IVM）的主见，其更动形势通过图示中的红色旅途明晰展现。与传统形势不同，IVM机制仅关爱由基础表D更新引起的牺牲视图V中的变化部分。当D发生更新时，IVM会精确策画出这些变化对牺牲视图的具体影响，生成增量数据，并沿着红色旅途将这些增量数据应用到现存的牺牲视图V上，从而生成新的牺牲视图Vnew。通过对比两种旅途，咱们不难发现，IVM更动机制权贵减少了策画量，极度是在处理大型数据集和频繁更新的环境中。这种针对性的增量更新计策不仅提高了牺牲视图更动的效果，还减少了系统资源的耗尽，为数据库的举座性能带来了权贵升迁。
增量牺牲视图表面基础
增量牺牲视图将视图的界说波折为关系代数，并针对增量数据部分想象了一个传播方程。这一方程用于策画增量数据，并将这些增量应用到新的牺牲视图上。以当然勾通为例，假定视图V界说为表R与表S的当然勾通。当基表R发生更新时，这些更新不错说明为删除和插入两部分。这里，咱们使用∇默示R中被删除的数据，而Δ则代表R中新增的数据。
接下来，咱们不错专揽传播方程分辨策画出视图V中由于R的更新而产生的删除部分∇V和插入部分ΔV。最终，得到更新后的牺牲视图V ，用代数抒发式V← (V − ∇V ∪∆V)默示，即先从原视图v中移除被删除的部分，再并上新增的部分。这么，每次策画皆基于增量数据，从而兑现了高效的更新机制。Apply the change to the view V ← (V − ∇V ∪∆V)以下图为例，当基础表R发生了一条更新操作，行将正本小写的"one"更新为大写的"ONE"。这是一个典型的数据更新场景。更新过程拆解：
更新操作分析：更新操作不错拆分为两部分：删除旧数据和插入新数据。删除部分：删除基础表R中小写的"one"，这不错默示为∇R（R中删除的部分）。插入部分：在基础表R中插入大写的"ONE"，这不错默示为ΔR（R中新增的部分）。策画视图变化：删除影响（∇V）：将删除部分∇R与基础表S进行当然勾通，得到的收尾即为视图V中需要删除的部分。在这个例子中，小写的"one"与S勾通明得到的收尾集（假定为1条数据，仅为示例）需要从V中移除。增多影响（ΔV）：将新增部分ΔR（即大写的"ONE"）与基础表S进行当然勾通，得到的收尾即为视图V中需要新增的部分。勾通明得到的收尾集咱们称之为ΔV，它将被添加到V中。应用变化到视图V：视图V的最终更新是通过从刻下V中减去删除部分（∇V），并加上增多部分（ΔV）来完成的。这么，V就反应了基础表R和S的最新当然勾通收尾。
CloudberryDB的IVM场景
开源数据库居品CloudberryDB已兑现增量牺牲视图（IVM）功能并全皆开源。在CloudberryDB中，IVM的应用场景粗俗，包括：
及时数据分析：在良晌万变的业务环境中，Cloudberry Database的IVM通过高频更新与闪电般的查询速率，权贵优化了及时业务监控与分析的效果，助力企业赶紧响应阛阓变化。大数据处理：面对动辄以TB计的海量数据，IVM有用削减了策画背负，大幅度升迁了数据处理的速率与效果，为企业大数据分析提供了强有劲的支抓。ETL经过优化：在复杂的数据抽取、更正与加载（ETL）过程中，IVM通过加快数据更新与处理，确保了数据流的顺畅无阻与高度准确性，为企业的数据经管提供了坚实保险。
IVM的即时更动接下来，咱们深刻解析Cloudberry Database中IVM的立即更动经过，该经过主要包括以下三个形式：
数据变化拿获：CloudberryDB专揽触发器（after trigger）和更正表机制，及时跟踪并获得基表的数据变动情况。ΔV策画：这一过程触及基表、基表变化数据以及可能的跨表勾通（join）操作。策画基于关系代数和传播方程，处理包括爽直的select、project、join操作，不包含更复杂的CTE和子查询（subquery）。牺牲视图更新：将策画得到的Delta V应用到原牺牲视图上。这普通是一个追加（append）过程，可能奉陪删除操作，以确保牺牲视图与基表数据的一致性。
在这一过程中，主要濒临以下时间难点和挑战：
拿获增量变化的数据：遴选AFTER trigger、Transition Table及WAL（Write-Ahead Logging）的逻辑解码等多种时间技能，确保增量数据的精确拿获。增量策画：基于关系代数表面，兑现Selection-Projection-Join视图的增量策画，确保策画的准确性和效果。视图增量处理：针对重迭元素问题，引入计数算法，通过动态调理计数来决定行的增批改操作，确保视图的准确性。
处理视图中的重迭元素在视图增量写入时，重迭元素的谈判尤为伏击。为此，CloudberryDB引入了一种计数（counting）算法。这种算法会对每一转进行计数，通过动态调理计数来决定行的增批改操作。举例，当删除一个元素时，其计数会减少；当插入一个新元素时，计数会增多。唯有当计数变为0时，这一转才会真是被删除。让咱们通过一个具体的例子来讲解这小数。假定视图中有重迭元素，何况这个视图支抓删除和插入操作。当删除一个元素时，其计数会从2减到1；当插入一个新元素时，计数也会相应地变化，比如从1增多到2。唯有当计数变为0时，这一转才会真是被删除。还有一些轮换用于判断，举例：
当元素被插入到视图中时，计数增多。当元素从视图中被删除时，计数减少。要是计数变为零，这个元素将被删除。
团聚函数支抓CloudberryDB的开源版块已支抓一些常用的团聚函数，如count、sum、avg等，这些函数在查询时常常被使用。联系词，关于min和max等函数，由于策画复杂度和可能的全表扫描需求，面前尚未在开源版块中提供支抓。在处理avg等函数时，系统会将其拆分为sum和count两部分，通过策画增量并更新这两部分的值来动态更动avg的收尾。
count(x) ← count(x) ± [count(x) from delta table] sum(x) ← sum(x) ± [sum(x) from delta table] avg(x) ← (sum(x) ± [sum(x) from delta]) / (count(x) ± [count(x) from delta])min(x), max(x)When tuples are inserted:min(x) ← least (min(x), [min(x) from delta table])max(x) ← greatest (max(x), [max(x) from delta table])When tuples are deleted:If the old min(x) or max(x) is deleted from the view, it needs recomputing the new value from base tables
施行应用在CloudberryDB中测试TPCH时，咱们尝试专揽IVM来加快性能。以Q9查询为例，咱们创建了一个名为revenue0的视图。这个视图的界说并未发生改变，查询代码也保抓不变，但当今它不错径直专揽牺牲视图和增量牺牲视图的收尾。针对不同的数据量，咱们进行了一系列的测试，包括1GB、5GB和10GB的数据集。在使用revenue0这个视图时，要是是普通视图，1GB数据的查询时刻是813ms。而要是使用增量优化视图，查询时刻则镌汰至43ms。关于更大的数据集，如10GB，普通视图的查询时刻是7,057ms，而增量牺牲视图的查询收尾仅为102ms，分辨兑现了~20倍与~70倍的性能升迁。需要贯注的是，由于咱们遴选的是立即更动增量牺牲视图的形势，这会在一定进程上拖慢统统这个词插入操作的性能。比较普通插入操作，带增量牺牲视图的插入操作性能会下跌轻便一倍摆布。这是因为在进行插入操作时，系统还需要同期更动增量牺牲视图。为了处罚这个问题，咱们在HashData Enterprise版块居品推出了异算作理功能。通过异算作理，系统不错在不放胆插入性能的前提下，兑现增量牺牲视图的更新和优化。
专揽牺牲视图快速响应查询
如何专揽牺牲视图快速响应查询？当先，明确问题界说：用户提倡一个查询Q，咱们手头有一系列牺牲视图的界说（V1到Vn）。策动是进行查询重写，得到一个与原查询Q等价的Q1'，并在此过程中专揽已有条目和视图来撑抓这一改写。问题界说:
Input: Query QView definitions: V1,……, VnA rewriting: a query Q’ that refers only to the views and interpreted predicatesAn equivalent rewriting of Q using V1,……, Vn:a rewriting Q’, such that Q’ ⇔ Q“Answering queries using views: A survey” by Alon Halevy.VLDB Journal 10:270-294 (2001).
在兑现查询重写时，枢纽原则是保抓查询的等价性。咱们遴选基于轮换的形式来兑现查询的重写，并借助代价模子来弃取最优的牺牲视图。这一过程对用户是透明的，即在延迟查询权术时，系统会自动将查询替换为对牺牲视图的查询，从而权贵升迁查询性能。create table agumv_t1(c1 int,c2 int,c3 int) distributed by(c1);insert into agumv_t1select i, i+l, i+2 from generate series(1,10000000)i;insert into agumv_t1 select * from agumv_t1;create incremental materialized view agumv_t1 0 as select * from agumv_t1 wherecl=2;select * from agumv_t1 where c1=2;以T1表为例，该表包含三列并插入了1000万行数据。咱们为其创建了一个特定条目下的增量牺牲视图。当延迟满足这些条目的查询时，系统梗概自动专揽这个牺牲视图，将查询时刻从1659ms镌汰至43ms，兑现了对用户透明的~40倍性能升迁。关于异算作理的牺牲视图，要是视图不是最新的，咱们可能需要生成最新的查询权术。为了处罚这个问题，咱们引入了数据序列扫描算子。这个算子会当先尝试掷中已有的牺牲视图版块，要是仍有部分数据未应用增量优化，则走漏过SQL扫描进行特等的聚拢运算。最终，这两部分的收尾走漏过append算子进行团结，并经过必要的重排序和最终聚拢后复返给用户。这一过程亦然咱们在HashData Enterprise版块居品中针对异算作理场景的具体兑现。
回想
需要强调的是，CloudberryDB刻下版块的增量牺牲视图（IVM）功能仍存在一定的适度，举例它不支抓某些特定函数、复杂查询（举例公用表抒发式CTE、子查询、窗口函数）、特定类型的勾通（如左勾通、外勾通）以及分区表。咱们期待能与CloudberryDB开源社区共同死力，不休完善这一功能，共同鼓动数据库时间的发展，投诚在往常的版块中，这些适度将得到有用的处罚和改良。