①数据抽取：从源数据源系统抽取目的数据源系统需要的数据：②数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和加工；③数据加载：将转换后的数据装载到目的数据源。
数据抽取的流程包括以下几个步骤：预处理、抽取、转换和加载（ETL）以及后处理。预处理阶段主要是对原始数据进行清洗和整理，以确保数据的质量和准确性。这个过程中，数据工程师需要对数据进行去重、缺失值处理、异常值检测和修正等操作。
ELT，全称为Extraction-Loading-Transformation，即数据提取、加载和转换。这是一种数据处理方法，其核心步骤包括数据从原始源的抽取、将数据装载到数据仓库中，以及对数据进行必要的转换处理。相较于传统的ETL模型，ELT的一大优势在于其能够在数据抽取的同时进行转换。
GaussDB内核巧妙地引入常驻的CBM writer，它如同数据的翻译官，解析日志中的每一条指令，记录下数据页面的每一次微妙变化，为增量备份的高效进行提供了强大支持。
1、接下来，我们聚焦在备份的细节上，全量备份和增量备份这两个概念。全量备份是指将所有数据完整复制，就像对当前状态的完全照相。而增量备份则是只复制自上次备份以来有所改变的数据，如同记录数据的差异追踪。结合上述两种维度，我们得到四种备份组合：离线全量备份、离线增量备份、在线全量备份和在线增量备份。
2、系统管理员只需要两盘磁带，即全备份磁带与灾难发生前一天的差异备份磁带，就可以将系统恢复。 增量备份 （Incremental Backup ）备份自上一次备份（包含完全备份、差异备份、增量备份）之后有变化的数据。
3、全量备份是指对某一时间点上的所有数据进行全量备份，包括系统和所有数据。这种备份方式每次都需要对系统和所有数据进行一次全量备份。这种备份方式最大的好处就是在恢复丢失数据时，只需要对一个完整的备份进行操作就能够恢复丢失数据，大大加快了系统或数据恢复的时间。
如数据， 从它向下拉做增量序列。将鼠标放在单元格的右下角， 并将其转换为10字形以保存下拉列表。看到默认序列格式是相同数字。 单击包含十字的序列号右下角的图案， 然后在菜单中选择第二个填充序列。该序列的数据就变成递增了。
如数据，从中拉下来做增量序列。将鼠标放在单元格的右下角，当它变成十字形时单击并向下拉。看到默认序列格式是相同的数字。单击包含十字的序列右下角的图案，然后在菜单中选择第二个填充序列。该序列的数据就变成递增了。
如果手动输入的初始数字不是1，可以选中填充的单元格，右键点击“自动填充”，选择“序列”，设置好序列的起始与增量方向即可。总之，Excel的自动填充功能让序列号的填充变得非常高效便捷。 在Excel中选中需要自动增减的序列号单元格，如A1。 输入起始值，如1。
数据序号递增需要用户在输入时有增量值。举例，在A列设置序号，先在A2和A3分别输入1和2，然后选中A1和A2，鼠标放置单元格右下角，拖下拖曳。将excel表格序号1和序号2输入到表格，选中序号1和序号2，右下角会出现一个小十字，拖拽着小十字一直拖，序号就会递增。
excel下拉数字不递增只复制是因为excel序号的相关代码出错，方法如下：打开excel文档。变成十字形时往下拉。选择“填充序列”就可以递增填充了。同时选中两个数据往下拉即可。下拉的过程中就可以看到最会一行的数据。
1、CDC有两种模式：同步和异步。同步CDC主要通过触发器实时记录新添加的数据，实现近乎实时的增量抽取。而异步CDC则依赖于日志分析，通过解析已提交的事务来获取增量数据，可能会有一定的延迟，并且提供了与Oracle Streams接口的兼容。
2、增量变更模式。在工程项目中，CDC模式是一种增量变更模式，通过捕获源数据库中的数据和数据结构，将变更数据传播到其他数据库或应用程序，具有降低传输成本、帮助用户做出更快、更准确的决策、减少网络流量干扰等优势。因此工程项目管理中cdc模式是增量变更模式。
3、在具体操作上，我们首先从CDC消费binlog开始，数据经过格式转换后写入Hudi表，确保实时性和准确性。对于动态Schema变更，我们设计了一套Flink CDC自动重启任务的策略，通过识别DDL事件来简化管理，但可能会对性能产生一定影响。在性能优化方面，Hudi Bucket Index和全量导入时的写放大问题得到了关注。
4、实时同步、监控和预警等意义。实时同步：通过捕获源数据库中的变化，将其保存为事件来进行数据更新操作，在多个系统之间可以快速准确地完成对特定表或行级别上的增量式修改。监控和预警：CDC技术能够跨越不同类型或版本等限制，具备灵活分析处理功能以及异常检测机制从而更好达到最佳业务效果。
5、CDC是指从源数据库捕获到数据和数据结构（也称为模式）的增量变更，近乎实时地将这些变更，传播到其他数据库或应用程序之处。通过这种方式，CDC能够向数据仓库提供高效、低延迟的数据传输，以便信息被及时转换并交付给专供分析的应用程序。
6、CDC是英文CENTER FOR DISEASE CONTROL AND PREVENTION的缩写。CDC的中文意思是疾病预防控制中心。
1、优化数据结构，每张数据表字段4-5个，加上索引。还可以将不同的种类的数据存入不同的数据库。减少单个数据库的压力。写入数据只是存的问题，问题在于读取数据会变慢。建议使用缓存memcache，redis在向你招收哦。将用户数据存入内存，再次读取避免从数据库查找。分布式，搞集群，扩大配置。
2、直接复位自动增量值 ALTER TABLE语法提供了一种方法来重新设置自动增量列。采取看看下面的例子。ALTER TABLE table_name AUTO_INCREMENT = 1；请注意，你不能重置计数器的值小于或等于任何已使用的。对于MyISAM，如果该值小于或等于目前在AUTO_INCREMENT列的最大值，该值是目前最大的加一复位。
3、windows系统就用windows系统自带的备份软件备份，基本是就是备份文件，想用第三方备份就选择个备份软件（中科同向的备份软件不错）。增量备份和完全备份结合使用最好，如果想在省事一点就用CDP持续数据保护软件。
4、提示输入密码时，输入该数据库用户名的密码。创建空的数据库 通过主控界面/控制面板，创建一个数据库。假设数据库名为abc，数据库全权用户为abc_f。将sql脚本导入执行 同样是两种方法，一种用phpmyadmin（mysql数据库管理）工具，或者mysql命令行。
5、进入数据库用source导入 增量备份是针对于数据库的bin-log日志进行备份的，增量备份是在全量的基础上进行操作的。增量备份主要是靠mysql记录的bin-log日志。1：查看是否开启bin-log日志 进入mysql输入命令可查看。显示如下为开启状态，日志文件在/var/lib/mysql/以binlog.00001的格式保存。
6、另外一种方式是通过分析mysql的binlog再进行不同数据拓扑的复制。两者本质上来说应该是一样的，后者可能更加简便，并且对应用无侵入，前者虽然也能够做到，实际实现或者推广和操作上都有不少阻力，最起码解析binlog方式是mysql一上去，更新的log已经天然存在与binlog中了。
