-- 下载解压

-- 安装（使用grid用户）
./xagsetup.sh --install --directory /u01/app/grid/xag_v7 --all_nodes

-- 配置grid、oracle xag环境变量path
PATH=$PATH:/u01/app/grid/xag_v7/bin

-- 查询version
agctl query releaseversion

-- 故障场景：
主库和备库都是19.3 RAC，19.4 RU环境，有4个ADG备库。
主库新建create和删除pdb备库正常同步进行，然后当主库通过dblink clone pdb进入cdb时，主库正常，备库正常接收日志，但是alter报错，新clone的pdb无法recover。

本次特殊的是源库11.2.0.4升级成19c nocdb，然后再clone这个nocdb进来主库rac作为目标pdb，然后执行noncdb_to_pdb脚本转换为正常pdb。本次pdb大小300G左右，rman压缩备份后为36G，通过rman恢复40分钟左右，升级到19c耗时1个小时左右，转为pdb耗时30多分钟，具体时间根据库大小和机器环境配置决定。

-- 发现问题
当时主库clone完成后查询备库dg应用延时为零，未打开备库上面的的pdb和查看备库的alert日志，以为一切正常。结果第二天打开standby中的pdb无法正常打开为read only，报错数据文件unname，才发现备库有问题，检查备库DB_FILE_NAME_CONVERT参数正常，4个dg都有相同问题，判断应该不是dg参数有问题，估计应该是主库clone和create pdb不太一样，于是谷歌，找到一篇相似的文章对4个dg进行了修复。
-- https://codeleading.com/article/15241304236

难道19c adg主库不支持hot clone pdb进入cdb吗？于是后面自己进行测试，被clone的源库pdb状态设置为read write或者read only都不行，库虽然不大，受限于网络带框，测试真是难受。于是细心去查看官方手册，发现在高可用章节已经明确提醒DG clone pdb时需要配置额外参数了，19c之前需要手动修复备库的datafile，19c可以设置参数自动完成standby clone，下面开始介绍。

-- 排查问题

-- standby查看主库新clone进来的pdb，一切看似正常，同步延时为0，熟不知后台已经报错了（cdb mount和open都一样会有问题）
-- 因为备库的这个故障pdb被认定为offline不再进行recover同步，所以cdb全局的同步延时显示为0，后台alert很明显提示了
SQL> show pdbs

    CON_ID CON_NAME                       OPEN MODE  RESTRICTED
---------- ------------------------------ ---------- ----------
         2 PDB$SEED                       READ ONLY  NO
         3 TEST_PDB                       MOUNTED


SQL> select value from v$dataguard_stats;

VALUE
----------------------------------------------------------------
+00 00:00:00
+00 00:00:00
+00 00:00:00.000


SQL> select open_mode from v$database;  

OPEN_MODE
--------------------
READ ONLY WITH APPLY

-- 打开备库pdb开始报错
SQL> alter pluggable database all open;
alter pluggable database all open
*
ERROR at line 1:
ORA-01111: name for data file 40 is unknown - rename to correct file

alter system set archive_mode = 'on';     -- 启动归档模式
alter system set archive_command = 'cp %p /pgdata/10/archive_wals/%f';  -- 归档命令
alter system set wal_level = 'replica';
alter system set max_wal_senders = 10;    -- 默认就是10， 归档进程数
alter system set wal_keep_segments = 512;     -- 默认为0，pg_wal保留的最小wal文件数量
alter system set hot_standby = 'on';    -- 默认为on，备库为read only状态

pg_ctl stop -D /pgdata/10/data
pg_ctl start -D /pgdata/10/data

CREATE USER repuser REPLICATION LOGIN CONNECTION LIMIT 5 ENCRYPTED PASSWORD 're12a345';
-- 查看新建的用户角色
\d pg_roles
select rolname from pg_roles;

即sql语句跟踪，将sql语句的执行过程，资源消耗，统计信息都dump到trace文件中，它比单独使用explain plan更详细有效对于sql执行跟踪分析。
-- 真的很强大，从普通SQL执行，到mount和open database的很多SQL执行过程都可以跟踪分析和学习，推荐大家学习使用提升自己。

SQL> alter session set sql_trace = true;
SQL> alter session set events '10046 trace name context forever, level 16';        -- 可以同时设置多个event跟踪，也可以简写： alter session set events '10046 level 16';
SQL> exec dbms_system.set_ev(9,437,10046,8,'');
SQL> exec dbms_monitor.session_trace_enable(9,437);

SQL> oradebug setmypid
SQL> oradebug event 10046 [off]
SQL> oradebug tracefile_name

-- 关闭跟踪的话sql_trace=false，或者event level 0，或者调用相关过程即可。

alter session set events '[eventnumber|immediate] trace name eventname [forever] [, level levelnumber] : .......'

event_number通常可以指定：0、1、2、4、8、12[16、32]，也可以随意指定100哈，也不会报错应该是被重置为最大级别了。
对于10046事件可以指定：
0级level：关闭sql跟踪
1级level：打开sql跟踪
2级level：打开sql跟踪
4级level：打开并跟踪绑定变量
8级level：打开并跟踪wait事件
12级level：全部跟踪
-- 个别事件不一定有这么多级别，但一般0都是关闭跟踪，level越高跟踪越详细，消耗资源也相对越多，一般与10046一起常用的event还有10053，针对CBO的执行计划跟踪。


通过:符号，可以连续设置多个事件，也可以通过连续使用alter session set events 来设置多个事件。
格式说明：     eventnumber指触发dump的事件号，事件号可以是Oracle错误号（出现相应错误时跟踪指定的事件）或oralce内部事件号，内部事件号在10000到10999之间，不能与immediate关键字同用。
             immediate关键字表示命令发出后，立即将指定的结构dump到跟踪文件中，这个关键字只用在alter session语句中，并且不能与                eventnumber、forever关键字同用。
             trace name 是关键字。
             eventname指事件名称（见后面），即要进行dump的实际结构名。若eventname为context，则指根据内部事件号进行跟踪。
             forever关键字表示事件在实例或会话的周期内保持有效状态，不能与immediate同用。
             level为事件级别关键字。但在dump错误栈(errorstack)时不存在级别。
             levelnumber表示事件级别号，一般从1到10，1表示只dump结构头部信息，10表示dump结构的所有信息。

常用事件：
   1、buffers事件：dump SGA缓冲区中的db buffer结构
     alter session set events 'immediate trace name buffers level 1'; --表示dump缓冲区的头部。

   2、blockdump事件：dump数据文件、索引文件、回滚段文件结构
     alter session set events 'immediate trace name blockdump level 66666'; --表示dump块地址为6666的数据块。
     在Oracle 8以后该命令已改为：
     alter system dump datafile 11 block 9; --表示dump数据文件号为11中的第9个数据块。

   3、controlf事件：dump控制文件结构
     alter session set events 'immediate trace name controlf level 10'; --表示dump控制文件的所有内容。

   4、locks事件：dump LCK进程的锁信息
     alter session set events 'immediate trace name locks level 5'; 

   5、redohdr事件：dump redo日志的头部信息
     alter session set events 'immediate trace name redohdr level 1'; --表示dump redo日志头部的控制文件项。
     alter session set events 'immediate trace name redohdr level 2'; --表示dump redo日志的通用文件头。
     alter session set events 'immediate trace name redohdr level 10'; --表示dump redo日志的完整文件头。
     注意：redo日志的内容dump可以采用下面的语句:
     alter system dump logfile 'logfilename';

   6、loghist事件：dump控制文件中的日志历史项
      alter session set events 'immediate trace name loghist level 1'; --表示只dump最早和最迟的日志历史项。
      levelnumber大于等于2时，表示2的levelnumber次方个日志历史项。
      alter session set events 'immediate trace name loghist level 4'; --表示dump 16个日志历史项。

   7、file_hdrs事件：dump 所有数据文件的头部信息
       alter session set events 'immediate trace name file_hdrs level 1'; --表示dump 所有数据文件头部的控制文件项。
       alter session set events 'immediate trace name file_hdrs level 2'; --表示dump 所有数据文件的通用文件头。
       alter session set events 'immediate trace name file_hdrs level 10'; --表示dump 所有数据文件的完整文件头。

   8、errorstack事件：dump 错误栈信息，通常Oracle发生错误时前台进程将得到一条错误信息，但某些情况下得不到错误信息，可以采用这种方式得到Oracle错误。
       alter session set events '604 trace name errorstack forever'; --表示当出现604错误时，dump 错误栈和进程栈。

   9、systemstate事件：dump所有系统状态和进程状态
       alter session set events 'immediate trace name systemstate level 10'; --表示dump 所有系统状态和进程状态。

   10、coalesec事件：dump指定表空间中的自由区间
      levelnumber以十六进制表示时，两个高位字节表示自由区间数目，两个低位字节表示表空间号，如0x00050000表示dump系统表空间中的5个自由区间，转换成十进制就是327680，即：
      alter session set events 'immediate trace name coalesec level 327680';

   11、processsate事件：dump进程状态
      alter session set events 'immediate trace name processsate level 10';

   12、library_cache事件：dump library cache信息
      alter session set events 'immediate trace name library_cache level 10';

   13、heapdump事件：dump PGA、SGA、UGA中的信息
      alter session set events 'immediate trace name heapdump level 1';

   14、row_cache事件：dump数据字典缓冲区中的信息
      alter session set events 'immediate trace name row_cache level 1';