在统计学中，典型相关分析(Canonical Correlation Analysis)是对互协方差矩阵的一种理解。如果我们有两个随机变量向量 X = (X1, ..., Xn) 和 Y = (Y1, ..., Ym) 并且它们是相关的，那么典型相关分析会找出 Xi 和 Yj 的相互相关最大的线性组合。[1]T·R·Knapp指出“几乎所有常见的参数测试的意义可视为特殊情况的典型相关分析，这是研究两组变量之间关系的一般步骤。”[2] 这个方法在1936年由哈罗德·霍特林首次引入。[3]

[micxp_threadbk] [micxp_title] 定义 计算 解法 实现 假设检验 实际运用 例子 与principal angles的连接 参见 参考文献 外部链接 [/micxp_title] [#] 给定两个带有限矩的随机变量的列向量 ${\displaystyle X=(x_1,\dots ,x_n{)}^{\prime }}$ 和 ${\displaystyle Y=(y_1,\dots ,y_m{)}^{\prime }}$，我们可以定义互协方差矩阵 ${\displaystyle {\mathrm{\Sigma }}_{XY}=\mathrm{cov}(X,Y)}$ 为 ${\displaystyle n\times m}$ 的矩阵，其中 ${\displaystyle (i,j)}$ 是协方差 ${\displaystyle \mathrm{cov}(x_i,y_j)}$。实际上，我们可以基于 ${\displaystyle X}$ 和 ${\displaystyle Y}$ 的采样数据来估计协方差矩阵。(如从一对数据矩阵)。 典型相关分析求出向量 ${\displaystyle a}$ 和 ${\displaystyle b}$ 使得随机变量 ${\displaystyle a^{\prime }X}$ 和 ${\displaystyle b^{\prime }Y}$ 的相关性 ${\displaystyle \rho =\mathrm{corr}(a^{\prime }X,b^{\prime }Y)}$ 最大。随机变量 ${\displaystyle U=a^{\prime }X}$ 和 ${\displaystyle V=b^{\prime }Y}$ 是 第一对典型变量。然后寻求一个依然最大化相关但与第一对典型变量不相关的向量；这样就得到了 第二对典型变量。 这个步骤会进行 ${\displaystyle min\{m,n\}}$ 次。 [##] [###] 因此解法是：

• ${\displaystyle c}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}}$ 的一个特征向量。
• ${\displaystyle d}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c}$ 的比例项。

相反地，也有：

• ${\displaystyle d}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}}$ 的一个特征向量。
• ${\displaystyle c}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}d}$ 的比例项。

把坐标反过来，我们有

• ${\displaystyle a}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}}$ 的一个特征向量。
• ${\displaystyle b}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}}$ 的一个特征向量。
• ${\displaystyle a}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}b}$ 的比例项。
• ${\displaystyle b}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}a}$ 的比例项。

那么相关变量定义为：

${\displaystyle U=c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}X=a^{\prime }X}$

${\displaystyle V=d^{\prime }{\mathrm{\Sigma }}_{YY}^{-1/2}Y=b^{\prime }Y}$

[####] 典型相关分析可以用一个相关矩阵的奇异值分解来解决。[4] 以下是它在一些语言中的函数 [5]

• MATLAB as canoncorr
• R as cancor or in FactoMineR
• SAS as proc cancorr
• Scikit-Learn, Python as Cross decomposition

[#####] 每一行可以用下面的方法检测其重要性。由于相关是排好序的，也就是说行 ${\displaystyle i}$ 为 0 意味着所有后续的相关都为 0。如果我们在一个样本中有 ${\displaystyle p}$ 个独立观测，对 ${\displaystyle i=1,\dots ,min\{m,n\}}$，${\displaystyle {\hat{\rho }}_i}$ 是其估计相关。对第 ${\displaystyle i}$ 行，测试统计为：

${\displaystyle {\chi }^2=-(p-1-\frac{1}{2}(m+n+1))\ln \prod _{j=i}^{min\{m,n\}}(1-{\hat{\rho }}_j^2),}$

上面渐近为一个对大 ${\displaystyle p}$ 有 ${\displaystyle (m-i+1)(n-i+1)}$ 个自由度的卡方分布。[6] 由于所有从 ${\displaystyle min\{m,n\}}$ 到 ${\displaystyle p}$ 的相关从逻辑上来说都是 0，所以在这一点之后的乘积都是不相关的。 [######] [#######] [########] [#########]

• Generalized Canonical Correlation
• Multilinear subspace learning
• RV coefficient
• Principal angles
• 主成分分析
• Regularized canonical correlation analysis
• 奇异值分解
• Partial least squares regression

[##########]

1. ^ Härdle, Wolfgang; Simar, Léopold. Canonical Correlation Analysis. Applied Multivariate Statistical Analysis. 2007: 321–330. doi:10.1007/978-3-540-72244-1_14. ISBN 978-3-540-72243-4. 
2. ^ Knapp, T. R. Canonical correlation analysis: A general parametric significance-testing system. Psychological Bulletin. 1978, 85 (2): 410–416. doi:10.1037/0033-2909.85.2.410. 
3. ^ Hotelling, H. Relations Between Two Sets of Variates. Biometrika. 1936, 28 (3–4): 321–377. doi:10.1093/biomet/28.3-4.321. JSTOR 2333955. 
4. ^ Hsu, D.; Kakade, S. M.; Zhang, T. A spectral algorithm for learning Hidden Markov Models (PDF). Journal of Computer and System Sciences. 2012, 78 (5): 1460. arXiv:0811.4413. doi:10.1016/j.jcss.2011.12.025. 
5. ^ Huang, S. Y.; Lee, M. H.; Hsiao, C. K. Nonlinear measures of association with kernel canonical correlation analysis and applications (PDF). Journal of Statistical Planning and Inference. 2009, 139 (7): 2162. doi:10.1016/j.jspi.2008.10.011. 
6. ^ Kanti V. Mardia, J. T. Kent and J. M. Bibby. Multivariate Analysis. Academic Press. 1979. 

[###########]

• Hardoon, D. R.; Szedmak, S.; Shawe-Taylor, J. Canonical Correlation Analysis: An Overview with Application to Learning Methods. Neural Computation. 2004, 16 (12): 2639–2664. doi:10.1162/0899766042321814. PMID 15516276. 
• A note on the ordinal canonical-correlation analysis of two sets of ranking scores (Also provides a FORTRAN program)- in J. of Quantitative Economics 7(2), 2009, pp. 173-199
• Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (Also provides a FORTRAN program)- in J. of Applied Economic Sciences 4(1), 2009, pp. 115-124

分类：

• 协方差与相关性
• 多重变量分析

[/micxp_threadbk]

在统计学中，典型相关分析(Canonical Correlation Analysis)是对互协方差矩阵的一种理解。如果我们有两个随机变量向量 X = (X1, ..., Xn) 和 Y = (Y1, ..., Ym) 并且它们是相关的，那么典型相关分析会找出 Xi 和 Yj 的相互相关最大的线性组合。[1]T·R·Knapp指出“几乎所有常见的参数测试的意义可视为特殊情况的典型相关分析，这是研究两组变量之间关系的一般步骤。”[2] 这个方法在1936年由哈罗德·霍特林首次引入。[3]

[micxp_threadbk] [micxp_title] 定义 计算 解法 实现 假设检验 实际运用 例子 与principal angles的连接 参见 参考文献 外部链接 [/micxp_title] [#] 给定两个带有限矩的随机变量的列向量 ${\displaystyle X=(x_1,\dots ,x_n{)}^{\prime }}$ 和 ${\displaystyle Y=(y_1,\dots ,y_m{)}^{\prime }}$，我们可以定义互协方差矩阵 ${\displaystyle {\mathrm{\Sigma }}_{XY}=\mathrm{cov}(X,Y)}$ 为 ${\displaystyle n\times m}$ 的矩阵，其中 ${\displaystyle (i,j)}$ 是协方差 ${\displaystyle \mathrm{cov}(x_i,y_j)}$。实际上，我们可以基于 ${\displaystyle X}$ 和 ${\displaystyle Y}$ 的采样数据来估计协方差矩阵。(如从一对数据矩阵)。 典型相关分析求出向量 ${\displaystyle a}$ 和 ${\displaystyle b}$ 使得随机变量 ${\displaystyle a^{\prime }X}$ 和 ${\displaystyle b^{\prime }Y}$ 的相关性 ${\displaystyle \rho =\mathrm{corr}(a^{\prime }X,b^{\prime }Y)}$ 最大。随机变量 ${\displaystyle U=a^{\prime }X}$ 和 ${\displaystyle V=b^{\prime }Y}$ 是 第一对典型变量。然后寻求一个依然最大化相关但与第一对典型变量不相关的向量；这样就得到了 第二对典型变量。 这个步骤会进行 ${\displaystyle min\{m,n\}}$ 次。 [##] [###] 因此解法是：

• ${\displaystyle c}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}}$ 的一个特征向量。
• ${\displaystyle d}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c}$ 的比例项。

相反地，也有：

• ${\displaystyle d}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}}$ 的一个特征向量。
• ${\displaystyle c}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}d}$ 的比例项。

把坐标反过来，我们有

• ${\displaystyle a}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}}$ 的一个特征向量。
• ${\displaystyle b}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}}$ 的一个特征向量。
• ${\displaystyle a}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}b}$ 的比例项。
• ${\displaystyle b}$ 是 ${\displaystyle {\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}a}$ 的比例项。

那么相关变量定义为：

${\displaystyle U=c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}X=a^{\prime }X}$

${\displaystyle V=d^{\prime }{\mathrm{\Sigma }}_{YY}^{-1/2}Y=b^{\prime }Y}$

[####] 典型相关分析可以用一个相关矩阵的奇异值分解来解决。[4] 以下是它在一些语言中的函数 [5]

• MATLAB as canoncorr
• R as cancor or in FactoMineR
• SAS as proc cancorr
• Scikit-Learn, Python as Cross decomposition

[#####] 每一行可以用下面的方法检测其重要性。由于相关是排好序的，也就是说行 ${\displaystyle i}$ 为 0 意味着所有后续的相关都为 0。如果我们在一个样本中有 ${\displaystyle p}$ 个独立观测，对 ${\displaystyle i=1,\dots ,min\{m,n\}}$，${\displaystyle {\hat{\rho }}_i}$ 是其估计相关。对第 ${\displaystyle i}$ 行，测试统计为：

${\displaystyle {\chi }^2=-(p-1-\frac{1}{2}(m+n+1))\ln \prod _{j=i}^{min\{m,n\}}(1-{\hat{\rho }}_j^2),}$

上面渐近为一个对大 ${\displaystyle p}$ 有 ${\displaystyle (m-i+1)(n-i+1)}$ 个自由度的卡方分布。[6] 由于所有从 ${\displaystyle min\{m,n\}}$ 到 ${\displaystyle p}$ 的相关从逻辑上来说都是 0，所以在这一点之后的乘积都是不相关的。 [######] [#######] [########] [#########]

• Generalized Canonical Correlation
• Multilinear subspace learning
• RV coefficient
• Principal angles
• 主成分分析
• Regularized canonical correlation analysis
• 奇异值分解
• Partial least squares regression

[##########]

1. ^ Härdle, Wolfgang; Simar, Léopold. Canonical Correlation Analysis. Applied Multivariate Statistical Analysis. 2007: 321–330. doi:10.1007/978-3-540-72244-1_14. ISBN 978-3-540-72243-4. 
2. ^ Knapp, T. R. Canonical correlation analysis: A general parametric significance-testing system. Psychological Bulletin. 1978, 85 (2): 410–416. doi:10.1037/0033-2909.85.2.410. 
3. ^ Hotelling, H. Relations Between Two Sets of Variates. Biometrika. 1936, 28 (3–4): 321–377. doi:10.1093/biomet/28.3-4.321. JSTOR 2333955. 
4. ^ Hsu, D.; Kakade, S. M.; Zhang, T. A spectral algorithm for learning Hidden Markov Models (PDF). Journal of Computer and System Sciences. 2012, 78 (5): 1460. arXiv:0811.4413. doi:10.1016/j.jcss.2011.12.025. 
5. ^ Huang, S. Y.; Lee, M. H.; Hsiao, C. K. Nonlinear measures of association with kernel canonical correlation analysis and applications (PDF). Journal of Statistical Planning and Inference. 2009, 139 (7): 2162. doi:10.1016/j.jspi.2008.10.011. 
6. ^ Kanti V. Mardia, J. T. Kent and J. M. Bibby. Multivariate Analysis. Academic Press. 1979. 

[###########]

• Hardoon, D. R.; Szedmak, S.; Shawe-Taylor, J. Canonical Correlation Analysis: An Overview with Application to Learning Methods. Neural Computation. 2004, 16 (12): 2639–2664. doi:10.1162/0899766042321814. PMID 15516276. 
• A note on the ordinal canonical-correlation analysis of two sets of ranking scores (Also provides a FORTRAN program)- in J. of Quantitative Economics 7(2), 2009, pp. 173-199
• Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (Also provides a FORTRAN program)- in J. of Applied Economic Sciences 4(1), 2009, pp. 115-124

分类：

• 协方差与相关性
• 多重变量分析

[/micxp_threadbk]