第五次耦合模式比较计划（CMIP5）中包括多达19个模式组的60个耦合模式。CMIP6可能会包含更多的模式。如何客观、定量地评估和比较不同气候模式的性能，正变得越来越重要。目前的模式评估方法，大多针对单一变量进行评估。然而，在模式比较与评估中，我们需要评估的往往是模式对多个变量的总体模拟能力。目前，常用的评估方法是portrait diagram (图1a)。portrait diagram中的颜色代表标准化的均方根误差（RMSE）。由于portrait diagram是建立在RMSE基础之上的，有两点不足之处：（1）RMSE与模式性能之间不是严格单调的对应关系，即RMSE的减小不一定对应着模式性能的提高。比如：图1b中模式D的RMSE小于模式A，但实际上模式A的性能好于模式D。这是因为模式A和D具有相同的相关系数，但模式A的标准差更接近于观测。（2）虽然RMSE可写成相关系数和标准差的函数，即RMSE包含了相关系数和标准差两方面信息，但利用RMSE无法显式描述相关系数和标准差的大小。相同的RMSE可以对应完全不同的相关系数和标准差（比如图1b中的模式A、B、C）。此外，portrait diagram无法给出一个“定量”的多变量集合评估结果。

 针对上述模式评估方法的不足，中科院大气物理研究所的徐忠峰、韩瑛副研究员和符淙斌院士，在矢量场评估的图表的基础上，发展了新的多变量集合评估（MVIE）方法。该方法包括三级统计变量，既可以评估模式对具体某一个变量的模拟能力，又可以评估模式对多个变量的总体模拟能力（图2）。第一级统计量包括每个变量的相关系数（CORR）、均方根值（rms）和均方根误差（RMSD）。这些统计量可以表述成填色表格形式，从表格的颜色可以直观看出模式对不同变量的模拟能力（图2c）。第二级统计量由第一级统计量计算得出，代表模式对多个变量的总体模拟能力，这些统计量可以表述成矢量场评估图表的形式（Taylor图的推广形式）。该图从三方面，即矢量场的分布模态（VSC）、幅度（RMSL）和均方根误差（RMSVD），评估模式对多个变量的总体模拟能力（图2b），从而避免了单纯利用RMSE评估模式的弊端。第三级统计量为多变量集合评估指数（MVIE），由第二级统计量计算得出。与RMSE不同，MVIE随着模式性能的提高单调减小，更适合作为多模式性能排序的指标。如图2a所示，高一级统计量对低一级统计量信息进行提炼和概括。其中，第一级统计量包含的信息最全面，但缺乏对模式总体模拟能力的定量评估；第二级统计量从三方面评估模式对多个变量的总体模拟能力，但无法体现模式对具体某一个变量的模拟能力。第三级统计量将模式性能进一步概括为一个指数。三级统计量结合在一起，可以实现优势互补，从而对模式性能给出更为系统、定量、准确的评估结果。

Xu Zhongfeng, Han Ying, and Fu Congbin, 2017: Multivariable integrated evaluation of model performance with the vector field evaluation diagram, Geosci. Model Dev., 10, 3805–3820.

https://www.geosci-model-dev.net/10/3805/2017 

Xu Zhongfeng, Hou Zhaolu, Han Ying, and Guo Weidong, 2016: A diagram for evaluating multiple aspects of model performance in simulating vector fields, Geosci. Model Dev., 9, 4365–4380.

www.geosci-model-dev.net/9/4365/2016/