跳到主要内容

Uni-QSAR

简介

QSAR全称为“定量构效关系（Quantitative Structure-Activity Relationship）”，是一种通过数学模型来描述化合物结构与其活性之间关系的方法。这种方法基于积累的历史数据，利用AI技术去构建分子结构与其目标性质的关系，从而帮助研发人员对目标集合的分子性质进行合理高效的预测，目前已经广泛应用于药物设计、环境毒理学、化学品安全评估等领域。一般来说，QSAR方法主要包括以下步骤：收集和整理活性数据和分子结构信息，选择和提取特征描述符，建立统计模型，验证和评估模型的预测能力。

深势科技团队发布的Uni-Mol based Auto-QSAR (Uni-QSAR)是一套基于Uni-Mol 模型开发的自动化分子属性预测工具，可用于自动构建模型来拟合化合物的化学结构与目标属性之间定量关系[1]。在Hermite®平台的Uni-QSAR模块，您只需提交SMILES格式的分子式和分子活性/性质信息，即可方便快速地进行基于机器学习和深度学习方法的QSAR模型构建并获得预测结果。

import_structure

在本教程中，您将基于Uni-QSAR构建甜味与非甜味的分类模型，使用的数据来自文章《BitterSweet: Building machine learning models for predicting the bitter and sweet taste of small molecules》[2]。

本教程所用分类数据集如下：

Sweetness_test.csv

Sweetness_training.csv

Sweetness_prediction.csv

1. QSAR模型构建​

1.1 QSAR建模入口​

左侧通用菜单栏 “Function” → “Molecule Recommendation” → “Uni-QSAR”。

弹出的界面中，选择“Build Model”，进行建模。

功能名称作用
Build Model建模
Make Prediction在已有模型的基础上，对未知数据进行预测

1.2 上传数据集及参数设置​

“Select Data for Training”处点击“From File”上传“Sweetness_training.csv”文件

注：数据上传的行数上限为100万。

“Task”处选择“Classification”（分类任务）

类型含义
Regression回归任务，所需预测的性质数据为连续型数据
Classification分类任务，所需预测的性质数据为非连续型数据，目前支持二分类和多标签分类

“Cross Validation split”处设置训练集的交叉验证拆分方式，选择“Scaffold”。

RandomScaffold
随机拆分基于分子的骨架(具有理想性质的基本分子结构)对训练集进行拆分，拆分出的数据集中的分子在结构上更不同。推荐选择该拆分方式。
import_structure
Random split时两个数据集的PCA分布图		import_structure
Scaffold split时两个数据集的PCA分布

“Select Test Set”下选择“Select Data for Test” → 点击“From File”上传“Sweetness_test.csv”文件。

测试集上传方式含义
Split From Training Data从训练集数据中划分出来一部分（%）用作测试集
Select Data for Test上传本地测试集

“Job Name”处可对该任务进行命名，此处使用默认命名，点击“Next”进入下一步。

1.3 选择性质及提交任务​

“Properties Setting”处选择需要进行训练预测的性质“Property 01” → “Calculation”处确认计算花费 → 点击“Submit”提交任务。

注：本案例中，甜味标注为1，非甜味标注为0。

2. 模型性能评价​

2.1 Uni-QSAR建模结果展示​

左侧通用菜单栏“Job” → 找到所需任务 → 点击“Operation”列中的“Show”查看该任务的结果。

结果分为两部分，图像（红框内）和表格（蓝框内）。

模型的预测性能主要可以通过AUROC值和AUPRC值判断。该模型在训练集（Validation）及测试集（Test）的AUROC值分别为0.992和0.945，表示该模型能够正确分类甜味和非甜味。AUPRC表示分类器在正例预测上的性能，该分类器在训练集及测试集的AUPRC值分别为0.994和0.959，表示该分类器对甜味的预测性能好。

Accuracy、F1、MCC、Precision、Recall值等可以用来辅助判断模型性能，在本案例中，这些评价指标对应的值均较高，因此认为该模型具有优秀的区分甜味与非甜味的预测能力。

import_structure

分类模型
评价指标含义取值范围
AUROCArea Under the Receiver Operating Characteristic Curve，ROC曲线下的面积，表示分类器能够正确分类正样本和负样本的能力。ROC曲线是以真阳性率（TPR）为纵坐标，假阳性率（FPR）为横坐标，根据分类器的不同阈值画出的曲线。取值范围在0到1之间，取值越大，分类器的性能越好。当类别均衡时使用 AUROC 较好。
AUPRCArea Under the Precision-Recall Curve，Precision-Recall曲线下的面积，表示分类器在正例预测上的性能。Precision-Recall曲线是以召回率（Recall）为纵坐标，精确率（Precision）为横坐标，根据分类器的不同阈值画出的曲线。取值范围在0到1之间，取值越大，分类器的性能越好。当类别极其不均衡时使用 AUPRC 较好。
ACCAccuracy，准确率。
ACC=TN+TPTP+FP+TN+FNACC= \frac{TN+TP}{TP+FP+TN+FN}		取值范围在0到1之间，取值越大，分类器的性能越好。
F1F1=2×Precision×RecallPrecision+RecallF1= \frac{2×Precision×Recall}{Precision+Recall}取值越大，分类器的性能越好。
MCCMCC本质上是一个描述实际分类与预测分类之间的相关系数。
MCC=TN×TP−FN×FP(TP+FP)(TP+FN)(TN+FP)(TN+FN)MCC=\frac{TN × TP - FN × FP}{\sqrt{(TP + FP)(TP+FN)(TN+FP)(TN+FN)}}		取值范围为[-1,1]，取值为1时表示对受试对象的完美预测，取值为0时表示预测的结果还不如随机预测的结果，-1是指预测分类和实际分类完全不一致。
Precision精确率，查准率，预测的正样本中被正确预测的比例。
Precision=TPTP+FPPrecision = \frac{TP}{TP+FP}		取值范围在0到1之间，取值越大，分类器的性能越好。
Recall召回率，查全率，正样本中被预测出来是正的比例。
Recall=TPTP+FNRecall = \frac{TP}{TP+FN}		取值范围在0到1之间，取值越大，分类器的性能越好。
Cohen's kappakappa系数是用在统计学中评估一致性的一种方法，可用来进行多分类模型准确度的评估。取值范围是[-1,1]，实际应用中，一般是[0,1]，这个系数的值越高，则代表模型实现的分类准确度越高。
Logistic Loss对数损失(logistic loss)是对预测概率的似然估计，衡量的是预测概率分布和真实概率分布的差异性。取值越小越好。
注：TN —— 正确预测为阴性的样品数；TP —— 正确预测为阳性的样品数；FN —— 错误预测为阴性的样品数；TP —— 错误预测为阳性的样品数。
回归模型
评价指标含义取值范围
MAE平均绝对值误差，计算每一个样本的预测值和真实值的差的绝对值，然后求和再取平均值。用于评估预测结果和真实数据集的接近程度。
import_structure		其值越小说明拟合效果越好。
MSE均方误差，该指标计算的是拟合数据和原始数据对应样本点误差的平方和的均值。
import_structure		其值越小说明拟合效果越好。
RMSE均方根误差就是在均方误差的基础上再开方其值越小说明拟合效果越好。
R²可决系数
import_structure		可决系数值在-∞~1之间。越接近于1，说明模型的预测效果越好，越接近于0，说明模型的预测效果越差。
Spearmanrspearmanr的rank相关系数是衡量两个变量之间关联的强度和方向的度量。它是一种非参数度量，用于评估不遵循正态分布的两个变量之间的关系，或者当变量之间的关系不是线性的。取值范围从-1到1,0表示没有相关性,1表示一个完美的正相关,-1表明一个完全的负相关。
PearsonrPearson相关系数衡量两个数据集之间的线性关系。
import_structure		范围在-1和+1之间，0表示没有相关性，-1或+1的相关性意味着一种精确的线性关系。

2.2 Uni-QSAR建模结果下载​

左侧通用菜单栏“Job” → 找到所需任务 → 点击“Operation”列中的“Download”下载该任务的结果。

下载的为.zip格式的压缩文件包，包含四类文件：

1）[...].png文件：二分类的模型结果会输出validation和test的ROC曲线图和PR曲线图，单标签回归模型结果会输出validation和test的预测值和真实值的散点图；

2）[...]_data.csv：训练集数据（training_data.csv）、测试集数据（testing_data.csv）；

3）[...]_metrics.csv：训练集交叉验证结果文件（validation_metrics.csv）、测试集结果文件（testing_metrics.csv）；

4）QSAR.txt：日志文件。

import_structure

3. 预测​

该步骤根据前面已训练好的模型预测新分子是否具有甜味。

3.1 预测入口​

在同一个 project中，点击左侧通用菜单栏“Function” → “Molecule Recommendation” → “Uni-QSAR”。

弹出界面，选择“Make Prediction”，进行预测。

3.2 选择模型及待预测分子文件​

Select Training Set：下方点击“History Model”上传已训练好的模型。

Select Data for Prediction：下方点击“From File”上传本地文件Sweetness_prediction.csv。

注：格式与训练集格式一致，但该处的性质可无数据（仅保留列头）。

“Job Name”处不更改默认命名。

点击“Submit”提交任务。

4. 查看预测结果​

左侧通用菜单栏“Job” → 找到任务“Prediction_Sweetness_prediction” → 点击“Operation”列中的“Download”下载该任务的结果。

下载结果为.zip格式的压缩文件包，包含两个文件：预测集结果文件（predicted_data.csv）和日志文件（QSAR.txt）。

注：predicted_data.csv 中，predict_TARGET列为分子甜味的预测结果，甜味标注为1，非甜味标注为0；prob_TARGET列为分子甜味的预测概率值。

import_structure

import_structure

5. 参考文献​

[1] Gao Z, Ji X, Zhao G, et al. Uni-QSAR: an Auto-ML Tool for Molecular Property Prediction. arXiv preprint arXiv 2304, 12239 (2023). https://doi.org/10.48550/arXiv.2304.12239

[2] Tuwani, R., Wadhwa, S. & Bagler, G. BitterSweet: Building machine learning models for predicting the bitter and sweet taste of small molecules. Scientific Reports 9, 7155 (2019). https://doi.org/10.1038/s41598-019-43664-y