如何使用scikit-learn等库在Python中实现SVM分类，涉及的关键函数有哪些？

/ / 发表于 人工智能, 使用Python的EITC/AI/MLP机器学习, 支持向量机, 支持向量机优化, 考试复习

支持向量机 (SVM) 是一种功能强大且用途广泛的监督机器学习算法，尤其适用于分类任务。Python 中的 scikit-learn 等库提供了 SVM 的强大实现，使从业者和研究人员都可以使用它。此回复将阐明如何使用 scikit-learn 来实现 SVM 分类，详细说明所涉及的关键功能并提供说明性示例。

支持向量机简介

支持向量机的工作原理是找到能够最好地将数据划分为不同类别的超平面。在二维空间中，这个超平面只是一条线，但在更高维度中，它变成了一个平面或超平面。最佳超平面是最大化两个类别之间边距的超平面，其中边距定义为超平面与任一类别的最近数据点（称为支持向量）之间的距离。

Scikit-learn 和 SVM

Scikit-learn 是一个功能强大的 Python 机器学习库，它为数据挖掘和数据分析提供了简单而高效的工具。它基于 NumPy、SciPy 和 matplotlib 构建。scikit-learn 中的“svm”模块提供了 SVM 算法的实现。

主要功能

1. `svm.SVC`：这是使用 SVM 执行分类的主要类。SVC 代表支持向量分类。
2. `适合`：此方法用于在给定的数据上训练模型。
3. `预测`：模型训练完成后，此方法用于预测给定测试数据的类标签。
4. `分数`：该方法用于评估模型在测试数据上的准确率。
5. `GridSearchCV`：这用于超参数调整，以找到 SVM 模型的最佳参数。

使用 scikit-learn 实现 SVM 分类

让我们考虑使用 scikit-learn 实现 SVM 分类所涉及的步骤。

第 1 步：导入库

首先，导入必要的库：

python
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import classification_report, confusion_matrix
第 2 步：加载数据集

为了演示目的，我们将使用机器学习社区中著名的数据集 Iris 数据集：

python
# Load the Iris dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target
步骤3：分割数据集

将数据集分为训练集和测试集：

python
# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
第 4 步：特征缩放

特征缩放对于 SVM 很重要，因为它对输入特征的尺度很敏感：

python
# Standardize features by removing the mean and scaling to unit variance
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
步骤5：训练SVM模型

实例化 SVM 分类器并在训练数据上进行训练：

python
# Create an instance of SVC and fit the data
svc = SVC(kernel='linear', C=1.0)
svc.fit(X_train, y_train)

这里我们使用了线性核，并将正则化参数“C”设置为 1.0。核参数指定用于分离数据的超平面类型。常见的核包括“线性”、“多项式”、“rbf”（径向基函数）和“S 形函数”。

第五步：做出预测

使用训练好的模型对测试数据进行预测：

python
# Predict the class labels for the test set
y_pred = svc.predict(X_test)
第 7 步：评估模型

使用混淆矩阵和分类报告等指标评估模型的性能：

python
# Evaluate the model
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

混淆矩阵提供了预测结果的摘要，而分类报告包括每个类别的精度、召回率、F1 分数和支持度。

使用 GridSearchCV 进行超参数调整

超参数调整对于优化 SVM 模型的性能至关重要。Scikit-learn 的 `GridSearchCV` 可用于对指定的参数网格执行详尽搜索：

python
from sklearn.model_selection import GridSearchCV

# Define the parameter grid
param_grid = {
    'C': [0.1, 1, 10, 100],
    'gamma': [1, 0.1, 0.01, 0.001],
    'kernel': ['rbf']
}

# Create a GridSearchCV instance
grid = GridSearchCV(SVC(), param_grid, refit=True, verbose=2)
grid.fit(X_train, y_train)

# Print the best parameters and the corresponding score
print("Best parameters found: ", grid.best_params_)
print("Best score: ", grid.best_score_)

# Use the best estimator to make predictions
grid_predictions = grid.predict(X_test)

# Evaluate the model with the best parameters
print(confusion_matrix(y_test, grid_predictions))
print(classification_report(y_test, grid_predictions))

在此示例中，我们使用 RBF 内核在网格中搜索“C”和“gamma”的值。“GridSearchCV”实例使用搜索过程中找到的最佳参数重新拟合模型。

可视化决策边界

为了更好地理解 SVM 分类器的工作原理，可视化决策边界通常很有用。这在二维特征空间中更为直接。下面是使用合成数据集的示例：

python
from sklearn.datasets import make_blobs

# Generate a synthetic dataset
X, y = make_blobs(n_samples=100, centers=2, random_state=6)

# Fit the SVM model
svc = SVC(kernel='linear', C=1.0)
svc.fit(X, y)

# Create a mesh to plot the decision boundary
h = .02
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))

# Predict the class for each point in the mesh
Z = svc.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

# Plot the decision boundary
plt.contourf(xx, yy, Z, alpha=0.8)
plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', marker='o')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('SVM Decision Boundary')
plt.show()

上述代码生成了一个包含两个类的合成数据集，用线性核拟合了 SVM 模型，并可视化了决策边界。`contourf` 函数用于绘制决策边界，散点图显示数据点。Scikit-learn 提供了一个全面且用户友好的界面，用于在 Python 中实现 SVM 分类。`svm.SVC`、`fit`、`predict` 和 `score` 等关键函数对于构建和评估 SVM 模型至关重要。使用 `GridSearchCV` 进行超参数调整可通过找到最佳参数进一步提高模型性能。可视化决策边界可以为分类器的行为提供有价值的见解。通过遵循这些步骤，可以使用 scikit-learn 有效地实现和优化 SVM 分类。

最近的其他问题和解答 使用Python的EITC/AI/MLP机器学习:

查看 EITC/AI/MLP Machine Learning with Python 中的更多问题和解答

更多问题及解答：

标签： , , , , ,