什么是机器学习模型以及如何构建这样的模型

例如，第一个学生学习了1个小时，所以结果是未通过；第四个学生学习了4个小时，所以结果是通过；第八个学生学习了8个小时，所以也是通过。

现在我们已经准备好了模型可以学习的数据样本了。

步骤6：理解数据结构的重要性

这里有一个很重要的细节。机器学习库通常要求输入数据必须按照特定的结构来进行组织。

我们的`hours`列表就是这样的格式：

第一个学生的数据为：

[1]

[2]

y = [0, 0, 0, 1, 1, 1, 1, 1]

X = [
    [1],
    [2],
    [3],
    [4],
    [5],
    [6],
    [7],
    [8]
]

y = [0, 0, 0, 1, 1, 1, 1, 1]

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X,
    y,
    test_size=0.25,
    random_state=42
)

X

y

X_train
X_test
y_train
y_test

model = DecisionTreeClassifier()

model.fit(X_train, y_train)

prediction = model.predict([[5]])

print(prediction)

[1]

步骤11：将预测结果转换为人类容易理解的文本

1

if prediction[0] == 1:
    print("模型预测：通过")
else:
    print("模型预测：不通过")

获取列表中的第一个预测结果。

步骤12：测试模型

这意味着我们希望保留两位小数。

因此，输出结果可能会如下所示：

模型准确率：80.00%

关于准确率的一个非常重要的警告

准确率确实很有用，但它并不能完全反映一个模型的性能。

想象一下，你正在尝试检测一种罕见的疾病。

假设：

99个人是健康的，
1个人患病。

一个质量很差的模型可能会简单地预测出：

所有人都是健康的。

这样的模型的准确率会是99%，但它完全忽略了我们真正关心的目标：识别出那个患病的人。

正因如此，机器学习开发者会根据具体的问题选择其他的评估指标，比如精确度、召回率、F1分数、均方误差等等。

对于我们的初级示例来说，准确率已经足够让我们了解整个开发流程了。

步骤13：将所有内容整合起来

我们这个完整的初级机器学习程序如下所示：

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score


# 数据集
X = [
    [1],
    [2],
    [3],
    [4],
    [5],
    [6],
    [7],
    [8]
]

y = [
    0,
    0,
    0,
    1,
    1,
    1,
    1,
    1
]


# 将数据分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(
    X,
    y,
    test_size=0.25,
    random_state=42
)


# 创建机器学习模型
model = DecisionTreeClassifier()


# 训练模型
model.fit(X_train, y_train)


# 对测试数据进行处理并生成预测结果
predictions = model.predict(X_test)


# 计算准确率
accuracy = accuracy_score(y_test, predictions)


print(f"模型准确率：{accuracy * 100:.2f}%")


# 对一个新案例进行预测
hours_studied = [[5]]

prediction = model.predict(hours_studied)


# 显示预测结果
if prediction[0] == 1:
    print("模型预测结果：通过")
else:
    print("模型预测结果：未通过")

从上到下阅读完整代码

前三行代码：

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

这些代码用于导入我们需要的工具。

接下来：

X = [
    [1],
    [2],
    [3],
    [4],
    [5],
    [6],
    [7],
    [8]
]

这段代码创建了特征数据。

然后：

y = [
    0,
    0,
    0,
    1,
    1,
    1,
    1,
    1
]

这段代码生成了标签数据。

接下来：

X_train, X_test, y_train, y_test = train_test_split(...)

这段代码将数据集分成了训练集和测试集。

将数据集分为训练数据和测试数据。

接下来：

model = DecisionTreeClassifier()

创建模型。

然后：

model.fit(X_train, y_train)

对模型进行训练。

接着：

predictions = model.predict(X_test)

让训练好的模型对测试样本进行预测。

下一步：

accuracy = accuracy_score(y_test, predictions)

计算这些预测中有多少是正确的。

最后：

prediction = model.predict([[5]])

让模型预测一名学习了5小时的新学生的成绩。

这就是整个机器学习的工作流程。

模型内部实际上发生了什么？

这才是机器学习真正有趣的地方。

当我们运行：

model.fit(X_train, y_train)

决策树并不会简单地记住这样的规则：“学习4小时 = 通过”，

而是会分析训练数据，寻找有用的分类方法。

例如，它可能会发现这样的规则：

学习时间 <= 3.5小时吗？

如果满足这个条件：

预测结果为“未通过”

如果不满足这个条件：

预测结果为“通过”

具体的决策树结构会取决于训练数据和算法设置。

如果我们添加更多的特征，决策树就可以利用更多信息来做出判断。

例如：

学习时间 <= 3.5小时吗？

       是
        ↓
    预测结果为“未通过”

       否
        ↓
    出勤率 <= 80%吗？

       是
        ↓
    预测结果为“未通过”

       否
        ↓
    预测结果为“通过”

需要再次强调的是，我们的代码并不会手动创建这些规则。

算法会从训练数据中学习到这些规则。

“学习”到底意味着什么？

这是机器学习中最容易被误解的概念之一。

计算机的学习方式与人类完全不同。机器学习算法会利用数学方法根据数据来调整模型。

不同的算法有不同的学习方式：决策树会寻找有用的分类规则，线性回归模型会学习描述数据关系的数值参数，神经网络则会通过优化算法调整众多参数，聚类算法则会将相似的数据归为一类。

因此，“学习”实际上是指：

利用算法来调整模型，使其能够捕捉数据中的有用规律。

什么是参数？

参数是机器学习模型中从数据中学习得到的数值。

例如，在一个简单的线性模型中：

y = mx + b

该模型可能会学习到以下数值：

m
b
这些数值决定了输入与输出之间的关系。
神经网络可能拥有数百万甚至数十亿个通过训练学习得到的参数。
关键在于，模型的行为是由在训练过程中学习或调整得到的数值所决定的。
参数与超参数
这两个概念很容易被混淆。
参数通常是通过对训练数据进行学习而获得的，而超参数则是在训练之前或训练过程中由人工设定的数值。
以我们的决策树为例，我们可以指定如下参数：
model = DecisionTreeClassifier(
    max_depth=3
)
在这里：
max_depth=3
就是一个超参数。
我们是在告诉算法：

不要让决策树的深度超过3。

模型会从数据中学习其内部的决策规则，而超参数则是由我们人为设定的。
当你构建更复杂的模型时，这种区分就会变得越来越重要。
为什么需要训练数据和测试数据？
想象一下，你正在为数学考试做准备。
老师给了你10道练习题，你把所有答案都记住了。
考试中恰好出现了这10道题，于是你全部答对了。
但这能证明你真正理解了数学吗？并不能。你可能只是记住了这些例题而已。
机器学习也会遇到类似的问题，这就是所谓的过拟合。一个模型可能会在处理训练数据时表现得非常好，但却无法很好地应对新的数据。
因此，我们需要将一部分数据留作测试用途。在训练过程中，模型不会接触到这些测试数据。这样我们就可以检验：

这个模型能否将其所学的知识应用到之前从未见过的例子上？

能够处理新数据的能力是机器学习最重要的目标之一。
什么是过拟合？
当一个模型过于详细地学习了训练数据时，就会发生过拟合现象。
假设我们给模型提供了一个非常小的数据集。那么它可能不会去学习一般性的规律：
学习时间越长，通过考试的概率越高。
而是会记住其中具体的例子。
这种情况下，模型在训练数据上的表现可能会很好，但在处理新数据时却会表现得很差。
一个在训练数据上表现优异，但在未见过的数据上表现不佳的模型，往往就是过拟合了。
什么是欠拟合？
“欠拟合”基本上就是相反的情况。模型过于简单，无法捕捉数据中的重要模式。
想象一下，如果只用一两个成绩来预测某人的考试结果，那这个模型肯定得不到足够有用的信息，因此在训练数据和测试数据上的表现都会很差。
优秀的机器学习方法在于找到这样一个模型：它既足够复杂，能够学习到有用的模式，又不会过于复杂以至于只是机械地记住了训练样本中的内容。
为什么我们的数据集不是真正的机器学习数据集
我们使用的这八个例子故意被设计得非常简单。
一个真正的机器学习项目通常会使用大量数据。
例如，你可以收集如下信息：
10,000名学生的数据
其中包含这样的特征：
通过/未通过
这样模型就可以从成千上万的样本中学习到知识。
我们使用这种小型数据集的好处在于，我们可以清楚地了解整个分析过程的每一个环节。
步骤14：添加更多特征
让我们让这个例子变得更贴近实际情况一些吧。
除了学习时长，我们还考虑出勤情况……
我们可以用这样的方式来表示每个学生：
X = [
    [2, 70],
    [3, 75],
    [4, 80],
    [5, 85],
    [6, 90],
    [7, 95]
]

现在每一行都包含了两个特征。
[5, 85]
表示的意思是：
y = [0, 0, 1, 1, 1, 1]

我们可以用同样的方法来训练模型：

学习了5个小时，出勤率为90%

new_student = [[5, 90]]

当你拥有数百个特征时会发生什么？
完全相同的基本概念依然适用。
想象一下，使用以下这些信息来预测房价：
卧室数量
房屋面积
浴室数量
地理位置
房屋年龄
车库大小
地块面积
距离学校的距离
每一项都可以成为一种特征。然后模型会利用这些特征来预测一个目标值：
房价
基本的结构依然是：
特征 → 模型 → 预测结果
难点在于如何选择有用的数据、挑选合适的算法、清理数据、评估模型的性能，以及确保模型在训练数据集之外也能正常运行。
什么是回归分析？
到目前为止，我们的模型预测的都是一些类别：
通过 / 不通过
这就是一个分类问题。分类意味着预测某个具体的类别。
例如：
垃圾邮件 / 非垃圾邮件
猫 / 狗
欺诈行为 / 非欺诈行为
通过 / 不通过
而回归分析则不同，它预测的是一个数值。
比如：
房价 = 425,000美元
或者：
温度 = 82.4华氏度
又或者：
销售额 = 17,500美元
因此，一个有用的区分标准是：
分类 → 预测类别
回归分析 → 预测数值
一个简单的回归分析示例
scikit-learn提供了一个名为LinearRegression的模型。
首先导入它：
from sklearn.linear_model import LinearRegression
然后创建这个模型：
model = LinearRegression()

接下来对其进行训练：
model.fit(X_train, y_train)

最后进行预测：
prediction = model.predict([[5]])
整个工作流程几乎是一样的。
这就是机器学习库之所以有用的原因之一：一旦你了解了整体的工作流程，学习新的算法就会变得容易很多。
通用的机器学习工作流程
大多数初学者的机器学习项目都可以按照以下步骤来开展：
1. 收集数据
收集与你想要解决的问题相关的样本数据。
2. 清理数据

修复缺失、错误、重复或不一致的数据。
3. 选择特征

挑选出你希望模型使用的信息。
4. 选择模型

为所解决的问题选择合适的算法。
5. 分割数据
将训练数据和测试数据分开。
6. 训练模型
使用训练数据来拟合模型。
7. 评估模型
测量模型的性能表现。
8. 改进模型
调整数据、特征、模型或超参数。
9. 进行预测
使用训练好的模型来处理新数据。
10. 部署模型
如果模型有用，就将其集成到应用程序中。
这种工作流程比记住某个特定算法的名称重要得多。
机器学习如何应用于实际场景
一个训练好的模型通常并不是整个应用程序的全部。
假设你构建了一个能够判断电子邮件是否为垃圾邮件的模型，那么最终你可能会创建出如下这样的系统：
电子邮件
 ↓
后端服务
 ↓
机器学习模型
 ↓
预测结果
 ↓
用户界面
这个模型只是更大规模软件系统中的一个组成部分。
同样的道理也适用于以下这些领域：
推荐系统
欺诈检测
搜索引擎
人工智能助手
图像识别
需求预测
客户分析
对于开发者来说，这一点非常重要，因为机器学习工程并不仅仅涉及模型的训练，还需要知道如何利用这些模型来开发软件。
学完这些之后，你应该继续学习什么？
一旦你掌握了这个基础项目，还有很多有用的方向可以探索。
学习NumPy
NumPy是Python中用于数值计算的基础库之一。在机器学习领域，你会经常用到数组。
学习pandas
pandas在处理数据集时非常有用。
例如：
import pandas as pd
你可以用它来加载CSV文件：
data = pd.read_csv("students.csv")
然后查看数据内容：
print(data.head())
当你开始处理真实的数据集时，这些技能会变得非常实用。
学习数据可视化技术
像Matplotlib这样的库可以帮助你将数据可视化。例如，你可以用来查看学习时间是否与考试成绩有关。
数据可视化技术能帮助你在训练模型之前就发现数据中的规律。
深入了解更多算法
一旦你理解了决策树的原理，就可以进一步探索以下内容：
线性回归
逻辑回归
随机森林
K近邻算法
支持向量机
梯度提升算法
神经网络
你并不需要记住所有这些算法。
关键是要理解每种算法是为解决哪种类型的问题而设计的，以及它们各自基于哪些假设或需要做出哪些权衡。
学习相关数学知识
即使不从零开始推导每一个数学公式，你依然可以构建出实用的机器学习应用。
但如果你想深入理解机器学习的原理，数学知识就会变得愈发重要。
可以先从以下内容开始学习：
代数
函数
概率论
统计学
线性代数
微积分
当你开始研究神经网络的工作原理时，导数和梯度等概念会变得尤为重要。
这里有一门微积分课程，以及一本统计学手册，可以帮助你入门。
需要牢记的思维模型
在学习机器学习的过程中，不要让复杂的术语让你觉得这一切都过于复杂。
最简单来说，可以把机器学习理解为这样一种过程：
你有一些示例，每个示例都包含被称为“特征”的信息；其中一些示例还拥有被称为“标签”的已知答案。
你将这些示例提供给学习算法，算法会从中提取出规律并生成一个模型。
之后，当你向这个训练好的模型提供新的数据时，模型会利用它所学到的规律来进行预测。
用代码来表示的话，基本的工作流程如下：
model = SomeMachineLearningModel()

model.fit(X_train, y_train)

predictions = model.predict(X_test)

这种由三个步骤组成的结构值得你记住。
model = ...
用于创建模型。
model.fit...
用于训练模型。
model.predict...
用于使用训练好的模型进行预测。
你所学到的关于机器学习的所有知识，都是建立在这个基础之上的。
最后的思考
机器学习模型并不是存在于你的计算机中的某种“神奇大脑”；它实际上是一个由算法根据数据生成的数学模型。
最重要的思维转变在于：你并不总是需要亲自为每一条规则编写代码。在传统的编程方式中，你可能需要明确地写出这样的代码：
if hours >= 4:
    result = "Pass"

而在机器学习的框架下，你只需要提供一些示例数据：
1小时 → 失败
2小时 → 失败
3小时 → 失败
4小时 → 通过
5小时 → 通过

然后让学习算法自己去发现其中存在的规律。
我们的项目规模虽然很小，但这些基本原理在规模更大的系统中也同样适用。无论是推荐系统、欺诈检测器、图像分类器，还是许多其他机器学习应用，它们都需要处理数据、提取特征、进行训练、进行评估以及生成预测结果。
一旦你理解了这些基础知识，像“训练”“特征”“标签”“分类”“回归”“过拟合”和“模型”这样的术语，就不会再显得像是毫无关联的AI专业词汇，而会形成一个连贯的整体概念。
你不必一开始就尝试构建庞大的AI系统。可以先从一个小型数据集开始，训练一个模型，检查它的预测结果，稍作调整，然后观察变化。正是这种实践过程，让机器学习变得更容易理解。
祝编程愉快！