如何打造一位能够提供实时指导的公开演讲与演示培训专家

现在，你们应该已经在脑海中形成了关于我们所要构建的这个工具的清晰形象。

更棒的是，这里还有一个直观的视频演示，让大家能够看到这个工具的具体外观和使用方式。

本教程中的所有代码都可以在这个仓库中找到。

技术前提条件

在开始之前，请确保您已经具备以下条件：

• 一个免费的Stream账户。

• 您的电脑上已安装了Python

  。

• 拥有一个OpenAI API密钥。

• 具备基本的Python编程知识。

关键技术

首先，让我们来介绍一下在开发这个演示工具过程中所使用的主要技术及其各自的作用。

流媒体视频技术

Stream Video是一种基于WebRTC构建的完整视频传输平台，它能够让浏览器和应用程序发送实时的音频和视频数据。该技术还配备了全球范围内的边缘计算网络，能够将您的视频信号在30毫秒内路由到最近的服务器进行处理。因此，在我们的演示工具中，AI系统可以像真正的参与者一样加入您的练习环节，实时地看到并听到您的表现，同时还能为您提供反馈。

视觉代理技术

Vision Agents是Stream提供的一个开源框架，它允许您将视频流、AI模型以及聊天界面连接在一起。在默认情况下，这个框架会使用Stream Video作为数据传输层。

这个框架通过提供一个统一的代理类来简化多模态AI应用的开发过程，使得各种组件能够协同工作，形成一个高效的整体系统。利用Vision Agents，您可以轻松地将不同的模型连接起来，并让它们作为一个协调一致的体系共同运行。

OpenAI实时API

OpenAI实时API使您能够与OpenAI模型进行低延迟的实时交互。它的最大优势在于能够同时处理语音输入和输出任务：您的话语输入后，AI会立即进行分析，并几乎立刻给出音频或文本形式的反馈。您的应用程序与模型可以像进行实时对话一样即时交流，而这正是我们演示工具的核心功能所在。

YOLO11

YOLO11是由Ultralytics开发的一款现代化且功能强大的计算机视觉模型。它能够支持多种任务，包括物体检测、实例分割、图像分类、姿态估计/关键点检测以及有方向性的边界框检测。

该模型能够追踪你身体上的17个不同位置，比如肩膀、头部和手部的位置，并试图在特定时刻确定你的姿势。我们的演示辅助工具会重点关注姿态估计和关键点检测这两个方面。

项目设置

现在，让我们开始使用我们之前介绍的所有技术来构建这个演示辅助工具吧。

首先，我们需要安装uv——这是为Vision Agents推荐的安装工具。如果你使用的是pip安装器，请在终端中执行以下命令：

pip install uv

对于Linux/MacOS系统，运行以下命令：

curl -LsSf https://astral.sh/uv/install.sh | sh.

对于Windows系统，运行以下命令：

powershell -ExecutionPolicy ByPass -c \"irm https://astral.sh/uv/install.ps1 | iex\"

接下来，在你的项目中初始化uv：

uv init

然后创建一个虚拟环境：

uv venv

激活虚拟环境：

.venv\Scripts\activate

现在，安装Vision Agents以及所需的插件和依赖项：

uv add vision-agents[getstream,openai,ultralytics] python-dotenv

在项目根目录下创建一个.env文件，并填写必要的配置信息：

STREAM_API_KEY=你的流媒体服务API密钥

STREAM_API_SECRET=你的流媒体服务秘密密钥

OPENAI_API_KEY=你的OpenAI API密钥

CALL_ID="practice-room" //你可以随意给它起个名字

在项目根目录下创建一个‘instructions’文件夹，并在其中创建一个名为coach.md的Markdown文件。

同样在项目根目录下，创建一个文件并将其命名为download_yolo_pose.py。

你现在的项目文件夹结构应该如下所示：

└── 📁演示指导系统

    └── 📁.venv

    └── 📁使用说明

        ├──coach.md

    └── .env

    └── .gitignore

    └── download_yolo_pose.py

    └── main.py

    └── pyproject.toml

    └── README.md

    └── uv.lock

设置YOLO系统

Ultralytics YOLO11框架会使用yolo11n-pose.pt模型文件来监测你在演示过程中的姿势。这个预训练的深度学习模型通过检测关键点来进行姿势识别。在你的download_yolo_pose.py文件中，添加以下代码：

// download_yoloPose.py

from ultralytics import YOLO

import shutil

from pathlib import Path

model = YOLO(""yolo11n-pose.pt")  

project_root = Path(__file__).parent

target = project_root / "yolo11n-pose.pt"

if not target.exists():

    print("正在将模型复制到项目根目录...")

    shutil.copy2(model.model.path, target)

else:

    print("模型已经存在于项目根目录中。)

print("准备就绪：)

如果你的项目中没有yolo11n-pose.pt文件，这段代码会自动下载它并将其复制到项目根目录。

指导使用说明

在这个系统中，人工智能扮演了指导者的角色。coach.md文件为这个智能系统定义了它的行为特征、专业能力以及指导原则。你可以通过这个文件指定希望人工智能使用的沟通方式、输出速度、回应长度、说话节奏、反馈时机等参数。如果没有这些设置，你得到的将只是泛泛的提示、模糊的建议、冗长的回复，甚至还会被打断。

为了获得最佳效果，请将以下内容添加到你的coach.md文件中：

// instructions/coach.md

这些说明规定了在有人进行演示练习时，指导系统应该如何运作。请确保给出简洁具体的建议，并尽量避免打断他们的思路。只有在他们沉默至少3-5秒后，才给予反馈。

在格式上，反馈内容应以简短的文字形式出现在屏幕上，长度最好控制在1到2句话之内。

你希望人们在演示过程中保持放松状态，因此请确保以积极的话语开始指导，并且每次都提供一条可操作的建议。

你可以查看视频直播、文字记录以及姿势数据，这些信息足以帮助你了解他们的演讲节奏、肢体语言以及参与程度。

评估他们表现的重要方面之一就是理解他们的讲话内容。需要注意以下几点：

- 演讲节奏：既不能太快也不能太慢。如果发现节奏不合适，请及时给予提示。
- 填充词：注意他们是否经常使用“嗯”、“呃”等填充词。如果这种情况频繁发生，建议提醒他们暂停说话。
- 语调和变化：注意观察他们的音调，并根据实际情况给出相应的建议。
- 表达清晰度：要确保他们的讲话内容足够清晰易懂。

此外，也要关注他们的身体姿势。鼓励他们自信地演讲，比如适当使用手势、保持肩膀挺直以及进行稳定的眼神交流。

演示代理

现在，当我们所有的组件都已经准备就绪时，就该来看看我们这个演示辅导系统的核心部分了。在main.py文件中，Vision Agents的神奇功能得以实现——它将实时视频流、OpenAI的实时处理功能、YOLO姿态检测技术以及你的辅导指令整合成了一个多功能代理系统。

下面是我们main.py文件的内容：

// main.py

import logging

from dotenv import load_dotenv

from visionAgents.core import Agent, User, cli

from visionAgents.core.agents import AgentLauncher

from vision_agents.plugins import getstream, openai, ultralytics

load_dotenv()

async create_agent(**kwargs) -> Agent:

    agent_user = User(

        name="公共演讲与演示辅导系统",
        id="coach_agent",
        image="https://api.dicebear.com/7.x/bottts/svg?seed=coach"

    )

    return Agent (

        edge=getstream.Edge()),
        agent_user=agent_user,
        instructions="@instructions/coach.md",
        llm=openai.Realtime(

            fps=6,

            voice="alloy"async join_call(agent: Agent, call_type: str, call_id: str, **kwargs) -> None:

    print(f"演示辅导代理正在启动...")
    print(f"正在加入会议：类型为{call_type}，会议ID为{call_id}")

    call = await agent.create_call(call_type, call_id)
    session = await agent.join.call)

    print("代理已连接并准备就绪！")
    print("实时辅导功能已开启")

    finally:

        await session.close()

python main.py