TimescaleDB课程——用于处理时间序列数据的PostgreSQL
对于现代开发者而言,高效地管理庞大且快速增长的数据集是一项至关重要的能力。无论你是负责跟踪API请求日志、监控物联网设备的遥测数据,还是为人工智能应用构建仪表盘,如果不对时间序列数据进行优化处理,那么这些操作很快就会导致标准的PostgreSQL查询速度变得极慢。我们刚刚在freeCodeCamp.org的YouTube频道上发布了一门新课程,这门课程将帮助你全面了解TimescaleDB。 通过这门课程,你将获得实际使用TimescaleDB的经验,学习如何将PostgreSQL升级为经过优化的时间序列数据库。你还将学会优化查询速度、大幅减少存储空间占用,并确保你的仪表盘在处理大量数据时仍能
对于现代开发者而言,高效地管理庞大且快速增长的数据集是一项至关重要的能力。无论你是负责跟踪API请求日志、监控物联网设备的遥测数据,还是为人工智能应用构建仪表盘,如果不对时间序列数据进行优化处理,那么这些操作很快就会导致标准的PostgreSQL查询速度变得极慢。我们刚刚在freeCodeCamp.org的YouTube频道上发布了一门新课程,这门课程将帮助你全面了解TimescaleDB。
通过这门课程,你将获得实际使用TimescaleDB的经验,学习如何将PostgreSQL升级为经过优化的时间序列数据库。你还将学会优化查询速度、大幅减少存储空间占用,并确保你的仪表盘在处理大量数据时仍能保持高速运行。
课程中涵盖的关键概念及实践项目包括:
超级表与数据分块管理
了解TimescaleDB如何自动按时间对数据进行分区,从而加快查询速度并简化数据保留流程,同时避免繁琐的数据删除操作。列式存储与压缩技术
学习如何将旧式的行数据转换为列式结构,这样就能使数据库大小减少90%以上,并显著提升分析查询的速度。连续聚合功能
不再需要重新计算重复的数据!你将学会构建增量式、能够自动更新的物化视图,从而让仪表盘能够在几毫秒内就能返回结果。高级函数与数据填补技术
掌握专门用于时间序列数据分析的函数,这些函数可以帮助你计算百分位数、统计唯一值数量、处理计数器的重置操作,以及填补数据缺失部分,从而让前端图表显示更加清晰。数据分层存储与向量搜索技术
了解如何将不再经常使用的数据从昂贵的本地SSD中移放到成本更低的S3对象存储系统中,并学习如何将标准的时间序列查询技术与人工智能的向量搜索技术结合起来使用。
这门课程会指导你从头开始构建两个完整且可投入实际生产的项目:
人工智能应用的数据记录系统
在Docker环境中跟踪数百万次语言模型推理操作、工具调用信息、相关成本以及响应延迟情况。电动汽车充电站设备遥测系统
监控2000台设备每10秒发送一次的数据,该系统直接部署在Tiger Cloud的全托管平台上。
相关文章
如何利用知识图谱来检测金融欺诈行为:一份实用指南
在企业支付工作中,大多数反欺诈架构都是孤立地评估每笔交易的。 当一张发票到达系统时,自动规则引擎会依据静态阈值来检查它:确认金额是否在正常范围内,供应商是否在批准的供应商名单上,以及发送请求的IP地址是否可疑。如果这些单独的属性看起来都符合要求,支付流程就会继续进行。 但这种方法的本质缺陷在于其结构设计。像资金转移链条、循环开票机制或虚假供应商这类复杂的欺诈手段,很少会生成那些能触发单一阈值警报的交易。例如,一家空壳公司开具4,800美元的发票,从而低于5,000美元的双重审批门槛,单独来看这个交易似乎完全合法。但当25家看似独立的供应商都将资金汇入同一个银行账户时,这种协同作案的模式就会暴露
阅读全文
谷歌的数据代理工具包已正式上线,该工具包将代理相关的功能与身份管理机制区分开来。
谷歌已经推出了“数据代理工具包”,这套免费提供的工具包括MCP相关工具以及37种开源技术,这些技术能够将编程代理与超过15项谷歌数据云服务连接起来。该工具包附带两种安全机制,使用者需要区分它们:其中一种是一种用于命令代理停止操作的机制,另一种则是通过IAM策略来拒绝相应的调用请求。 作者:Steef-Jan Wiggers
阅读全文
在PostgreSQL中构建混合搜索引擎:BM25算法与向量检索技术的结合应用
大多数应用程序的搜索功能都不得不在两种方案之间做出取舍:要么使用简单的文本过滤机制,要么像Elasticsearch那样搭建独立的搜索系统,并配置复杂的同步流程。 在freeCodeCamp.org的YouTube频道上,我制作了一门新的视频课程,演示了如何在PostgreSQL中构建一套完整的、适用于生产环境的搜索系统。通过将词汇匹配技术与高维向量嵌入技术结合到同一个数据库中,我们既可以消除对外部服务的依赖,又能确保搜索索引满足ACID规范的要求。 搜索查询通常需要两种不同的检索方式: "Apollo 13" 这样的精确查询需要关键词与数据内容进行精准匹配,而这种处理方式正是关键词引擎的强项
阅读全文
智能代理的可靠性:为工具的使用、安全机制、循环流程以及工作流程的输出结果构建相应的测试框架 [完整书籍]
一个完美的最终结果并不能证明某个具有自主行为能力的人工智能系统的工作流程是正确的。 本书提出了一种基于代码的方法,用于验证系统执行过程及所产生的业务成果,并利用这些证据来决定是否允许该系统正式投入使用。 书中还提供了一个可运行的离线测试工具,用以演示各种核心技术。第19章专门区分了那些已经实现的功能与那些仍处于开发阶段、尚未投入实际应用的扩展功能。 目录 引言 第一部分:可靠性差距 第二部分:基础原理 第三部分:核心结论 第四部分:行为特征 第五部分:跨领域问题 第六部分:决策过程 第七部分:诚实性与普及度 结论 术语表 参考文献 生产就绪性检查清单 引言 那个“虚假的演示” 许多具有自主行为
阅读全文