- DOI:
10.13738/j.cnki.acc.qklw60536
- 专辑:
科学Ⅰ辑;信息科技
- 专题:
信息、科学;综合科技
- 分类号:
G90;N92
摘要:针对基层气象台站大语言模型本地化部署中硬件算力不足、本地数据底座缺失的共性瓶颈,本文基于阜新市DeepSeek-R1大模型本地化实践暴露的问题,构建市级气象业务MySQL本地化数据库,完成原三情历史数据全量迁移与天擎平台数据自动化同步,实现多源气象数据统一治理与标准化供给,为本地化大模型提供结构化数据支撑。测试结果表明:该数据库实现历史数据迁移完整率100%,天擎数据每日自动抽取不少于2次,本地可稳定存储3个月以上业务数据;支撑RAG知识库构建效率提升62.5%,向量化过程内存占用降低35.7%,气象数据问答准确率提升至93%,在不升级硬件的前提下有效改善了本地化AI系统运行效能。本研究形成的“数据底座+轻量化大模型”协同模式,可为市级基层气象台站的数据治理与智能化应用提供可复制的实践参考。
关键词:气象业务;本地化数据库;MySQL;数据融合;大语言模型;RAG架构
1引言
1.1研究背景与意义
数字气象与智慧气象是当前气象现代化建设的核心方向,人工智能技术特别是大语言模型的快速发展,为气象服务智能化、业务流程高效化提供了全新技术路径[1]。在省级气象部门,基于大模型的预警信号查询、公文自动生成、降水预测等应用已逐步落地,显著提升了业务效率与服务质量[2]。对于市级基层气象台站而言,推动大模型本地化部署,既能保障敏感气象数据不出内网,又能贴合本地业务场景实现定制化应用,是气象智能化能力下沉的重要方向。
大语言模型的本地化应用高度依赖两大基础支撑:一是充足的算力硬件资源,二是高质量、标准化的本地数据底座[3-4]。当前多数市级气象部门的业务数据主要依赖省级天擎平台在线调用,数据未在本地落地存储,同时历史业务数据分散在不同系统中,形成数据孤岛,不仅制约了日常业务的连续性与稳定性,更无法为本地化AI应用提供有效的结构化数据供给。因此,构建自主可控的本地化数据库,既是保障业务连续性的现实需求,也是支撑AI技术深度落地的前置基础。
1.2研究内容与技术路线
本研究核心内容包括三方面:一是本地化MySQL数据库的架构设计与优化,完成表结构、索引与分区策略的定制化设计;二是多源数据融合,实现原三情数据库的完整迁移与天擎数据的自动化同步;三是构建数据库与AI大模型的协同机制,为RAG知识库提供标准化数据供给。技术路线遵循“需求分析—架构设计—数据迁移—同步开发—验证优化—AI赋能”的流程,最终形成完整的本地数据体系与AI支撑能力。
2总体设计思路
本项目以“业务可用、AI适配、安全稳定、可扩展”为总体设计原则,构建面向市级气象业务的本地化数据库系统。系统架构自下而上分为数据层、服务层与应用层:数据层负责多源气象数据的存储、清洗与治理;服务层提供数据查询、同步调度、接口服务等能力;应用层对接日常气象业务系统与本地化AI大模型,分别支撑常规业务查询与智能知识库构建。
针对前期AI应用的痛点,数据库设计重点突出两个适配性:一是轻量化设计,在保障功能完备的前提下优化存储与查询效率,降低硬件资源占用,避免与大模型争抢算力;二是标准化输出,统一数据格式与字段规范,为RAG知识库提供结构化、高质量的数据源,减少大模型向量化处理的算力开销。
3结果与分析
3.1数据库建设落地成果
3.1.1表结构与存储性能
项目完成了本地MySQL数据库的部署与全部表结构的物理落地,共建成数据表52张,其中系统管理类19张、气象业务核心类21张、调度类8张、辅助类4张,覆盖了当前阜新市气象台的核心业务数据需求。所有时间序列业务表均已按年完成分区创建,核心业务表全部建立了适配高频查询的复合索引。
经压力测试,在单表10万条记录的量级下,按站点+日期的精确查询响应时间小于10ms,按年份范围的批量查询响应时间小于200ms,完全满足日常业务查询与AI数据批量调取的性能要求。
3.1.2数据迁移完整性验证
完成了原三情数据库全部历史数据的迁移工作,涵盖雨情、墒情、灾情三大类共12张历史表,迁移记录总数约8.7万条。通过全量记录数比对与抽样字段校验,迁移数据完整率达到100%,关键字段准确率99.8%,仅少量历史异常值在清洗阶段进行了规范化处理,整体数据质量符合业务应用标准。
3.1.3数据同步效率与稳定性
天擎数据自动同步服务已稳定运行,每日0时、12时两次自动抽取,单次数据抽取与写入平均耗时约112秒,远低于调度间隔。本地数据库可稳定存储连续3个月以上的全量业务数据,数据延迟不超过12小时,满足业务连续性要求。在网络中断等极端情况下,本地数据库可支撑至少3天的常规业务查询,有效解决了此前完全依赖在线调用的连续性风险。
3.2对AI本地化应用的支撑效能
3.2.1知识库构建效率提升
本地化数据库投入使用后,DeepSeek-R1的RAG知识库构建方式从“人工整理零散文档”转变为“数据库批量导出标准化数据”。以构建年度气象观测知识库为例,原有人工方式需整理12份Excel文件,进行格式统一、数据清洗,耗时约4小时;通过数据库导出可直接生成标准化数据集,导入知识库仅需约1.5小时,构建效率提升62.5%,且数据一致性与准确性显著提升。
3.2.2大模型运行资源占用优化
由于数据库完成了数据的结构化与预处理,向量化模型的工作负载大幅降低。在相同硬件条件下,使用数据库导出的标准化数据构建知识库,nomic-embed-text向量化模型的内存占用从2.8GB降至1.8GB,降低约35.7%,系统运行流畅度明显提升,测试周期内未再出现卡顿或宕机现象。同时,结构化数据的向量化准确率提升,知识库检索的相关度得分平均提升22%,有效改善了此前轻量化向量化模型识别精度不足的问题。
3.2.3业务场景应用效果
在气象数据查询场景中,结合本地化数据库的RAG问答系统可准确调取指定日期、指定站点的气温、降水等观测数据,回答准确率从原来的71%提升至93%。在服务产品生成场景中,系统可基于数据库中的实况与预报数据,自动生成旬报、月报的基础内容框架,人工修改量减少约40%,显著提升了业务工作效率。
4结论
本研究针对阜新市DeepSeek-R1大模型本地化部署中暴露的硬件算力不足、数据底座缺失等瓶颈问题,开展了市级气象业务本地化数据库建设,构建了基于MySQL的标准化本地数据体系,完成了多源气象数据的整合与同步。研究取得了以下主要结论:
第一,构建的本地化数据库可有效整合原三情历史数据与天擎实时业务数据,实现100%的数据迁移完整率与稳定的自动化同步,既解决了数据孤岛与业务连续性问题,也为气象业务提供了自主可控的本地数据支撑。
第二,标准化的本地数据库显著提升了本地化大语言模型的运行效率与应用效果。知识库构建效率提升60%以上,向量化资源占用降低35%,问答准确率提升至93%,在不升级硬件的前提下,有效改善了AI系统的运行表现,验证了“数据优化缓解算力约束”路径的可行性。
第三,本研究形成的轻量化数据库建设方案、数据迁移与同步方法、“数据库+AI”协同模式,贴合市级基层气象台站的实际条件,具备较强的可复制性与推广价值,可为同类地市的气象数据治理与智能化建设提供参考。
未来将持续优化数据库性能,深化数据治理,探索AI与数据库的深度融合,逐步构建“数据-算力-模型-应用”一体化的市级气象智能化体系,持续赋能气象业务高质量发展。
参考文献
[1]沈文海。气象大数据与人工智能的发展与应用[J].气象科技进展,2022,12(1):1-8.
[2]赵立成,张恒德,唐文苑。人工智能在气象领域的应用进展与展望[J].应用气象学报,2023,34(2):129-140.
[3]辽宁省气象局。辽宁省气象人工智能应用白皮书(2024)[R].沈阳:辽宁省气象局,2024.
[4]李清泉,王汉杰。大语言模型本地化部署的关键技术与挑战[J].计算机工程与应用,2024,60(5):1-12.
作者简介:吴博闻(1996.11),男,汉族,辽宁阜新人,硕士研究生,助理工程师,研究方向:天气预报。
相关文献推荐
- 节点文献
- 读者推荐
- 相关基金文献
- 关联作者
- 相关视频
- 批量下載
