UN Comtrade数据共享平台设计与实现

摘要

UN Comtrade(United Nations international trade statistics database)是全球最大且应用最为广泛的国际贸易数据库，具有高权威性与完整性.本文在框架体系结构设计与数据表结构设计基础上构建UN Comtrade数据共享平台，以期为地理学研究提供数据与工具支撑.在数据聚合策略方面，平台通过综合集成数据爬取、加载模块并嵌套多种错误修正方法，实现5亿多条商品贸易记录的动态高容错聚合.在检索策略方面，平台通过分区复合索引提升数据检索指令执行效率与可扩展性.检索试验表明，平台能够在80用户并发模式下稳定执行不同类型检索指令，并且通过调用ODBC/JDBC接口将计算过程融入检索任务，可以更加有效利用服务器端资源并节省数据传输与读写耗时，具有效率更高、简化数据处理过程等优点. 2017年平台被应用于中-美商品显性比较优势特征检索-计算-格网化表达-对比分析，案例表明平台具有高效、稳定的并发检索效率，以及高可扩展性等优点，可以为贸易特征计算与分析提供便捷快速、形式多样的数据共享服务.

关键词

国际贸易 / 大数据 / 格网 / 显示性比较优势指数 / 地理信息系统