核心摘要核心摘要
先找监管机构、央行、交易所和政府开放数据门户,再考虑聚合站镜像。
CSV 便携、适合电子表格,也容易导入 Python、R 或 SQL。
“免费”不保证数据为最新、已复权、完整或允许商业再利用。
核对许可、时间戳、单位、频率、代码、缺失值和复权规则。
免费金融数据 CSV 的最佳来源
应按数据类型选择来源,而不是寻找一个万能供应商。官方门户通常提供最清晰的数据出处;聚合平台访问更方便,但可能附加访问限制或采用不同许可。
适合利率、通胀、就业、GDP、收益率等有明确发布时间表的序列。
使用官方申报数据获取公司事实与披露信息。原始申报文件通常需要标准化,才能整理成可直接分析的数据行。
确认价格是否延迟、是否为日终数据、是否复权、是否包含退市标的,以及目标用途是否获许可。
核对交易场所覆盖、计价币种、K 线边界、时区和历史缺口补齐规则。
| 官方来源 | 适合的数据 | 下载内容与注意点 | 适合的初始用途 |
|---|---|---|---|
| FRED / ALFRED | 利率、通胀、就业、GDP 与金融条件 | FRED 可返回压缩后的 CSV 与 README;ALFRED 的历史版本可用于还原各个历史时点能够看到的数据。 | 宏观仪表盘、教学与可复现研究 |
| World Bank Indicators | 跨国家的发展与经济指标 | CSV 下载包内通常同时包含数据、国家元数据和指标元数据,三类文件应一并保存。 | 国家比较与长期面板数据 |
| SEC EDGAR | 美国公司申报、申报历史与 XBRL 财务事实 | SEC 主要提供 JSON API 与夜间更新的批量 ZIP,而不是直接可分析的统一 CSV;转换时要保留申报表单、报告期、单位和 accession 信息。 | 可追溯的基本面与申报研究 |
| 交易所或监管机构文件 | 上市证券、代码、参考数据与部分市场统计 | 文件结构与再分发条款差异较大,应以配套说明为准,不能只看几行样本就猜字段含义。 | 证券主数据与标识符核验 |
权威来源不等于拿来就能分析。公共机构首先考虑的是披露和发布,并不会按你的数据库结构整理文件。更稳妥的做法是完整保留官方原始包,再生成一份有字段说明和转换记录的分析表。
金融 CSV 应说明的关键字段
| 字段 | 检查内容 | 常见问题 | 处理方式 |
|---|---|---|---|
| 日期/时间 | 格式、时区、期末时点 | 交易场所时区导致日期偏移 | 统一到一个明确时区 |
| 标识符 | 证券代码、交易所、FIGI/CIK/ISIN | 证券代码被复用或发生变更 | 维护稳定的标识符映射 |
| 数值/单位 | 币种、数量级、名义值与实际值(不变价) | 不同单位在未提示的情况下被合并 | 统一单位并保留来源单位 |
| 调整 | 拆股、分红与数据修订 | 使用未复权历史数据计算收益率 | 同时保存原始序列与调整后序列 |
同样叫作 close,可能指未复权的交易所收盘价、历史复权收盘价,也可能是综合参考价。除了字段名,还应保存供应商对字段的正式定义。
CIK、带前导零的代码以及数字字母混合标识,很容易被电子表格自动转成数值。导入前应把这类列明确设为文本。
经济数据既有“数值对应哪个时期”,也有“何时发布或修订”。如果只留一个日期列,很容易在回测中不小心使用当时尚未公布的数据。
按任务选择 CSV、API 或批量归档
CSV 只是交付格式,并不能替数据质量背书。先判断你需要的是固定快照、按参数查询,还是周期性批量入库,再决定是否要处理分页、版本管理和更新监控。
| 访问方式 | 适用情况 | 优势 | 容易忽略的工作 |
|---|---|---|---|
| CSV | 需要一份可人工检查的快照,用于表格、Notebook 或一次性模型。 | 便于传递、归档、比对和交接。 | 字段漂移、文件过期和地区格式导致的解析问题。 |
| API | 用户会选择证券、日期或指标,而且数据时效很重要。 | 可按需请求,也更容易获得结构化元数据。 | 鉴权、分页、额度、重试以及响应结构变化。 |
| 批量 ZIP/归档 | 需要定期导入完整数据范围,或重建数据仓库。 | 大规模、重复传输时效率更高。 | 解压、清单、增量更新和失败恢复。 |
实用判断:需要人工检查或冻结研究输入时用 CSV;需要交互查询或较新数据时用 API;需要定期全量入库时用批量归档。成熟的数据流程往往三者并用,而不是让一种格式承担所有任务。
可靠的 CSV 下载与清洗流程
记录来源 URL、数据集名称、许可、下载时间、查询参数和校验和。
修改数值前,先检查表头、推断的数据类型、行数、重复键、日期范围、缺失率和异常值。
保持原始 CSV 不变,将清洗结果连同明确的数据模式和转换说明另存。
在研究或生产使用前,用官方发布或独立来源核对近期与历史样本。
保存原始字节、文件名、来源 URL、抓取时间、校验和,以及必要的 HTTP 响应头;不能在没有留下版本记录的情况下覆盖这份副本。
处理编码、统一表头、解析日期和数值,并单独记录被拒绝的行,但暂不改变业务口径。
应用标识符映射、单位、复权和业务规则,写入带版本且有明确主键的数据表。
只输出来源记录、验证结果和刷新时间都清楚可查的字段。
在 Excel 或 Python 中稳妥导入金融 CSV
很多 CSV 问题并不是出在下载阶段,而是导入软件自动猜类型时发生的。应先确认分隔符和编码,再明确标识符、日期、小数与缺失值的处理规则。
通过“从文本/CSV”导入,手动选择 UTF-8、分隔符、小数格式和每一列的数据类型。证券代码、CIK、ISIN 等标识符要提前设为文本;像 1-2 这类值也要防止被自动识别成日期。
使用 pandas.read_csv 时,明确指定标识符列的数据类型,有选择地解析日期,并把供应商特有的缺失值标记列出来。文件很大或来源陌生时,先读取少量样本检查。
可以分块读取、只选需要的列,或在验证后转换成带类型的分析格式。CSV 更适合作为来源快照,不必让每次查询都重新解析整份文本。
逗号既可能是列分隔符,也可能是小数或千位格式的一部分。应先确认发布方采用的地区格式,不能在没抽样验证前全局删除标点。
分析前如何验证一份金融 CSV
文件能顺利打开,并不代表它适合你的模型。结构、业务含义、时间逻辑和许可应分别检查,验证记录也要与数据一起保存。
| 检查项 | 具体检查内容 | 能发现什么问题 |
|---|---|---|
| 结构与主键 | 预期列、行数、主键唯一率、重复行和排序状态 | 可发现下载不完整、错误拼接和分页重复。 |
| 覆盖范围 | 起止日期、预期实体、交易日、发布频率和缺口 | 可判断数据是否悄悄漏掉退市证券、部分国家或早期历史。 |
| 数值规则 | 缺失率、有限值、正负约束、币种、数量级和合理范围 | 可发现单位错误、百分数与小数混淆,以及占位数值。 |
| 时间完整性 | 观测期、发布时间、修订时间、时区,以及各历史时点能否获得该数据 | 可避免前视偏差,也能防止把最终修订值错误带入历史决策。 |
| 来源对账 | 抽取少量数据,与官方网站、原始申报或第二来源核对 | 可发现列错位、序列代码用错和镜像过期。 |
交付门槛:在模型、仪表盘或 Agent 工作流上线前,数据集至少要有负责人、来源 URL、许可说明、刷新时间、结构版本和可追溯的验证结果。“CSV 能读进来”只能算第一关。
当静态 CSV 不够用时使用 QVeris
CSV 适合保存便携快照和开展可复现研究。当 Agent 需要更新更及时的数据、按参数查询,或重复调用供应商接口时,可以通过 QVeris 以统一且可审计的方式查找并调用所需数据能力。
- 保留 CSV 快照,用于复现、审查和离线分析。
- 当数据时效或用户所选参数很重要时,使用在线 API。
- 让 QVeris 帮助 Agent 发现金融工具并在调用前检查输入。
常见问题
优先查看 FRED、SEC EDGAR、官方统计门户、交易所和可信数据目录,并检查许可和更新时间。
仅在许可允许展示、再分发、衍生数据和商业用途时可以。
通常不是,可能为延迟或日终数据。务必检查时间戳、场所覆盖和供应商说明。
统一日期、标识、单位、类型、空值、时区、频率和复权标志,同时保留原始文件。
需要可审查快照和可复现输入时用 CSV;需要较新、可按参数查询的数据时用 API;需要周期性全量入库时使用批量归档。
可能是交易场所、收盘价口径、币种、公司行动复权、时区或更新时间不同。比较数值前,先比较字段定义。
