外部表在数据湖与数据仓库集成中扮演什么角色？

外部表是引用存储在数据湖（如Amazon S3、ADLS Gen2）中的外部数据文件的虚拟数据库对象。它们允许通过SQL查询访问这些数据，而无需将其物理加载到数据仓库的专有存储中。这架起了结构化数据仓库分析与数据湖中大量半结构化/非结构化数据之间的桥梁，支持统一分析并减少不必要的数据移动。 核心原理涉及读取时 schema：定义如何解释湖文件（如CSV、Parquet）的元数据存储在仓库目录中。查询被下推到湖存储，利用仓库强大的计算能力进行复杂处理。关键特性包括存储与计算分离、支持对湖中的实时数据进行访问，以及支持跨不同源的联邦查询。这种集成促使现代分析架构朝着灵活性和成本效益方向发展。 外部表将数据探索（数据湖）与生产报告/商业智能（数据仓库）统一起来。它们消除了针对特定数据集的复杂ETL管道，使分析师能够使用熟悉的SQL工具直接处理当前的湖数据。业务价值包括通过避免冗余存储节省成本和加快分析周期。实施过程包括定义表模式/格式/位置，然后像查询标准仓库表一样查询它。这支持诸如通过Redshift Spectrum分析S3中的日志文件或通过Azure Synapse分析Delta Lake表等场景。