https://docs.microsoft.com/zh-cn/azure/synapse-analytics/sql/on-demand-workspace-overview

另外支持Azure Cosmos DB做HTAP

https://docs.microsoft.com/zh-cn/azure/cosmos-db/synapse-link

使用场景

• 数据湖探索 - 快速探索 Data Lake 中各种格式（Parquet、CSV、JSON）的数据。
• 逻辑数据仓库 – 基于原始数据提供关系抽象，而无需重新转换数据。
• 数据转换 - 使用 T-SQL 以简单、可缩放且高效的方式转换 Data Lake 中的数据，以便可将数据推送到 BI 和其他工具，存储到关系数据库。

用户角色

• 数据工程师:   转换和准备数据，简化ETL/ELT数据集成管道
• 数据科学家:   快速使用数据湖的内容做AI和机器学习
• 数据分析师:   使用熟悉的 T-SQL，Spark查询和分析数据
• BI专业人员： 快速基于数据湖中的数据创建 Power BI报表

用法

查询外部文件

Azure Data Lake在对象存储的基础上增加了文件层级目录结构，面向大数据分析优化。

• 查询 CSV 文件
• 查询 Parquet 文件
• 查询 JSON 文件
• 查询 Parquet和JSON嵌套值
• 查询文件夹和多个 CSV 文件
• 在查询中使用文件元数据

https://docs.mihttps://docs.microsoft.com/zh-cn/azure/synapse-analytics/sql/query-data-storage

视图

外表

查询结果导出

/*分页查询*/
select countries_and_territories, year, month, day, cases
from openrowset(
    bulk 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/ecdc_cases/latest/ecdc_cases.parquet',
    format = 'parquet') as rows
order by year, month, day 
OFFSET 30 ROWS
FETCH NEXT 10 ROWS ONLY;

/*字符组合*/
select top 10 geo_id, year, month, cases = '{' + string_agg(concat('"',day,'":',cases), ',')
                        within group (order by day asc) + '}'
from openrowset(
    bulk 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/ecdc_cases/latest/ecdc_cases.parquet',
    format = 'parquet') as rows
group by geo_id, year, month;

/*透视*/
with cases as ( 
    select countries_and_territories, year, month, day, cases
    from openrowset(
    bulk 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/ecdc_cases/latest/ecdc_cases.parquet',
    format = 'parquet') as rows
)
select top 10 *
from cases
PIVOT (
      SUM (cases) FOR day IN ( [1], [2], [3], [4], [5], [6], [7])  
) AS months 

/*逆透视*/
with cases as ( 
    select countries_and_territories, year, month, day, cases, deaths
    from openrowset(
    bulk 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/ecdc_cases/latest/ecdc_cases.parquet',
    format = 'parquet') as rows
    where continent_exp = 'Europe'
    and year = 2020
)
select top 100 countries_and_territories, year, month, day, property, value
from cases
UNPIVOT (
      value FOR property IN ( [cases], [deaths] )  
) AS unpivoted  

/*会话上下文*/
CREATE OR ALTER VIEW cases
AS SELECT * FROM openrowset(
    bulk 'https://pandemicdatalake.blob.core.windows.net/public/curated/covid-19/ecdc_cases/latest/ecdc_cases.parquet',
    format = 'parquet') as rows
    WHERE continent_exp = CAST(SESSION_CONTEXT(N'continent') AS VARCHAR(8000))

exec sp_set_session_context 'continent', 'Europe';
SELECT TOP 10 * FROM cases