Hugging Face Blog·· 2023-06-07精选AI 评分65
Hugging Face Hub 支持用 DuckDB 以 SQL 查询 5 万多个数据集
DuckDB: analyze 50,000+ datasets stored on the Hugging Face Hub
AI 导读
Hugging Face 宣布用户可以在 Hub 上的任何数据集上用 DuckDB 运行 SQL 查询。Dataset Viewer 会自动把所有公开数据集转换为 Parquet 文件，可通过 /parquet 端点获取文件 URL；借助 httpfs 扩展，DuckDB 能直接对远程 Parquet 文件执行 SQL，并支持查询被切分为 500MB 分块的大数据集。
推荐理由
官方介绍了用 DuckDB 直接对 Hub 上 5 万多数据集跑 SQL 的方法，读者可以照着把 Parquet 端点和查询代码迁移到自己的数据探索流程。
来源：Hugging Face Blog · huggingface.co