注意:以下文档只适用于TOP接口,请谨慎使用!
大数据计算服务(MaxCompute,原名ODPS)是一种快速、完全托管的GB/TB/PB级数据仓库解决方案。MaxCompute为您提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决海量数据计算问题,有效降低企业成本,并保障数据安全。
同时,DataWorks和MaxCompute关系紧密,DataWorks为MaxCompute提供了一站式的数据同步、任务开发、数据工作流开发、数据管理和数据运维等功能,详情请参见DataWorks(原大数据开发套件)。
MaxCompute主要服务于批量结构化数据的存储和计算,可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务。随着社会数据收集手段的不断丰富及完善,越来越多的行业数据被积累下来。数据规模已经增长到了传统软件行业无法承载的海量数据(百GB、TB乃至PB)级别。
![]() |
说明 |
MaxCompute已经在阿里巴巴集团内部得到大规模应用,例如大型互联网企业的数据仓库和BI分析、网站的日志分析、电子商务网站的交易分析、用户特征和兴趣挖掘等。 |
MaxCompute适用于100GB以上规模的存储及计算需求,最大可达EB级别。
MaxCompute支持SQL、MapReduce、Graph等计算类型及MPI迭代类算法。
MaxCompute已稳定支撑阿里全部离线分析业务7年以上,提供多层沙箱防护及监控。
与企业自建私有云相比,MaxCompute的计算存储更高效,可以降低20%-30%的采购成本。
支持批量、历史数据通道
TUNNEL是MaxCompute为您提供的数据传输服务,提供高并发的离线数据上传下载服务。支持每天TB/PB级别的数据导入导出,特别适合于全量数据或历史数据的批量导入。Tunnel 为您提供Java编程接口,并且在MaxCompute的客户端工具中,有对应的命令实现本地文件与服务数据的互通。
实时、增量数据通道
针对实时数据上传的场景,MaxCompute提供了延迟低、使用方便的DataHub服务,特别适用于增量数据的导入。DataHub还支持多种数据传输插件,例如Logstash、Flume、Fluentd、Sqoop等,同时支持日志服务Log Service中的投递日志到MaxCompute,进而使用DataWorks进行日志分析和挖掘。
MaxCompute支持多种计算模型,详情如下:
![]() |
说明 |
|
MaxCompute提供了很多内建函数来满足您的计算需求,同时您还可以通过创建自定义函数来满足不同的计算需求。
SDK是MaxCompute提供给开发者的工具包,详情请参见SDK介绍。
MaxCompute提供了功能强大的安全服务,为您的数据安全提供保护,详情请参见 安全指南。