基于ODPS的SQL语句

客官°小女子只卖身不卖艺 2023-09-30 14:09 18阅读 0赞

**（一）基本概念**

1.ODPS：Open Data Processing Service， 简称ODPS；是由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处理能力，应用于数据分析、挖掘、商业智能等领域；阿里巴巴的离线数据业务都运行在ODPS上；

2.御膳房：基于ODPS的一个应用模型；基于公共云计算的数据管理、计算和交换平台，为政府机构、企业、科研机构、第三方软件服务商等客户，提供大数据管理、开发和生产计算的能力，同时让客户间能交换数据，解决数据管理、应用、流通的场景需求，帮助客户实现商业价值；

3.ODPS SQL：与Hive SQL语法基本一致；适用于海量数据(TB级别)，实时性要求不高的场合，它的每个作业的准备，提交等阶段要花费较长时间， 因此要求每秒处理几千至数万笔事务的业务是不能用ODPS SQL完成的；ODPS SQL采用的是类似于SQL的语法，可以看作是标准SQL的子集，但不能因此简单的把ODPS SQL等价成一个数据库，它在很多方面并不具备数据库的特征；

PS：常见数据库有层次型（树状），网状型（网络），关系型（二维表格）

4.SQL语句不分大小写，使用“–”进行注释，使用分号作为语句结束符号；

5.支持的数据类型：bigint，double，string，datetime，boolean，decimal；

6.支持的关系运算符：=, <>, <, <=, >, >=, is null, is not null, like, rlike和in ；

7.支持的算术运算符：+, -, \* , /, %；

8.支持的逻辑运算符：and， or，not

9.支持的位运算符：&，|；

10.支持三目运算符：A？B：C；

11.SQL语言包括四种主要程序设计语言类别的语句：数据定义语言（DDL），数据操作语言（DML）,数据控制语言（DCL）和事务控制语言（TCL）；在ODPS中使用的主要是DDL跟DML；

12.ODPS平台上的数据都是以表的形式来处理的，所以SQL语句很重要，在处理SQL时候，字段也是一个关键的概念；

**（二）DDL语句**

1.表的创建

（1）新建一个自定义的表：create table if not exists A (字段名 字段类型)；

（2）新建一个表，字段与现有表一致，但数据并没有复制：create table if not exists A like B；

2.表的删除

drop table A；

3.表的重命名

alter table A rename to B；

4.表的生命周期

alter table A set lifecycles 30；

5.增加字段

alter table A add columns(字段名 字段类型)；

6.查看表的信息

desc A

**（三）DML语句**

1.表中数据的更新（insert语句）

（1）insert overwrite table A select \* from B ：表示将表A的数据复制到表B中，前提是字段一致；

PS：ODPS平台的SQL仅支持以上的更新数据库语句；其中关键字overwrite表示覆盖写入，可换成into表示追尾写入；

2表中数据的读取（select语句）

（1）select \* from A：读取全部字段数据

（2）select uid from A：读取某一字段全部数据

（3）select distinct uid from A ：读取某一字段不重复数据

（4）select \* from A where uid=‘a’：读取某一字段值等于指定值的数据

（5）select \* from （select \* from A）a：嵌套语句

（6）select sum（uid） from A group by uid：分组查询

（7）select \* from A order by uid limit 4：全局排序，必须与limit 配合使用

（8）select row\_number（） over （partition by item order by score）as row\_num from A：对字段item按字段score值进行局部排序并给出序号

3.表的合并（union all 语句）

select \* from(  
select \* from t1 where uid=‘a’  
union all  
select \* from t2 where uid=‘a’)t;

4.表的连接（join 语句与left outer join 语句）

（1）join

select \* from A a join B b on a.item = b.item ：返回A,B表中字段item值相同的数据

（2）left outer join

select \* from A a left outer join B b on a.item = b.item ：返回A表全部数据

**（四）内建函数**

查看附件文档

附件：[ODPS SQL][]

[ODPS SQL]: https://docs.aliyun.com/?spm=5176.bbsr258620.0.0.JTVDUo#/pub/odps/SQL/summary

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关基于MaBatis编写动态SQL语句

目录前言一、动态SQL 1. 介绍 2. 在IDea，基于MaBatis完成动态SQL步骤 2.1 创建实体

傷城~/ 2023年10月03日 13:59/ 0 赞/ 14 阅读

相关基于ODPS的SQL语句

（一）基本概念 1.ODPS：Open Data Processing Service，简称ODPS；是由阿里云自主研发，提供针对TB/PB级数据、实时性要求不高的分布式处

客官°小女子只卖身不卖艺/ 2023年09月30日 14:09/ 0 赞/ 19 阅读

相关 sqlserver sql语句|经典sql语句|实用sql语句

sqlserver sql语句|经典sql语句|实用sql语句一、基础 1、说明：创建数据库 CREATE DATABASE database-name 2、说

心已赠人/ 2022年09月30日 04:54/ 0 赞/ 51 阅读

相关从MapReduce的执行来看如何优化MaxCompute（原ODPS） SQL

[原文链接][Link 1] 摘要： SQL基础有这些操作（按照执行顺序来排列）： from join(left join, right join, inner join,

拼搏现实的明天。/ 2022年06月12日 10:22/ 0 赞/ 315 阅读

相关 Mybatis基于注解形式的sql语句生成

借鉴博客网址:[http://blog.csdn.net/hj7jay/article/details/51907652][http_blog.csdn.net_hj7jay_

忘是亡心i/ 2022年06月06日 09:18/ 0 赞/ 302 阅读

相关【SQL语句】灵活SQL语句

1、查询数学成绩排名 select ss.stid, ss.name, ss.score, (select count() from stuscore s where

偏执的太偏执、/ 2022年05月25日 07:24/ 0 赞/ 420 阅读

相关 odps是什么?

原文链接：\[url\]http://click.aliyun.com/m/27095/\[/url\] ODPS（Open Data Processing Service

た入场券/ 2022年04月06日 10:12/ 0 赞/ 223 阅读

相关 ODP.NET

1，什么是ODP？就是Oracle 为 .NET ([ODP.NET][]) 专门编写了 `Oracle Data Provider`，一个用于 Microsoft `.NET

r囧r小猫/ 2021年09月18日 01:40/ 0 赞/ 372 阅读

相关天池 odps_SQL 常用函数和方法

平均值、中值、最大值、最小值： avg(distance) as merchant_avg_distance, median(distance) as mer

清疚/ 2021年09月14日 06:34/ 0 赞/ 687 阅读

相关基于SQL语句的分页

基于SQL语句的分页一般使用存储过程实现。它通过编写SQL查询，对数据进行筛选，仅返回当前页面所需的数据内容。要进行分页，首先必须要知道每页显示多少条（pageSize）、要显

骑猪看日落/ 2021年09月10日 05:54/ 0 赞/ 473 阅读