1、数据类型
ClickHouse 可以在数据表中存储多种数据类型。所有的数据类型Clickhouse存储在system.data_type_families表中，可以检查数据类型名称是否区分大小写
1、整型
整型子类很多，Clickhouse目前有：UInt8, UInt16, UInt32, UInt64, UInt128, UInt256, Int8, Int16, Int32, Int64, Int128, Int256
固定长度的整型，包括有符号整型或无符号整型
整型范围
Int8 — [-128 : 127]
Int16 — [-32768 : 32767]
Int32 — [-2147483648 : 2147483647]
Int64 — [-9223372036854775808 : 9223372036854775807]
Int128 — [-170141183460469231731687303715884105728 : 170141183460469231731687303715884105727]
Int256 — [-57896044618658097711785492504343953926634992332820282019728792003956564819968 : 57896044618658097711785492504343953926634992332820282019728792003956564819967]
无符号整型范围
UInt8 — [0 : 255]
UInt16 — [0 : 65535]
UInt32 — [0 : 4294967295]
UInt64 — [0 : 18446744073709551615]
UInt128 — [0 : 340282366920938463463374607431768211455]
UInt256 — [0 : 115792089237316195423570985008687907853269984665640564039457584007913129639935]
2、Float32, Float64
浮点数类似C语言中类型是相同的
Float32 - float
Float64 - double
建议尽可能以整数形式存储数据。例如，将固定精度的数字转换为整数值，例如货币数量或页面加载时间用毫秒为单位表示
对浮点数进行计算可能引起四舍五入的误差
cdh1 :) SELECT 1 - 0.9
SELECT 1 - 0.9
┌───────minus(1, 0.9)─┐
│ 0.09999999999999998 │
└─────────────────────┘
使用场景：一般数据值比较小，不涉及大量的统计计算，精度要求不高的时候。比如保存商品的重量。
3、NaN and Inf
Inf – 正无穷
cdh1 :) SELECT 0.5 / 0
SELECT 0.5 / 0
┌─divide(0.5, 0)─┐
│ inf │
└────────────────┘
1 rows in set. Elapsed: 0.026 sec.
-Inf – 负无穷
cdh1 :) SELECT -0.5 / 0
SELECT -0.5 / 0
┌─divide(-0.5, 0)─┐
│ -inf │
└─────────────────┘
1 rows in set. Elapsed: 0.004 sec.
NaN – 非数字
cdh1 :) SELECT 0 / 0
SELECT 0 / 0
┌─divide(0, 0)─┐
│ nan │
└──────────────┘
1 rows in set. Elapsed: 0.004 sec.
4、Decimal(P, S), Decimal32(S), Decimal64(S), Decimal128(S)
参数
P – 精度。有效范围：[1:38]，决定可以有多少个十进制数字（包括分数）。
S – 规模。有效范围：[0：P]，决定数字的小数部分中包含的小数位数
对于不同的 P 参数值 Decimal 表示，以下例子都是同义的：P在[1:9] 使用Decimal32(S)，P在[10:18]使用Decimal64(S)，P在[19:38]使用Decimal128(S)
十进制值范围
Decimal32(S) – ( -1 * 10^(9 – S), 1 * 10^(9 – S) )
Decimal64(S) – ( -1 * 10^(18 – S), 1 * 10^(18 – S) )
Decimal128(S) – ( -1 * 10^(38 – S), 1 * 10^(38 – S) )
例如，Decimal32(4) 可以表示 -99999.9999 至 99999.9999 的数值，小数点长为0.0001
待跟踪：早期的版本这里显示的2.0000，现在22.2.3的版本显示的是2，目前查看是删除了无效位，如果将数值修改2.0000也会出现这个问题，在运行的时候将末尾的无效0删除了，将数值修改成2.0001就OK了
cdh1 :) SELECT toDecimal32(2, 4) AS x, x / 3
SELECT
toDecimal32(2, 4) AS x,
x / 3
┌─x─┬─divide(toDecimal32(2, 4), 3)─┐
│ 2 │ 0.6666 │
└───┴──────────────────────────────┘
1 rows in set. Elapsed: 0.004 sec.
cdh1 :) SELECT toDecimal32(2.0000, 4) AS x, x / 3
SELECT
toDecimal32(2., 4) AS x,
x / 3
┌─x─┬─divide(toDecimal32(2., 4), 3)─┐
│ 2 │ 0.6666 │
└───┴───────────────────────────────┘
1 rows in set. Elapsed: 0.004 sec.
cdh1 :) SELECT toDecimal32(2.000100, 4) AS x, x / 3
SELECT
toDecimal32(2.0001, 4) AS x,
x / 3
┌──────x─┬─divide(toDecimal32(2.0001, 4), 3)─┐
│ 2.0001 │ 0.6667 │
└────────┴───────────────────────────────────┘
1 rows in set. Elapsed: 0.004 sec.
运算和结果类型
对Decimal的二进制运算导致更宽的结果类型（无论参数的顺序如何）。
- Decimal64(S1)
Decimal32(S2) -> Decimal64(S) - Decimal128(S1)
Decimal32(S2) -> Decimal128(S) - Decimal128(S1)
Decimal64(S2) -> Decimal128(S)
精度变化的规则： - 加法，减法：S = max(S1, S2)。
- 乘法：S = S1 + S2。
- 除法：S = S1。
对于 Decimal 和整数之间的类似操作，结果是与参数大小相同的十进制。
未定义Decimal和Float32/Float64之间的函数。要执行此类操作，您可以使用：toDecimal32、toDecimal64、toDecimal128 或 toFloat32，toFloat64，需要显式地转换其中一个参数。注意，结果将失去精度，类型转换是昂贵的操作。
Decimal上的一些函数返回结果为Float64（例如，var或stddev）。对于其中一些，中间计算发生在Decimal中。对于此类函数，尽管结果类型相同，但Float64和Decimal中相同数据的结果可能不同。
溢出检查
在对 Decimal 类型执行操作时，数值可能会发生溢出。分数中的过多数字被丢弃（不是舍入的）。整数中的过多数字将导致异常。
cdh1 :) SELECT toDecimal32(2, 4) AS x, x / 3
SELECT
toDecimal32(2, 4) AS x,
x / 3
┌─x─┬─divide(toDecimal32(2, 4), 3)─┐
│ 2 │ 0.6666 │
└───┴──────────────────────────────┘
cdh1 :) SELECT toDecimal32(4.2, 8) AS x, x * x;
SELECT
toDecimal32(4.2, 8) AS x,
x * x
DB::Exception: Scale 16 is out of bounds: While processing toDecimal32(4.2, 8) AS x, x * x. (ARGUMENT_OUT_OF_BOUND)
cdh1 :) SELECT toDecimal32(4.2, 8) AS x, 6 * x;
SELECT
toDecimal32(4.2, 8) AS x,
6 * x
DB::Exception: Decimal math overflow: While processing toDecimal32(4.2, 8) AS x, 6 * x. (DECIMAL_OVERFLOW)
检查溢出会导致计算变慢。如果已知溢出不可能，则可以通过设置decimal_check_overflow来禁用溢出检查，在这种情况下，溢出将导致结果不正确。
cdh1 :) SET decimal_check_overflow = 0;
SET decimal_check_overflow = 0
Ok.
cdh1 :) SELECT toDecimal32(4.2, 8) AS x, 6 * x;
SELECT
toDecimal32(4.2, 8) AS x,
6 * x
┌───x─┬─multiply(6, toDecimal32(4.2, 8))─┐
│ 4.2 │ -17.74967296 │
└─────┴──────────────────────────────────┘
溢出检查不仅发生在算术运算上，还发生在比较运算上。
cdh1 :) SELECT toDecimal32(1, 8) < 100;
SELECT toDecimal32(1, 8) < 100
DB::Exception: Can't compare decimal number due to overflow: While processing toDecimal32(1, 8) < 100. (DECIMAL_OVERFLOW)
cdh1 :) SET decimal_check_overflow = 0;
SET decimal_check_overflow = 0
Ok.
cdh1 :) SELECT toDecimal32(1, 8) < 100;
SELECT toDecimal32(1, 8) < 100
┌─less(toDecimal32(1, 8), 100)─┐
│ 1 │
└──────────────────────────────┘
注意事项
– 由于现代CPU不支持128位数字，因此 Decimal128 上的操作由软件模拟。所以 Decimal128 的运算速度明显慢于 Decimal32/Decimal64。
– 未定义Decimal和Float32/Float64之间的函数。要执行此类操作，您可以使用：toDecimal32、toDecimal64、toDecimal128 或 toFloat32，toFloat64，需要显式地转换其中一个参数。注意，结果将失去精度，类型转换是昂贵的操作。
– S 标识小数位,使用场景： 一般金额字段、汇率、利率等字段为了保证小数点精度，都使用 Decimal进行存储
5、Boolean Values
没有单独的类型来存储布尔值。可以使用 UInt8 类型，取值限制为 0 或 1
6、String
字符串可以任意长度的。它可以包含任意的字节集，包含空字节。因此，字符串类型可以代替其他 DBMSs 中的 VARCHAR、BLOB、CLOB 等类型。若需存储文本，建议使用 UTF-8编码。
7、FixedString
固定长度 N 的字符串（N 必须是严格的正自然数）
可以使用下面的语法对列声明为FixedString类型：
<column_name> FixedString(N)
当数据的长度恰好为N个字节时，FixedString类型是高效的。 在其他情况下，这可能会降低效率。
使用场景：
– 二进制表示的IP地址（IPv6使用FixedString(16)）
– 语言代码（ru_RU, en_US … ）
– 货币代码（USD, RUB … ）
– 二进制表示的哈希值（MD5使用FixedString(16)，SHA256使用FixedString(32)）
– UUID还是需要使用UUID类型存储
其中N表示自然数。
当数据的长度恰好为N个字节时，FixedString类型是高效的。 在其他情况下，这可能会降低效率。
当向ClickHouse中插入数据时
– 如果字符串包含的字节数少于`N’,将对字符串末尾进行空字节填充。
– 如果字符串包含的字节数大于N,将抛出Too large value for FixedString(N)异常。
请注意，FixedString(N)的长度是个常量。仅由空字符组成的字符串，函数length返回值为N,而函数empty的返回值为1
示例：创建表，并且往表中写入不同长度的数据，
cdh1 :) CREATE TABLE t_FixedString (x FixedString(3)) ENGINE=TinyLog;
CREATE TABLE t_FixedString
(
`x` FixedString(3)
)
ENGINE = TinyLog
cdh1 :) INSERT INTO t_FixedString SELECT 'aaa';
INSERT INTO t_FixedString SELECT 'aaa'
cdh1 :)INSERT INTO t_FixedString SELECT 'bb';
INSERT INTO t_FixedString SELECT 'bb'
cdh1 :) INSERT INTO t_FixedString SELECT 'cccc';
INSERT INTO t_FixedString SELECT 'cccc'
DB::Exception: String too long for type FixedString(3): while converting source column `'cccc'` to destination column x. (TOO_LARGE_STRING_SIZE)
cdh1 :) select length(x),x from t_FixedString;
SELECT
length(x),
x
FROM t_FixedString
┌─length(x)─┬─x───┐
│ 3 │ aaa │
│ 3 │ bb │
│ 3 │ ccc │
└───────────┴─────┘
8、UUID
通用唯一标识符（UUID）是一个16字节的数字，用于标识记录
UUID类型值的示例如下所示：61f0c404-5cb3-11e7-907b-a6006ad3dba0
如果在插入新记录时未指定UUID列值，则UUID值将填充为零：
00000000-0000-0000-0000-000000000000
为了生成UUID值，ClickHouse提供了generateUUIDv4函数。
用法示例
示例1：通过函数generateUUIDv4生成一个
cdh1 :) SELECT generateUUIDv4();
SELECT generateUUIDv4()
┌─────────────────────generateUUIDv4()─┐
│ 390c0592-fd34-40b0-bbcb-317f22098e1a │
└──────────────────────────────────────┘
1 rows in set. Elapsed: 0.006 sec.
示例2：创建一个具有UUID类型列的表，并在表中插入一个值
CREATE TABLE t_uuid (x UUID, y String) ENGINE=TinyLog;
INSERT INTO t_uuid SELECT generateUUIDv4(), 'Example 1';
SELECT * FROM t_uuid;
cdh1 :) SSELECT * FROM t_uuid;
SELECT *
FROM t_uuid
Query id: 46920a55-7c99-40ac-b00f-af31fbf500e9
┌─x────────────────────────────────────┬─y─────────┐
│ 326b7f93-fd0c-45e1-8d49-66c3998625e2 │ Example 1 │
└──────────────────────────────────────┴───────────┘
1 rows in set. Elapsed: 0.004 sec.
示例3：插入新记录时未指定UUID列的值
INSERT INTO t_uuid (y) VALUES ('Example 2');
SELECT * FROM t_uuid;
cdh1 :) SSELECT * FROM t_uuid;
SELECT *
FROM t_uuid
Query id: de21a67a-68ad-4981-8c78-8737c8a00bb1
┌─x────────────────────────────────────┬─y─────────┐
│ 326b7f93-fd0c-45e1-8d49-66c3998625e2 │ Example 1 │
│ 00000000-0000-0000-0000-000000000000 │ Example 2 │
└──────────────────────────────────────┴───────────┘
注意UUID数据类型只支持字符串数据类型也支持的函数(比如, min, max, 和 count)。不支持算术运算（例如, abs）或聚合函数，例如 sum 和 avg.
9、Date
日期类型，用两个字节存储，表示从 1970-01-01 (无符号) 到当前的日期值。允许存储从 Unix 纪元开始到编译阶段定义的上限阈值常量（目前上限是2149年，但最终完全支持的年份为2148）。时间范围是[1970-01-01, 2149-06-06]，日期中没有存储时区信息
示例：
CREATE TABLE dt
(
`timestamp` Date,
`event_id` UInt8
)
ENGINE = TinyLog;
INSERT INTO dt VALUES (1546300800, 1), ('2019-01-01', 2);
SELECT * FROM dt;
cdh1 :) SELECT * FROM dt;
SELECT *
FROM dt
┌──timestamp─┬─event_id─┐
│ 2019-01-01 │ 1 │
│ 2019-01-01 │ 2 │
└────────────┴──────────┘
10、DateTime64
允许以指定的亚秒精度存储即时时间，该时间可以表示为日历日期和一天中的时间，支持的范围是 [1925-01-01 00:00:00, 2283-11-11 23:59:59.99999999]
精度: 10^-precision seconds
表示形式
DateTime64(precision, [timezone])
示例：创建一个DateTime64类型的表，并向其中插入数据:
CREATE TABLE t_DateTime64
(
`timestamp` DateTime64(8, 'Asia/Shanghai'),
`event_id` UInt8
)
ENGINE = TinyLog
INSERT INTO t_DateTime64 Values (1546300800000, 1), ('2019-01-01 00:00:00', 2)
select * from t_DateTime64
cdh1 :) sselect * from t_DateTime64;
SELECT *
FROM t_DateTime64
┌───────────────timestamp─┬─event_id─┐
│ 2019-01-01 08:00:00.000 │ 1 │
│ 2019-01-01 00:00:00.000 │ 2 │
└─────────────────────────┴──────────┘
- 将日期时间作为integer类型插入时，它会被视为适当缩放的Unix时间戳(UTC)。1546300800000 （精度为8）表示 ‘2019-01-01 00:00:00’ UTC. 不过，因为 timestamp 列指定了 Asia/Shanghai （UTC+8）的时区，当作为字符串输出时，它将显示为 ‘2019-01-01 08:00:00’
- 当把字符串作为日期时间插入时，它会被赋予时区信息。 ‘2019-01-01 00:00:00’ 将被认为处于 Asia/Shanghai 时区并被存储为 1546290000000.
cdh1 :) SELECT toDateTime64(now(), 3, 'Asia/Shanghai') AS column, toTypeName(column) AS x
SELECT
toDateTime64(now(), 3, 'Asia/Shanghai') AS column,
toTypeName(column) AS x
┌──────────────────column─┬─x──────────────────────────────┐
│ 2022-03-10 14:41:01.000 │ DateTime64(3, 'Asia/Shanghai') │
└─────────────────────────┴────────────────────────────────┘
11、DateTime
时间戳类型。用四个字节（无符号的）存储 Unix 时间戳）。允许存储与日期类型相同的范围内的值。时间戳类型值精确到秒（没有闰秒）范围是1970-01-01 00:00:00, 2106-02-07 06:28:15
12、Enum8, Enum16
包括 Enum8 和 Enum16 类型。Enum 保存 ‘string’= integer 的对应关系。在 ClickHouse 中，尽管用户使用的是字符串常量，但所有含有 Enum 数据类型的操作都是按照包含整数的值来执行。这在性能方面比使用 String 数据类型更有效。
Enum8 用 ‘String’= Int8 对描述。
Enum16 用 ‘String’= Int16 对描述。
用法示例
创建一个带有一个枚举 Enum8(‘hello’ = 1, ‘world’ = 2) 类型的列：
CREATE TABLE t_enum
(
x Enum8('hello' = 1, 'world' = 2)
)
ENGINE = TinyLog
这个 x 列只能存储类型定义中列出的值：’hello’或’world’。如果您尝试保存任何其他值，ClickHouse 抛出异常。
:) INSERT INTO t_enum VALUES ('hello'), ('world'), ('hello')
INSERT INTO t_enum VALUES
Ok.
3 rows in set. Elapsed: 0.002 sec.
:) insert into t_enum values('a')
INSERT INTO t_enum VALUES
Exception on client:
Code: 49. DB::Exception: Unknown element 'a' for type Enum8('hello' = 1, 'world' = 2)
当您从表中查询数据时，ClickHouse 从 Enum 中输出字符串值。
SELECT * FROM t_enum
┌─x─────┐
│ hello │
│ world │
│ hello │
└───────┘
如果需要看到对应行的数值，则必须将 Enum 值转换为整数类型。
SELECT CAST(x, 'Int8') FROM t_enum
┌─CAST(x, 'Int8')─┐
│ 1 │
│ 2 │
│ 1 │
└─────────────────┘
13、Array(T)
由 T 类型元素组成的数组。
T 可以是任意类型，包含数组类型。 但不推荐使用多维数组，ClickHouse 对多维数组的支持有限。例如，不能存储在 MergeTree 表中存储多维数组。
创建数组
可以使用array函数来创建数组：
array(T)
也可以使用方括号：
[]
创建数组示例：
:) SELECT array(1, 2) AS x, toTypeName(x)
SELECT
[1, 2] AS x,
toTypeName(x)
┌─x─────┬─toTypeName(array(1, 2))─┐
│ [1,2] │ Array(UInt8) │
└───────┴─────────────────────────┘
1 rows in set. Elapsed: 0.002 sec.
:) SELECT [1, 2] AS x, toTypeName(x)
SELECT
[1, 2] AS x,
toTypeName(x)
┌─x─────┬─toTypeName([1, 2])─┐
│ [1,2] │ Array(UInt8) │
└───────┴────────────────────┘
1 rows in set. Elapsed: 0.002 sec.
注意：如果你尝试创建不兼容的数据类型数组，ClickHouse 将引发异常：
14、AggregateFunction(name, types_of_arguments…)
聚合函数的中间状态，可以通过聚合函数名称加-State后缀的形式得到它。与此同时，当需要访问该类型的最终状态数据时，需要以相同的聚合函数名加-Merge后缀的形式来得到最终状态数据。
参数
聚合函数名
– 如果函数具备多个参数列表，请在此处指定其他参数列表中的值。
– 聚合函数参数的类型
示例
CREATE TABLE t
(
column1 AggregateFunction(uniq, UInt64),
column2 AggregateFunction(anyIf, String, UInt8),
column3 AggregateFunction(quantiles(0.5, 0.9), UInt64)
) ENGINE = ...
15、Tuple(T1, T2, …)
元组，其中每个元素都有单独的类型。
不能在表中存储元组（除了内存表）。它们可以用于临时列分组。在查询中，IN 表达式和带特定参数的 lambda 函数可以来对临时列进行分组。
元组可以是查询的结果。在这种情况下，对于JSON以外的文本格式，括号中的值是逗号分隔的。在JSON格式中，元组作为数组输出（在方括号中）。
创建元组
可以使用函数来创建元组：tuple(T1, T2, …)
创建元组的示例：
:) SELECT tuple(1,'a') AS x, toTypeName(x)
SELECT
(1, 'a') AS x,
toTypeName(x)
┌─x───────┬─toTypeName(tuple(1, 'a'))─┐
│ (1,'a') │ Tuple(UInt8, String) │
└─────────┴───────────────────────────┘
1 rows in set. Elapsed: 0.021 sec.
16、Nullable(TypeName)
允许用特殊标记 (NULL) 表示”缺失值”，可以与 TypeName 的正常值存放一起。例如，Nullable(Int8) 类型的列可以存储 Int8 类型值，而没有值的行将存储 NULL。
对于TypeName，不能使用复合数据类型 Array 和 Tuple。复合数据类型可以包含 Nullable 类型值，例如Array(Nullable(Int8))。
Nullable 类型字段不能包含在表索引中。
除非在 ClickHouse 服务器配置中另有说明，否则 NULL 是任何 Nullable 类型的默认值。
用法示例
CREATE TABLE t_null(x Int8, y Nullable(Int8)) ENGINE TinyLog
INSERT INTO t_null VALUES (1, NULL), (2, 3)
SELECT x + y FROM t_null
┌─plus(x, y)─┐
│ ᴺᵁᴸᴸ │
│ 5 │
└────────────┘
17、Nested(Name1 Type1, Name2 Type2, …)
嵌套数据结构类似于嵌套表。嵌套数据结构的参数（列名和类型）与 CREATE 查询类似。每个表可以包含任意多行嵌套数据结构。
示例:
CREATE TABLE test.visits
(
CounterID UInt32,
StartDate Date,
Sign Int8,
IsNew UInt8,
VisitID UInt64,
UserID UInt64,
...
Goals Nested
(
ID UInt32,
Serial UInt32,
EventTime DateTime,
Price Int64,
OrderID String,
CurrencyID UInt32
),
...
) ENGINE = CollapsingMergeTree(StartDate, intHash32(UserID), (CounterID, StartDate, intHash32(UserID), VisitID), 8192, Sign)
使用
SELECT
Goals.ID,
Goals.EventTime
FROM test.visits
WHERE CounterID = 101500 AND length(Goals.ID) < 5
LIMIT 10
17、LowCardinality
把其它数据类型转变为字典编码类型。
描述
LowCardinality 是一种改变数据存储和数据处理方法的概念。 ClickHouse会把LowCardinality所在的列进行字典。对很多应用来说，处理字典编码的数据可以显著的增加SELECT查询速度。
使用 LowCarditality 数据类型的效率依赖于数据的多样性。如果一个字典包含少于10000个不同的值，那么ClickHouse可以进行更高效的数据存储和处理。反之如果字典多于10000，效率会表现的更差。
当使用字符类型的时候，可以考虑使用 LowCardinality 代替Enum。 LowCardinality 通常更加灵活和高效。
语法
LowCardinality(data_type)
data_type 参数包含 String, FixedString, Date, DateTime，包括数字类型，但是Decimal除外。对一些数据类型来说，LowCardinality 并不高效
更多内容关注公众号
