Python常见的数据类型的底层实现

谁践踏了优雅 2023-02-16 12:03 17阅读 0赞

### 目录 ###

*   *   *  一体式结构与分离式结构的区别:
         *  list的基本实现技术
         *  dict的实现技术
         *   *   *  常见的哈希碰撞解决方法
         *  Python数据类型之set

数据类型决定数据在内存中所占用空间大小

### 一体式结构与分离式结构的区别: ###

如果增加元素超过了列表的最大存储量时,则需要新建一个数据区

*  一体式结构若想更换数据区,则要整体更改
 *  分离式结构则只需要更改表信息区中的数据区链接地址即可，顺序表对象不变

### list的基本实现技术 ###

Python标准类型list就是一种元素个数可变的线性表，可以加入和删除元素，并在各种操作中维持已有元素的顺序（即保序），而且还具有以下行为特征：

1.  基于下标（位置）的高效元素访问和更新，时间复杂度应该是O(1)；
2.  采用顺序表技术，表中元素保存在一块连续的存储区中。
3.  允许任意加入元素，而且在不断加入元素的过程中，表对象的标识（函数id得到的值）不变。
4.  必须能更换元素存储区，并且为保证更换存储区时list对象的标识id不变，只能采用分离式实现技术。

在Python的官方实现中，list就是一种采用分离式技术实现的动态顺序表(允许存储区扩充的顺序表)。这就是为什么用list.append(x) ，即尾部插入）比在指定位置插入元素效率高的原因。

list实现采用了如下的策略：在建立空表（或者很小的表）时，系统分配一块能容纳8个元素的存储区；在执行插入操作（insert或append）时，如果元素存储区满就换一块4倍大的存储区。但如果此时的表已经很大（目前的阀值为50000），则改变策略，采用加一倍的方法。引入这种改变策略的方式，是为了避免出现过多空闲的存储位置。

python数据结构的例子

> list和tuple两种类型采用了顺序表的实现技术  
> list是采用分离式结构,元素外置形式,倍数扩充的顺序表

### dict的实现技术 ###

字典是通过散列表(哈希表)实现的。

字典也被称为关联数组，还称为哈希数组等。也就是说，字典也是一个数组，但数组的索引是键经过哈希函数处理后得到的散列值。

哈希函数的目的是使键均匀地分布在数组中，并且可以在内存中以O(1)的时间复杂度进行寻址，从而实现快速查找和修改。

哈希表中哈希函数的设计困难在于将数据均匀分布在哈希表中，从而尽量减少哈希碰撞和冲突。由于不同的键可能具有相同的哈希值，即可能出现冲突。

python中，使用伪随机探测(pseudo-random probing)的散列表(hash table)作为字典的底层数据结构。因此，只有可哈希的对象才能作为字典的键。可变类型（如列表，字典和集合）就是不可哈希的，因此不能作为字典的键。

##### 常见的哈希碰撞解决方法 #####

1.  开放寻址法（open addressing）：  
    开放寻址法中，所有的元素都存放在散列表里，当产生哈希冲突时，通过一个探测函数计算出下一个候选位置，如果下一个获选位置还是有冲突，那么不断通过探测函数往下找，直到找个一个空槽来存放待插入元素。

开放地址的意思是除了哈希函数得出的地址可用，当出现冲突的时候其他的地址也一样可用，常见的开放地址思想的方法有线性探测再散列，二次探测再散列等，这些方法都是在第一选择被占用的情况下的解决方法。

1.  再哈希法：  
    这个方法是按顺序规定多个哈希函数，每次查询的时候按顺序调用哈希函数，调用到第一个为空的时候返回不存在，调用到此键的时候返回其值。