python unique
# 聊聊Python里的unique
在数据处理的时候，经常会遇到需要找出列表中不重复元素的情况。比如统计用户访问记录里的独立访客，或者分析商品销售数据里的不同品类。Python里处理这种需求，有个很实用的方法叫unique。
他是什么
unique并不是Python内置的一个独立函数，而是NumPy和pandas这些数据分析库里的功能。简单来说，unique就是从一个序列（比如列表、数组）中提取出所有不重复的值，并且按照一定的顺序排列返回。
这有点像整理抽屉里的袜子，把各种颜色款式的袜子都拿出来，每种只留一只，然后按颜色深浅排好。最后得到的就是一个没有重复的袜子集合。
他能做什么
unique的主要作用就是去重。但它的价值不仅仅在于去掉重复项，更重要的是能够帮我们快速了解数据的构成。
比如分析一家咖啡店一周的销售数据，每天都有很多订单，通过unique可以迅速知道这一周到底卖了多少种不同的饮品。或者处理用户注册信息时，用unique可以检查邮箱地址是否有重复注册的情况。
在数据清洗阶段，unique经常用来检查数据的唯一性约束。如果某个理论上应该唯一的字段（比如身份证号），经过unique处理后数量变少了，那就说明数据中存在重复记录，需要进一步处理。
怎么使用
在pandas里使用unique很简单。假设有个DataFrame存储着学生的考试成绩：
importpandasaspd data={'姓名':['张三','李四','王五','张三','赵六'],'科目':['数学','数学','英语','数学','英语'],'分数':[85,90,88,85,92]}df=pd.DataFrame(data)要查看有哪些不同的学生参加了考试，可以这样：
unique_names=df['姓名'].unique()print(unique_names)输出会是：[‘张三’ ‘李四’ ‘王五’ ‘赵六’]
注意张三只出现了一次，虽然数据里有两条张三的记录。
在NumPy里用法也类似：
importnumpyasnp arr=np.array([1,2,2,3,3,3,4])unique_values=np.unique(arr)得到的结果是[1 2 3 4]。
unique默认会返回排序后的结果，这个特性有时候很有用，但也要注意它消耗额外的计算资源。如果只是想去重而不关心顺序，可以考虑用set，不过set不保证顺序，而且返回的是集合类型。
最佳实践
使用unique时有些细节值得注意。首先是数据类型的问题，unique对数据类型比较敏感。字符串和数字混合的序列，或者包含NaN值的情况，处理起来需要小心。
比如有这样一个数组：[1, 2, ‘3’, 2, np.nan]，直接调用unique可能会得到意想不到的结果。通常的做法是先做类型转换或者处理缺失值。
另一个实践是结合value_counts一起使用。unique告诉你有哪些不同的值，value_counts告诉每个值出现了多少次。这两个方法经常搭档出现，能提供更完整的数据分布信息。
# 查看每个学生参加了几门考试name_counts=df['姓名'].value_counts()对于大数据集，unique的性能表现很重要。pandas的unique实现得比较高效，但如果是特别大的数据（比如上亿条），可能需要考虑分块处理或者使用更专门的数据结构。
还有个细节是，unique返回的是数组，如果需要保持原来的数据类型（比如pandas的Series），要注意后续处理。有时候人们会忘记这一点，导致一些类型相关的错误。
和同类技术对比
除了unique，Python里还有其他去重的方法。最直接的是用内置的set：
my_list=[1,2,2,3,3,3]unique_set=set(my_list)set的去重速度通常很快，但它不保持元素的顺序，也不保证返回的类型。unique会保持首次出现的顺序（在某些实现中），并且返回的是数组。
在pandas生态里，还有个drop_duplicates方法，它和unique有点像但用途不同。drop_duplicates是DataFrame或Series的方法，用于删除重复的行，而unique是提取不重复的值。如果只是要唯一值列表，用unique；如果要删除数据中的重复行，用drop_duplicates。
另一个相关的概念是唯一性约束，这在数据库设计和数据验证中很重要。unique方法可以用来检查数据是否满足唯一性约束，但它本身并不强制执行约束。
从实现角度看，unique的算法通常基于哈希表，这也是它效率较高的原因。不过具体实现可能因库的版本而异，了解底层原理有助于在特定场景下做出更好的选择。
实际工作中，选择哪种去重方法取决于具体需求。如果只是简单地去重且不关心顺序，set就够用了。如果需要保持顺序或者进行更复杂的数据分析，unique通常是更好的选择。在pandas的数据处理流程中，unique往往能更自然地融入整个数据处理链条。
去重看起来是个小操作，但在数据质量管理和分析中却很重要。好的数据清洗习惯往往体现在对这些细节的把握上。unique这样的工具用好了，能让数据分析工作更加顺畅。