数据集初识
1.在线加载数据集
代码：
importos# 设置环境变量，所有Hugging Face请求都会通过镜像站os.environ['HF_ENDPOINT']='https://hf-mirror.com'fromdatasetsimportload_dataset,load_from_disk#在线加载数据集datasets=load_dataset(path="lansinuote/ChnSentiCorp",cache_dir="data/")print(datasets)运行结果：
To support symlinks on Windows,you either need to activate Developer Modeorto run Pythonasan administrator.In order to activate developer mode,see this article:https://docs.microsoft.com/en-us/windows/apps/get-started/enable-your-device-for-development warnings.warn(message)Generating train split:100%|██████████|9600/9600[00:00<00:00,157051.44examples/s]Generating validation split:100%|██████████|1200/1200[00:00<00:00,280524.18examples/s]Generating test split:100%|██████████|1200/1200[00:00<00:00,344619.29examples/s]DatasetDict({train:Dataset({features:['text','label'],num_rows:9600})validation:Dataset({features:['text','label'],num_rows:1200})test:Dataset({features:['text','label'],num_rows:1200})})进程已结束，退出代码为0#### **加载统计**： |数据集划分 |样本数量 |加载速度 |用时 | |-------|------|----------|-----| |**训练集**|9,600条|157,051条/秒|<0.1秒| |**验证集**|1,200条|280,524条/秒|<0.1秒| |**测试集**|1,200条|344,619条/秒|<0.1秒|2.离线加载数据集
首先，将缓存数据保存到磁盘
# 2. 保存到磁盘save_path=r"D:\develop\pypro\LLM\LLMPro\01-大模型应用基础\data\chn_senti_corp_saved"datasets.save_to_disk(save_path)print(f"\n 数据集已保存到:{save_path}")其次，离线加载数据集，并输出train训练集数据
dataset=load_from_disk(r"D:\develop\pypro\LLM\LLMPro\01-大模型应用基础\data\chn_senti_corp_saved")forkindataset["train"]:print(k)训练集结果输出text和label两个特征量：
{'text':'这书我看他的丰面时就感觉它是给我一个希望的书,可一看和我的想反了.没什么帮助的.就是觉的失败','label':0}{'text':'内存数量配置偏低 内存插槽于掌托下，需拆卸安装，不方便 蓝牙模块采用软件控制','label':0}.........{'text':'虽是观景房,不过我住的楼层太低(19楼)看不到江景,但地点很好,离轻轨临江门站和较场口站(起点)很近,解放碑就在附近(大约100多公尺吧)!','label':1}{'text':'性价比不错，交通方便。行政楼层感觉很好，只是早上8点楼上装修，好吵。 中餐厅档次太低，虽然便宜，但是和酒店档次不相配。','label':1}{'text':'跟心灵鸡汤没什么本质区别嘛，至少我不喜欢这样读经典，把经典都解读成这样有点去中国化的味道了','label':0}进程已结束，退出代码为0
在这里数据集是.arrow格式的，一般我们自建的数据集是.csv格式的，加载代码如下：
dataset=load_dataset(r"D:\develop\pypro\LLM\LLMPro\01-大模型应用基础\data\mobile_test01.csv")如果想将.arrow格式的转换为.csv格式，可以试一试以下代码：
datasets.to_csv(path_or_buf=r"D:\develop\pypro\LLM\LLMPro\01-大模型应用基础\data\chn_senti_corp_saved.csv")