【Azure Developer】分享两段Python代码处理表格(CSV格式)数据 : 根据每列的内容生成SQL语句

问题描述

在处理一个数据收集工作任务上，收集到的数据内容格式都不能直接对应到数据库中的表格内容。

 

比如：

第一种情况：服务名作为第一列内容，然后之后每一列为一个人名，1：代表此人拥有这个服务，0：代表不拥有。 

第二种情况：服务名称为第一列，第二列紧跟人名，并均有重复的情况。

** 以上两种情况，都需要转换为 Name所对应的Services数据（多个Services用逗号连接在一起)。

 

由于数据量大，如果人工处理，工作量非常巨大，机械性，重复且易出错。于是，借助Python Pandas，短短几句代码就可以实现！

 

问题解答

1： 通过引入 pandas 组件，读取CSV文件

import pandas as pd

 

df = pd.read_csv('service.csv')

2：第一种情况：使用双层 for 循环

• 第一层循环文件中的全部列，并且增加一个“行索引” rowIdx ，用于标记并获取当前行所代表的Service名称
• 第二层循环列中的每一个单元格，判断值是否等于1，相等则取出Service名并进行追加
• 第二层循环完成后，对 services 字符串的最后一个逗号进行清除
• 根据固定格式，正常UPDATE SQL语句

for column in df.columns:      services =""     rowIdx =0      for value in df[column]:         if value ==1.0:             services += df['Services'][rowIdx] + ","                        rowIdx += 1      services = services.rstrip(",")          print(f"UPDATE [dbo].[NameServiceMapping] SET Services='{services}' WHERE NAME ='{column}'")     print("n")

 

3：第二种情况：使用一个 For 加 字典数据结构 {} 

• 读取第二列 Name， 作为字典 d 的Key
• 判断字典 d 中是否已经存在这个Name的Key, 使用 __contains__ 进行判断
  • 如存在，则追加第一列中的Service。
  • 反之，则为字典新加一个Key。
• 最后循环字典 d, 并生成 UPDATE SQL语句

d = {}  rowindex =0 for name in df['Name']:     if(d.__contains__(name)):         d[name] = d[name] + ","+df['Services'][rowindex]     else:         d[name] = df['Services'][rowindex]     rowindex +=1  for key in d:     print(f"UPDATE [dbo].[NameServiceMapping] SET Services='{d[key]}' WHERE NAME ='{key}'")     print("n")

 

3：执行结果

第一种结果：

 

第二种结果：

 

 

参考资料

Python 字典(Dictionary)：https://www.runoob.com/python/python-dictionary.html