最近在做一个日志存储的业务，这个日志的每一份数据都是一个一万三千行的复杂json格式。 我需要抓取json内部不同level的有效信息然后将他们编成一张表table存储起来。
这自然而然就想到了用python pandas存储table。 1） Json content to Pandas f=open(FILE_PATH) dta=json.load(f)
df = pd.json_normalize(data[‘json_key’])
2) Update column value #e.g: change rejected in status col to ‘failed’ df.loc[df[‘status’] ==’rejected’, ‘status’] = ‘failed’
3)Filter rows #filter out empty steps df_nested_list=df[df[‘environment_deploySteps’].apply(lambda x: len(x)>0)]
4)expand list to new row: https://stackoverflow.com/questions/39011511/pandas-expand-rows-from-list-data-available-in-column
explode_df=df_nested_list.explode(‘environment_deploySteps’).reset_index(drop=True)
