CSV转Json实验日志: 设定表格转游戏数据 (新增excel转换) - Project1

const fs = require("fs");
const path = require("path");
const _ = require("lodash");
 
const parseCol = (name, col) => {
  const list = col.split(";").filter(Boolean);
  const head = _.head(list);
  if (["id", "name", "note"].includes(name)) return col;
  if (/^.+:.+$/.test(head)) {
    return list.map((item) => {
      const pairs = item.split(":");
      return {
        name: pairs[0],
        note: pairs[1],
      };
    });
  } else if (/^.+[(].+[)]$/.test(head)) {
    return list.map((item) => {
      const [_, id, params] = item.match(/^(.+)[(](.+[,]?)+[)]$/);
      return {
        id,
        params: params.split(","),
      };
    });
  } else if (/^\[.+\]$/.test(col)) {
    return col.split(",");
  }
  return col;
};
const parseFile = async (src, dst, filename) => {
  const data = await fs.promises.readFile(path.resolve(src, filename), "utf-8");
  const lines = data.split("\r\n").map((item) => {
    let flag = true;
    const list = [0];
    const subStrings = [];
    item.split("").forEach((v, i) => {
      if (v === '"') return (flag = !flag);
      if (v === "," && flag) {
        list.push(i);
        subStrings.push(item.substring(list[0], list[1]).replace(/^["](.*)["]$/, "$1"));
        list.shift();
        list[0] += 1;
      }
    });
    subStrings.push(item.substring(list[0]).replace(/^["](.*)["]$/, "$1"));
    return subStrings;
  });
  const head = lines.shift();
  const obj = lines.map((line) => _.fromPairs(line.map((col, index) => [head[index], parseCol(head[index], col)])));
  await fs.promises.writeFile(path.resolve(dst, filename.replace(/csv$/, "json")), JSON.stringify(obj));
};
 
// 程序入口, 将src文件夹下的所有文件转化为json格式(不要放其他类型的文件和文件夹进去)
const src = "./data/Cards/CSV";
const dst = "./data/Cards/JSON";
const filenames = fs.readdirSync(src, "utf-8");
filenames.forEach((item) => {
  parseFile(src, dst, item);
});

const fs = require("fs");


const path = require("path");


const _ = require("lodash");


 


const parseCol = (name, col) => {


  const list = col.split(";").filter(Boolean);


  const head = _.head(list);


  if (["id", "name", "note"].includes(name)) return col;


  if (/^.+:.+$/.test(head)) {


    return list.map((item) => {


      const pairs = item.split(":");


      return {


        name: pairs[0],


        note: pairs[1],


      };


    });


  } else if (/^.+[(].+[)]$/.test(head)) {


    return list.map((item) => {


      const [_, id, params] = item.match(/^(.+)[(](.+[,]?)+[)]$/);


      return {


        id,


        params: params.split(","),


      };


    });


  } else if (/^\[.+\]$/.test(col)) {


    return col.split(",");


  }


  return col;


};


const parseFile = async (src, dst, filename) => {


  const data = await fs.promises.readFile(path.resolve(src, filename), "utf-8");


  const lines = data.split("\r\n").map((item) => {


    let flag = true;


    const list = [0];


    const subStrings = [];


    item.split("").forEach((v, i) => {


      if (v === '"') return (flag = !flag);


      if (v === "," && flag) {


        list.push(i);


        subStrings.push(item.substring(list[0], list[1]).replace(/^["](.*)["]$/, "$1"));


        list.shift();


        list[0] += 1;


      }


    });


    subStrings.push(item.substring(list[0]).replace(/^["](.*)["]$/, "$1"));


    return subStrings;


  });


  const head = lines.shift();


  const obj = lines.map((line) => _.fromPairs(line.map((col, index) => [head[index], parseCol(head[index], col)])));


  await fs.promises.writeFile(path.resolve(dst, filename.replace(/csv$/, "json")), JSON.stringify(obj));


};


 


// 程序入口, 将src文件夹下的所有文件转化为json格式(不要放其他类型的文件和文件夹进去)


const src = "./data/Cards/CSV";


const dst = "./data/Cards/JSON";


const filenames = fs.readdirSync(src, "utf-8");


filenames.forEach((item) => {


  parseFile(src, dst, item);


});

import pandas as pd
import numpy as np
import json
import re
 
excel_path = 'data/Cards/Excel/cards.xlsx'
json_path = 'data/Cards/JSON/'
 
 
def parseCol(col):
    partterns = {
        'func': {
            'pattern': r'(.+?)[(](.*?)[)];?',
            'method': lambda matches: [
                {
                    'name': x[0],
                    'params': [*[y for y in x[1].split(',') if y is not '']]
                }
                for x in matches
            ]
        },
        'params': {
          'pattern': r'([^;]+?)[:]([^;]+)[;]?',
          'method': lambda matches: [
                {
                    'name': x[0],
                    'note': x[1]
                }
                for x in matches
          ]
        }
    }
    for v in partterns.values():
        matches = re.findall(pattern=v['pattern'], string=str(col))
        if len(matches):
            return v['method'](matches)
    return str(col)
 
 
sheets = pd.read_excel(excel_path, sheet_name=None)
sheet_names = list(sheets.keys())
 
for each in sheet_names:
    sheet = sheets[each]
    values = list(sheet.values.flatten())
    data = pd.DataFrame(
        np.array(list(map(parseCol, sheet.values.flatten())),
                 dtype="object").reshape(sheet.shape),
        columns=sheet.columns).to_dict(orient="record")
    with open(json_path + each + '.json', mode='w', encoding='utf-8') as file:
        json.dump(data, file, ensure_ascii=False)

import pandas as pd


import numpy as np


import json


import re


 


excel_path = 'data/Cards/Excel/cards.xlsx'


json_path = 'data/Cards/JSON/'


 


 


def parseCol(col):


    partterns = {


        'func': {


            'pattern': r'(.+?)[(](.*?)[)];?',


            'method': lambda matches: [


                {


                    'name': x[0],


                    'params': [*[y for y in x[1].split(',') if y is not '']]


                }


                for x in matches


            ]


        },


        'params': {


          'pattern': r'([^;]+?)[:]([^;]+)[;]?',


          'method': lambda matches: [


                {


                    'name': x[0],


                    'note': x[1]


                }


                for x in matches


          ]


        }


    }


    for v in partterns.values():


        matches = re.findall(pattern=v['pattern'], string=str(col))


        if len(matches):


            return v['method'](matches)


    return str(col)


 


 


sheets = pd.read_excel(excel_path, sheet_name=None)


sheet_names = list(sheets.keys())


 


for each in sheet_names:


    sheet = sheets[each]


    values = list(sheet.values.flatten())


    data = pd.DataFrame(


        np.array(list(map(parseCol, sheet.values.flatten())),


                 dtype="object").reshape(sheet.shape),


        columns=sheet.columns).to_dict(orient="record")


    with open(json_path + each + '.json', mode='w', encoding='utf-8') as file:


        json.dump(data, file, ensure_ascii=False)