golang使用json格式实现增删查改的实现示例

2024-11-29 06:51:12

需求和思路

在一般的小项目或者一个小软件,例如客户端之类的小程序中,可能会需要数据的持久化.但是使用一般的数据库(Mysql)之类的不合适.使用sqlite3这种嵌入式的是个较好的方法,但是Go语言中sqlite3的库是C语言的,Cgo不支持跨平台编译.正是由于这种需求,才想到使用json格式将数据直接保存在文件中.
具体的思路是怎么样呢? 在Go语言中如果要将数据转化成json格式的话,有两种格式 struct 和 map. 如果同时需要增删查改功能的话,将map作为中间格式是比较合适的.接下来我们就来实现它.

查询操作

这种操作的实现比较简单,直接将文件中的数据读取出来,使用json库反序列化就可以了. 代码如下 :

type Product struct {
  Name string `json:"name"`
  Num int  `json:"num"`
}

func findAll() {
  ps := make([]Product, 0)

  data, err := ioutil.ReadFile("./index.json")
  if err != nil {
    log.Fatal(err)
  }

  // 这里参数要指定为变量的地址
  err = json.Unmarshal(data, &ps)
  if err != nil {
    log.Fatal(err)
  }

  fmt.Println(ps)
}

添加操作

添加的实现实在查询的基础上的,我们需要先查询文件中的数据库,并转化为map格式,再将struct也转化为map格式(这里要使用反射),合并map,json序列化,最后保存在文件中.代码如下:

func create() {
  fields := make([]map[string]interface{}, 0)

  p1 := &Product{
    Name: "Blog",
    Num: 2,
  }

  _, _ = json.Marshal(p1)
  // 读取文件中的数据,保存为map格式
  data, _ := ioutil.ReadFile("./index.json")
  err := json.Unmarshal(data, &fields)
  if err != nil {
    log.Fatal(err)
  }

  // 使用反射将struct转化为map
  tp := reflect.TypeOf(p1).Elem()
  vp := reflect.ValueOf(p1).Elem()
  field := make(map[string]interface{}, 0)
  for i := 0; i < tp.NumField(); i++ {
    field1 := tp.Field(i)
    field2 := vp.Field(i)
    key := field1.Tag.Get("json")
    field[key] = field2.Interface()
  }
  // 合并map
  fields = append(fields, field)

  // 写入文件
  out, _ := json.Marshal(fields)
  _ = ioutil.WriteFile("./index.json", out, 0755)
}

条件查询

思路: 将struct转化为map,根据输入的条件查询.查询的结果转化为struct.代码如下:

func FindOne() {
  product := &Product{}

  p1 := &Product{
    Name: "John",
    Num: 23,
  }

  // 使用反射将struct转化为map
  tp := reflect.TypeOf(p1).Elem()
  vp := reflect.ValueOf(p1).Elem()
  field := make(map[string]interface{}, 0)
  for i := 0; i < tp.NumField(); i++ {
    field1 := tp.Field(i)
    field2 := vp.Field(i)
    key := field1.Tag.Get("json")
    switch field2.Kind() {
    case reflect.Int:
      field[key] = float64(field2.Interface().(int))
    case reflect.Int8:
      field[key] = float64(field2.Interface().(int8))
    case reflect.Int16:
      field[key] = float64(field2.Interface().(int16))
    case reflect.Int32:
      field[key] = float64(field2.Interface().(int32))
    case reflect.Int64:
      field[key] = float64(field2.Interface().(int64))
    case reflect.Uint:
      field[key] = float64(field2.Interface().(uint))
    case reflect.Uint8:
      field[key] = float64(field2.Interface().(uint8))
    case reflect.Uint16:
      field[key] = float64(field2.Interface().(uint16))
    case reflect.Uint32:
      field[key] = float64(field2.Interface().(uint32))
    case reflect.Uint64:
      field[key] = float64(field2.Interface().(uint64))
    case reflect.Float32:
      field[key] = float64(field2.Interface().(float32))
    case reflect.Float64:
      field[key] = field2.Interface()
    default:
      field[key] = field2.Interface()
    }
  }

  _, _ = json.Marshal(p1)
  // 读取文件中的数据,保存为map格式
  // 数据转化为map时,数值类型的统一变成float64
  data, _ := ioutil.ReadFile("./index.json")
  fields := make([]map[string]interface{}, 0)
  err := json.Unmarshal(data, &fields)
  if err != nil {
    log.Fatal(err)
  }

  // 查询的条件
  columns := []string{"name", "num"}
  length := len(columns)
  for _, item := range fields {
    for i := 0; i < length; i++ {
      // 这里的比较需要改进
      if item[columns[i]] != field[columns[i]] {
        break
      }
      if i == length-1 {
        field = item
        goto OVER
      }
    }
  }
OVER:
  fmt.Println(field)

  out, _ := json.Marshal(field)
  _ = json.Unmarshal(out, &product)

  fmt.Println(product)
}

修改操作

修改操作在查询操作的基础上实现, 修改操作需要有一个id值,能确定元素的唯一性.代码如下:

func Update() {
  p1 := &Product{
    Id:  "2bbec87025968879c3c9682abe3bf730",
    Name: "John_e",
    Num: 100,
  }

  // 使用反射将struct转化为map
  tp := reflect.TypeOf(p1).Elem()
  vp := reflect.ValueOf(p1).Elem()
  field := make(map[string]interface{}, 0)
  for i := 0; i < tp.NumField(); i++ {
    field1 := tp.Field(i)
    field2 := vp.Field(i)
    key := field1.Tag.Get("json")
    switch field2.Kind() {
    case reflect.Int:
      field[key] = float64(field2.Interface().(int))
    case reflect.Int8:
      field[key] = float64(field2.Interface().(int8))
    case reflect.Int16:
      field[key] = float64(field2.Interface().(int16))
    case reflect.Int32:
      field[key] = float64(field2.Interface().(int32))
    case reflect.Int64:
      field[key] = float64(field2.Interface().(int64))
    case reflect.Uint:
      field[key] = float64(field2.Interface().(uint))
    case reflect.Uint8:
      field[key] = float64(field2.Interface().(uint8))
    case reflect.Uint16:
      field[key] = float64(field2.Interface().(uint16))
    case reflect.Uint32:
      field[key] = float64(field2.Interface().(uint32))
    case reflect.Uint64:
      field[key] = float64(field2.Interface().(uint64))
    case reflect.Float32:
      field[key] = float64(field2.Interface().(float32))
    case reflect.Float64:
      field[key] = field2.Interface()
    default:
      field[key] = field2.Interface()
    }
  }

  _, _ = json.Marshal(p1)
  // 读取文件中的数据,保存为map格式
  // 数据转化为map时,数值类型的统一变成float64
  data, _ := ioutil.ReadFile("./index.json")
  fields := make([]map[string]interface{}, 0)
  err := json.Unmarshal(data, &fields)
  if err != nil {
    log.Fatal(err)
  }

  // 修改的条件
  columns := []string{"name", "num"}
  for _, v := range fields {
    if v["_id"] == field["_id"] {
      for _, col := range columns {
        v[col] = field[col]
      }
      field = v
    }
  }

  out, _ := json.MarshalIndent(fields, "", " ")
  _ = ioutil.WriteFile("./index.json", out, 0755)
}

删除操作

最后就是删除操作了,这个比较思路简单,输入唯一的id值,删除对应的字段,再保存到文件就可以了.代码如下:

func Delete() {
  p1 := &Product{
    Id:  "db43fa2d4f69cddce7494941cb36032b",
    Name: "John_e",
    Num: 100,
  }

  _, _ = json.Marshal(p1)
  // 读取文件中的数据,保存为map格式
  // 数据转化为map时,数值类型的统一变成float64
  data, _ := ioutil.ReadFile("./index.json")
  fields := make([]map[string]interface{}, 0)
  err := json.Unmarshal(data, &fields)
  if err != nil {
    log.Fatal(err)
  }

  length := len(fields)
  for index, field := range fields {
    if field["_id"] == p1.Id {
      if index == length - 1 {
        fields = fields[0:index]
      } else {
        fields = append(fields[0:index], fields[index+1:]...)
      }
    }
  }

  out, _ := json.MarshalIndent(fields, "", " ")
  _ = ioutil.WriteFile("./index.json", out, 0755)
}

完整版

最后在附上完整版代码：

package store

import (
  "bytes"
  "crypto/md5"
  "encoding/json"
  "errors"
  "fmt"
  "io/ioutil"
  "os"
  "path/filepath"
  "reflect"
  "strings"
  "time"
)

type Store struct {
  Dir string
}

func NewStore(dir string) (*Store, error) {

  // .开头的为相对路径,补全为全路径
  if strings.HasPrefix(dir, ".") {
    pwd, _ := os.Getwd()
    dir = filepath.Join(pwd, dir)
  }
  store := &Store{Dir: dir}

  st, err := os.Stat(dir)
  if err != nil {
    err = os.Mkdir(dir, 0755)
    if err != nil {
      return nil, err
    }
  } else if st != nil && !st.IsDir() {
    return nil, errors.New("file already exists")
  }

  return store, nil
}

// 创建与结构体对应的json文件
func (s *Store) Sync(values ...interface{}) error {
  for _, v := range values {
    tb := parseTn(v)
    if tb == "" {
      return errors.New("does not find store")
    }
    _path := filepath.Join(s.Dir, tb)
    _, err := os.Stat(_path)
    if err != nil {
      _ = ioutil.WriteFile(_path, []byte("[]"), 0755)
    }
  }
  return nil
}

// 删除所有
func (s *Store) Destroy() error {
  return os.RemoveAll(s.Dir)
}

func (s *Store) FindAll(v interface{}) error {

  _path, err := s.before(v)
  if err != nil {
    return err
  }

  out, err := s.readAll(_path)
  if err != nil {
    return err
  }
  err = json.Unmarshal(out, &v)
  return err
}

func (s *Store) FindOne(v interface{}, columns ...string) (interface{}, error) {

  _path, err := s.before(v)
  if err != nil {
    return nil, err
  }

  data, err := s.readAll(_path)
  if err != nil {
    return nil, err
  }

  fields := make([]map[string]interface{}, 0)
  err = json.Unmarshal(data, &fields)
  if err != nil {
    return nil, err
  }

  m := structToMap(v)
  length := len(columns)
  for _, item := range fields {
    for i := 0; i < length; i++ {
      // TODO 这里的比较需要改进
      if item[columns[i]] != m[columns[i]] {
        break
      }
      if i == length-1 {
        m = item
        goto OVER
      }
    }
  }
OVER:

  err = mapToStruct(m, &v)
  if err != nil {
    return nil, err
  }

  return v, nil
}

func (s *Store) Create(v interface{}) error {

  _path, err := s.before(v)
  if err != nil {
    return err
  }

  data, err := s.readAll(_path)
  if err != nil {
    return err
  }

  fields := make([]map[string]interface{}, 0)
  err = json.Unmarshal(data, &fields)
  if err != nil {
    return err
  }

  m := structToMap(v)
  m["_id"] = randId()

  fields = append(fields, m)

  err = s.writeAll(_path, fields)
  if err != nil {
    return err
  }

  err = mapToStruct(m, v)
  if err != nil {
    return err
  }

  return nil
}

func (s *Store) Update(v interface{}, columns ...string) error {

  _path, err := s.before(v)
  if err != nil {
    return err
  }

  data, err := s.readAll(_path)
  if err != nil {
    return err
  }

  fields := make([]map[string]interface{}, 0)
  err = json.Unmarshal(data, &fields)
  if err != nil {
    return err
  }

  m := structToMap(v)
  for _, v := range fields {
    if v["_id"] == m["_id"] {
      for _, col := range columns {
        v[col] = m[col]
      }
      m = v
    }
  }

  err = s.writeAll(_path, fields)
  if err != nil {
    return err
  }

  return nil
}

func (s *Store) Delete(v interface{}) error {

  _path, err := s.before(v)
  if err != nil {
    return err
  }

  data, err := s.readAll(_path)
  if err != nil {
    return err
  }

  fields := make([]map[string]interface{}, 0)
  err = json.Unmarshal(data, &fields)
  if err != nil {
    return err
  }

  m := structToMap(v)
  length := len(fields)
  for index, field := range fields {
    if field["_id"] == m["_id"] {
      if index == length-1 {
        fields = fields[0:index]
      } else {
        fields = append(fields[0:index], fields[index+1:]...)
      }
    }
  }

  err = s.writeAll(_path, fields)
  if err != nil {
    return err
  }

  return nil
}

func (s *Store) Clean(v interface{}) error {
  _path, err := s.before(v)
  if err != nil {
    return err
  }

  return os.Remove(_path)
}

func (s *Store) readAll(file string) ([]byte, error) {
  out, err := ioutil.ReadFile(file)
  if err != nil {
    return nil, err
  }
  return out, nil
}

func (s *Store) writeAll(file string, v interface{}) error {
  out, err := json.MarshalIndent(v, "", " ")
  if err != nil {
    return err
  }

  err = ioutil.WriteFile(file, out, 0755)
  if err != nil {
    return err
  }

  return nil
}

func (s *Store) before(v interface{}) (string, error) {
  tb := parseTn(v)
  if tb == "" {
    return "", errors.New("invalid table name")
  }

  _path := filepath.Join(s.Dir, tb)
  _, err := os.Stat(_path)
  if err != nil {
    return "", err
  }

  return _path, nil
}

func structToMap(v interface{}) map[string]interface{} {
  tp := reflect.TypeOf(v).Elem()
  vp := reflect.ValueOf(v).Elem()
  field := make(map[string]interface{}, 0)
  for i := 0; i < tp.NumField(); i++ {
    field1 := tp.Field(i)
    field2 := vp.Field(i)
    key := field1.Tag.Get("json")
    field[key] = field2.Interface()
    switch field2.Kind() {
    case reflect.Int:
      field[key] = float64(field2.Interface().(int))
    case reflect.Int8:
      field[key] = float64(field2.Interface().(int8))
    case reflect.Int16:
      field[key] = float64(field2.Interface().(int16))
    case reflect.Int32:
      field[key] = float64(field2.Interface().(int32))
    case reflect.Int64:
      field[key] = float64(field2.Interface().(int64))
    case reflect.Uint:
      field[key] = float64(field2.Interface().(uint))
    case reflect.Uint8:
      field[key] = float64(field2.Interface().(uint8))
    case reflect.Uint16:
      field[key] = float64(field2.Interface().(uint16))
    case reflect.Uint32:
      field[key] = float64(field2.Interface().(uint32))
    case reflect.Uint64:
      field[key] = float64(field2.Interface().(uint64))
    case reflect.Float32:
      field[key] = float64(field2.Interface().(float32))
    case reflect.Float64:
      field[key] = field2.Interface()
    default:
      field[key] = field2.Interface()
    }
  }

  return field
}

func mapToStruct(m map[string]interface{}, v interface{}) error {
  out, err := json.Marshal(m)
  if err != nil {
    return err
  }
  return json.Unmarshal(out, &v)
}

func toSnake(s string) string {
  out := bytes.Buffer{}

  bName := []byte(s)

  point := 0
  for index, b := range bName {
    // 非大写,不需要转化
    if b < 65 || b > 90 || index-point < 2 {
      out.WriteByte(b)
      continue
    }
    // 首字符大写,直接转化为小写
    if index == 0 {
      out.WriteByte(b + 32)
      point = index
    }
    // 连续三个大写,触发转化
    if index-point >= 2 {
      out.WriteByte(95)
      out.WriteByte(b + 32)
      point = index
    }
  }

  return out.String()
}

func parseTn(v interface{}) string {
  var name string

  tp := reflect.TypeOf(v).Elem()
  switch tp.Kind() {
  case reflect.Ptr:
    sp := strings.Split(tp.String(), ".")
    name = sp[len(sp)-1]
  case reflect.Slice:
    sp := strings.Split(tp.String(), ".")
    name = sp[len(sp)-1]
  case reflect.Struct:
    name = tp.Name()
  }
  name = toSnake(name)
  return name + ".json"
}

func randId() string {
  return fmt.Sprintf("%x", md5.Sum([]byte(time.Now().String())))
}

到此这篇关于golang使用json格式实现增删查改的实现示例的文章就介绍到这了,更多相关golang json增删查改内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

golang结构体与json格式串实例代码

具体代码如下所示: package main import ( "encoding/json" "fmt" ) type IT struct { //一定要注意这里的成员变量的名字首字母必须是大写 Company string Subjects []string Isok bool Price float64 } func main() { s := IT{"zyg", []string{"go", "python&
golang中json反序列化可能遇到的问题

前言在golang中,当浮点数超过一定数值的时候,golang会把它弄成科学计数法的形式进行显示(好像只要大于七位数就变成科学计数法了) var val float64 val = 1000000 fmt.Println(val) // ==> 1e+06 而在日常开发中,我们经常遇到这样一个问题,就是要反序列化前端传递来的json,因为数据结构未知,所以我们便会使用map[string]interface{}来接收反序列化的结果.由于golang将json解析到interface{}类型的时
golang如何自定义json序列化应用详解

前言 Go语言作为一个由Google开发,号称互联网的C语言的语言,自然也对JSON格式支持很好.下面这篇文章主要介绍了关于golang自定义json序列化应用的相关内容,下面话不多说了,来一起看看详细的介绍吧问题引入当某个struct存在某个字段为string或者[]byte类型但是实际上保存的内容是json格式的数据时,对其进行json序列化,比如 type Message struct { From string `json:"from"` To string `json:&
golang json.Marshal 特殊html字符被转义的解决方法

go语言提供了json的编解码包,json字符串作为参数值传输时发现,json.Marshal生成json特殊字符<.>.&会被转义. type Test struct { Content string } func main() { t := new(Test) t.Content = "http://www.baidu.com?id=123&test=1" jsonByte, _ := json.Marshal(t) fmt.Println(string
Golang JSON的进阶用法实例讲解

痛点 json 是当前最常用的数据传输格式之一,纯文本,容易使用,方便阅读,在通信过程中大量被使用. 你是否遇到过json中某个字段填入某种类型都适合而陷入两难境地? (例如:定义了一个port字段,你却不知道是填入 8080 ,还是 "8080" 的尴尬局面) 你是否遇到过json反解析报错是因为填入字段的类型不匹配导致的?例如: json: cannot unmarshal number into Go struct field Host.port of type string 你
利用Golang解析json数据的方法示例

本文主要给大家介绍的是关于Golang解析json数据的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 使用 Golang 解析 json 数据,这种 json 格式是对象的数组,官方文档有一个示例: var jsonBlob = []byte(`[ {"Name": "Platypus", "Order": "Monotremata"}, {"Name": "Quoll
golang json性能分析详解

前言众所周知Json 作为一种重要的数据格式,具有良好的可读性以及自描述性,广泛地应用在各种数据传输场景中.Go 语言里面原生支持了这种数据格式的序列化以及反序列化,内部使用反射机制实现,性能有点差,在高度依赖 json 解析的应用里,往往会成为性能瓶颈,好在已有很多第三方库帮我们解决了这个问题,但是这么多库,对于像我这种有选择困难症的人来说,到底要怎么选择呢,下面就给大家来一一分析一下 ffjson go get -u github.com/pquerna/ffjson 原生的库性能比较差的
Golang map如何生成有序的json数据详解

前言本文主要给大家介绍了关于Golang map生成有序json数据的相关内容,分享出来供大家参考学习,下面来一起看看详细的介绍: 先来看一段 Golang 生成 json 的代码,首先定义了一个 map[string]interface{} 的变量,然后存一些值,这里要注意的是 previews 字段,为了浏览器获取到的 json 数据是有序的,所以定义了一个 map[int]map[string]string 的类型,加上了一个表示顺序的键: list := make(map[strin
golang实现sql结果集以json格式输出的方法

本文实例讲述了golang实现sql结果集以json格式输出的方法.分享给大家供大家参考,具体如下: 复制代码代码如下: func getJSON(sqlString string) (string, error) { stmt, err := db.Prepare(sqlString) if err != nil { return nil, err } defer stmt.Close() rows, err := stmt.Query
Golang中使用JSON的一些小技巧分享

前言有的时候上游传过来的字段是string类型的,但是我们却想用变成数字来使用. 本来用一个json:",string" 就可以支持了,如果不知道golang的这些小技巧,就要大费周章了. 参考文章: JSON and struct composition in Go 临时忽略struct字段 type User struct { Email string `json:"email"` Password string `json:"password&qu
golang如何修改json文件内容的方法示例

使用一个例子说明golang如何访问和修改json文件:主要分三步: 从文件读入json串把json串转变成golang对象遍历或者修改json值写回文件假定用户输入json串为: { "user": { "mspid": "admin", "email": "admin@domain.com" }, "nodes": [ { "name": "no
Golang 如何解析和生成json

JSON(Javascript Object Notation)是一种轻量级的数据交换语言,以文字为基础,具有自我描述性且易于让人阅读.尽管JSON是JavaScript的一个子集,但JSON是独立于语言的文本格式,并且采用了类似于C语言家族的一些习惯.JSON与XML最大的不同在于XML是一个完整的标记语言,而JSON不是.JSON由于比XML更小.更快,更易解析,以及浏览器的內建快速解析支持,使得其更适用于网络数据传输领域. Golang自带的JSON解析库encoding/json,可以用

golang使用json格式实现增删查改的实现示例

相关推荐

随机推荐