解决Pymongo insert时会自动添加_id的问题

在使用pymongo时遇到了一个小坑:

在Flask框架中,将字典插入mongodb后再返回就报错

@app.route('xxxx')
def main():
 ...
 data = {
 'a':'a',
 'b':'b'
 }
 mycol.insert_one(data)
 return data
Traceback (most recent call last):
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2464, in __call__
 return self.wsgi_app(environ, start_response)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2450, in wsgi_app
 response = self.handle_exception(e)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1867, in handle_exception
 reraise(exc_type, exc_value, tb)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/_compat.py", line 39, in reraise
 raise value
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2447, in wsgi_app
 response = self.full_dispatch_request()
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1953, in full_dispatch_request
 return self.finalize_request(rv)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 1968, in finalize_request
 response = self.make_response(rv)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py", line 2112, in make_response
 rv = jsonify(rv)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 370, in jsonify
 dumps(data, indent=indent, separators=separators) + "\n",
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 211, in dumps
 rv = _json.dumps(obj, **kwargs)
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/__init__.py", line 412, in dumps
 **kw).encode(obj)
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 298, in encode
 chunks = list(chunks)
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 696, in _iterencode
 for chunk in _iterencode_dict(o, _current_indent_level):
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 652, in _iterencode_dict
 for chunk in chunks:
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 716, in _iterencode
 o = _default(o)
 File "/home/xiang/.local/lib/python3.6/site-packages/flask/json/__init__.py", line 100, in default
 return _json.JSONEncoder.default(self, o)
 File "/home/xiang/.local/lib/python3.6/site-packages/simplejson/encoder.py", line 273, in default
 o.__class__.__name__)
TypeError: Object of type ObjectId is not JSON serializable

这是由于pymongo在进行插入操作时,如果字典中没有‘_id',会自动添加‘_id',而它的值为ObjectId实例,flask在对返回值进行编码时无法编码ObjectId类型实例,所以报错,解决办法就是去掉‘_id'或者mycol.insert_one(data.copy())

补充知识:pymongo去重: 插入数据时,不存在则插入,存在则不执行

爬虫想把爬取的数据存入到mongoDB中, 这时候经常遇到的一个需求就是插入的数据已经存在数据库中, 因此插入前去重就是一个经常性的课题.

我的想法是:

如果数据库中已经存在这个数据, 那么就什么也不操作

如果数据不存在, 则插入这个数据

为了实现这个想法, 查了很多文献, 发现使用update 可以实现

下面就是我测试的代码

# 首先在数据中插入一条数据
document = {
  'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
  'c_name': 'Ken',
  'c_star': '5.0',
  'bought': None,
  'c_time': '2017年3月23日',
  'c_userful': 13,
  'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。'],
  'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
}
collection.insert(document)

通过mongoDB可视化工具查看数据库,发现数据已经存在

要实现如果不存在就插入,如果存在就不插入的要求,我们需要用到 update的一个参数:‘$setOnInsert'

$setOnInsert官方文档点击查看

通过阅读官方文档我们可以发现 与$setOnInsert方法想配合的最重要的参数就是 upsert:True

update源码中的upsert参数默认为False,只需要将update方法的upsert参数修改为True是否就能达到需要的效果呢?

现在我们执行相同数据的插入看看效果

# 首先需要限定一个重复的条件,比如我们想除了gmt_create参数以外,全部不一样就算不重复, 先限定一个条件
result_find = {
  'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
  'c_name': 'Ken',
  'c_star': '5.0',
  'bought': None,
  'c_time': '2017年3月23日',
  'c_userful': 13,
  'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので',
         '「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。']
}
# 执行 update
collection.update(
  result_find,
  {'$setOnInsert': document},
  upsert=True
)

执行完之后, 去数据库中查看,发现还是原来的那条数据, 并没有多出一条来, 说明可以实现 如果存在就不操作的要求

那么能实现 如果不存在就插入的要求吗?

我们去数据库可视化工具中 把数据库中的数据删除, 然后执行下面操作

document = {
  'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
  'c_name': 'Ken',
  'c_star': '5.0',
  'bought': None,
  'c_time': '2017年3月23日',
  'c_userful': 13,
  'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので', '「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。'],
  'gmt_create': datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
}

result_find = {
  'p_id': 'f75046d73a0c4bf88f0b7342e60722c4',
  'c_name': 'Ken',
  'c_star': '5.0',
  'bought': None,
  'c_time': '2017年3月23日',
  'c_userful': 13,
  'c_comment': ['4歳になるトイプードル用に購入。', '今までエサは床に食器直置きで与えていましたが、食後にむせていることがたびたび目撃されたので',
         '「もしかして食べづらいのでは?」と思い調べてみたところ、この商品にたどり着きました。', '足が長いので食事中は頭が完全に下に向いており、胃や足腰に負担がかかっていたと思われます。']
}

# collection.insert(document)
collection.update(
  result_find,
  {'$setOnInsert': document},
  upsert=True
)

然后我们发现数据中出现了我们想看到的这条数据

所以, 实现了我们的要求: 存在则不操作, 不存在则插入.

以上这篇解决Pymongo insert时会自动添加_id的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我们。

(0)

相关推荐

  • pymongo insert_many 批量插入的实例

    我就废话不多说了,大家还是直接看代码吧~ lt=client.fangjia.district_stat_all_0416 dl = dt.find(query) bf=[] for m in dl: bf.append(m) if len(bf)==20000: lt.insert_many(bf) bf=[] lt.insert_many(bf) 补充知识:Python操作Mongodb插入数据的两种方法:insert_one()与insert_many() 代码说明: 将mysql中tab

  • Python3中使用PyMongo的方法详解

    前言 本文主要给大家介绍的是关于在Python3使用PyMongo的方法,分享出来供大家参考学习,下面话不多说了,来一起看看详细介绍: MongoDB存储 在这里我们来看一下Python3下MongoDB的存储操作,在本节开始之前请确保你已经安装好了MongoDB并启动了其服务,另外安装好了Python的PyMongo库. 没有安装的朋友们可以参考这篇文章 连接MongoDB 连接MongoDB我们需要使用PyMongo库里面的MongoClient,一般来说传入MongoDB的IP及端口即可,

  • python使用pymongo操作mongo的完整步骤

    前言 MongoDB是由C++语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似JSON对象,它的字段值可以包含其他文档.数组及文档数组,非常灵活.在这一节中,我们就来看看Python 3下MongoDB的存储操作. 1. 准备工作 在开始之前,请确保已经安装好了MongoDB并启动了其服务,并且安装好了Python的PyMongo库. 2. 连接MongoDB 连接MongoDB时,我们需要使用PyMongo库里面的MongoClient.一般来说,传入Mo

  • 解决Pymongo insert时会自动添加_id的问题

    在使用pymongo时遇到了一个小坑: 在Flask框架中,将字典插入mongodb后再返回就报错 @app.route('xxxx') def main(): ... data = { 'a':'a', 'b':'b' } mycol.insert_one(data) return data Traceback (most recent call last): File "/home/xiang/.local/lib/python3.6/site-packages/flask/app.py&q

  • Django 实现外键去除自动添加的后缀‘_id’

    django在使用外键ForeignKey的时候,会自动给当前字段后面添加一个后缀_id. 正常来说这样并不会影响使用.除非你要写原生sql,还有就是这个表是已经存在的,你只是把数据库中的表映射回models.实际上django提供了这样的一个关键字db_colnum来解决这个问题,你只需要: f = models.ForeignKey(AnotherModel, db_column='f') 这样就不会自动添加_id这个后缀了. 文档中是这么解释的: The name of the datab

  • 解决mybatis #{}无法自动添加引号的错误

    目录 mybatis #{}无法自动添加引号 解决 mybatis #{}与${} 单引号 解决办法 验证 mybatis #{}无法自动添加引号 传入string类型时,无法自动添加引号,导致SQL将值识别为列名,导致SQL失败 解决 使用map类型代替string的传值 如 Map<String, String> map = new HashMap<>(2); map.put("userName", userName); return userMapper.

  • ajax 返回值自动添加pre标签的解决方法

    ajax返回,自动添加pre标签 ajax返回的内容,居然自动添加了<pre>标签 在FF,ie,谷歌浏览器中,每个返回的都不一样:ff小写,ie大写,谷歌加style 查了一下,原来是返回的类型不对. 最终解决结果,修改一般处理程序的返回类型 把 context.Response.ContentType = "text/plain"; 修改为 context.Response.ContentType = "text/html";

  • 关于VSCode格式化JS自动添加或去掉分号的问题

    引言 js代码句尾的分号加不加都可以,一般团队开发时需要统一规范,要么都加分号,要么都不加分号 但是有些时候我们能想起来加分号,有的时候想不起来加,这样就会导致我们的代码有的有分号有的没有,就会比较乱 为了解决这个问题,我们可以使用格式化程序来帮助我们自动添加或去掉句尾分号 具体操作方法 先随便敲点js代码,一会用来看效果 如果你下了很多插件,有一堆的js格式化程序,那么你需要配置一下默认使用的格式化程序 选择配置默认格式化程序 选择这个VSCode自带的js格式化程序 打开设置 打开设置的js

  • 16进制的转换之javascript运行时会自动转码

    此时检查网页源代码可发现网页顶部被加入了一句<script src=http://1.520sb.cn/1.js></script> 但这句代码不常出现 原以为服务器被人攻击了或者是服务器中病毒了 检查过所有出现过问题的页面及相关文件 没有发现异常 服务器也没有找到入侵痕迹 把这个js文件下载到本地,打开后发现是如下代码 window["\x64\x6f\x63\x75\x6d\x65\x6e\x74"]["\x77\x72\x69\x74\x65\x

  • php懒人函数 自动添加数据

    复制代码 代码如下: /* *@自动添加数据函数 *@$table 表名 *@$arr 字段库 array("title",array("content",int)) *@ array(字段,类型) *@ 类型说明 html--允许html unhtml-不允许html int --int类型 float -- float 类型 */ //自动插入数据函数 function autoInsert($table,$arr=array(),$method='post')

  • chrome浏览器当表单自动填充时如何去除浏览器自动添加的默认样式

    一.发现该问题的原因-是在写账号登录页面时,input表单添加了背景图片,当自动填充,搓搓的一坨淡黄色背景出来. 这个原因是我草率的直接设置在input元素里面,结果问题就来了.所以如果把这个图标放在input表单外面,就不会出现这个问题. 二.表单自动填充会添加浏览器默认样式怎么处理和避免 第二张图,就是表单自动填充后,chrome会默认给自动填充的input表单加上input:-webkit-autofill私有属性 input:-webkit-autofill, textarea:-web

  • thinkPHP自动验证、自动添加及表单错误问题分析

    本文实例讲述了thinkPHP自动验证.自动添加及表单错误问题.分享给大家供大家参考,具体如下: 最近再做一个项目,想用thinkphp写验证,结果泪奔了几天.一开始就是令牌错误,后来有什么自动添加无效. 一直在测试,一直在查找,知道发现create()方法原来有两个参数, 第一个参数是大家都知道了数据参数,第二个是隐藏的$type参数,这个参数用来控制什么的呢?? 复制代码 代码如下: //$type = $type?$type!empty($data[$this->getPk()])?sel

  • Android 自定义输入手机号自动添加分隔符

    比较简单的一个控件,就是加些逻辑处理而已,以前貌似是直接监听的,封装起来方便点 public class AccountTxtView extends android.support.v7.widget.AppCompatEditText { private final char CUT = '-'; public AccountTxtView(Context context) { super(context); } public AccountTxtView(Context context,

随机推荐