在PostgreSQL的基础上创建一个MongoDB的副本的教程

我有一个偷懒的想法。这个好点子该如何开始呢?好吧,这是一个恰如其分的小疯狂:为什么不直接在Postgres的基础上建立我们自己的MongoDB版本呢?这听起来有点牵强附会,但却简单而实在。

当NoSQL运动风生水起的时候,Postgres社区没有干坐着摆弄他们的大拇指。他们持续开发,贯穿整个Postgres的生态系统,几个突出的功能吸引了我的眼球:整合JSON支持和PLV8。PLV8把V8 Javascript引擎引入到Postgres,他让Javascript成为一个第一类别的语言(first-class language)。拥有JSON类型让它能更容易地处理JSON(这很有效)。

开始前需要做的准备:

  • Postgres 9.2+ (as of this blog entry, 9.2 is in beta) - http://www.postgresql.org/ftp/source/
  • V8 - https://github.com/v8/v8
  • PLV8 - http://code.google.com/p/plv8js/wiki/PLV8

MongoDB的最低级别是集合.  集合可以用表来表示:

  CREATE TABLE some_collection (
   some_collection_id SERIAL NOT NULL PRIMARY KEY,
   data JSON
  );

字符型的JSON 被保存在 Postgres 表里,简单易行 (现在看是这样).

下面实现自动创建集合.  保存在集合表里:

  CREATE TABLE collection (
   collection_id SERIAL NOT NULL PRIMARY KEY,
   name VARCHAR
  );

  -- make sure the name is unique
  CREATE UNIQUE INDEX idx_collection_constraint ON collection (name);

一旦表建好了,就可以通过存储过程自动创建集合.  方法就是先建表,然后插入建表序列.

 CREATE OR REPLACE FUNCTION create_collection(collection varchar) RETURNS
  boolean AS $$
   var plan1 = plv8.prepare('INSERT INTO collection (name) VALUES ($1)', [ 'varchar' ]);
   var plan2 = plv8.prepare('CREATE TABLE col_' + collection +
    ' (col_' + collection + '_id INT NOT NULL PRIMARY KEY, data JSON)');
   var plan3 = plv8.prepare('CREATE SEQUENCE seq_col_' + collection);

   var ret;

   try {
    plv8.subtransaction(function () {
     plan1.execute([ collection ]);
     plan2.execute([ ]);
     plan3.execute([ ]);

     ret = true;
    });
   } catch (err) {
    ret = false;
   }

   plan1.free();
   plan2.free();
   plan3.free();

   return ret;
  $$ LANGUAGE plv8 IMMUTABLE STRICT;

有了存储过程,就方便多了:

 SELECT create_collection('my_collection');

解决了集合存储的问题,下面看看MongoDB数据解析.  MongoDB 通过点式注解方法操作完成这一动作:

  CREATE OR REPLACE FUNCTION find_in_obj(data json, key varchar) RETURNS
  VARCHAR AS $$
   var obj = JSON.parse(data);
   var parts = key.split('.');

   var part = parts.shift();
   while (part && (obj = obj[part]) !== undefined) {
    part = parts.shift();
   }

   // this will either be the value, or undefined
   return obj;
  $$ LANGUAGE plv8 STRICT;

上述功能返回VARCHAR,并不适用所有情形,但对于字符串的比较很有用:

  SELECT data
   FROM col_my_collection
   WHERE find_in_obj(data, 'some.element') = 'something cool'

除了字符串的比较, MongoDB还提供了数字类型的比较并提供关键字exists .  下面是find_in_obj() 方法的不同实现:

  CREATE OR REPLACE FUNCTION find_in_obj_int(data json, key varchar) RETURNS
  INT AS $$
   var obj = JSON.parse(data);
   var parts = key.split('.');

   var part = parts.shift();
   while (part && (obj = obj[part]) !== undefined) {
    part = parts.shift();
   }

   return Number(obj);
  $$ LANGUAGE plv8 STRICT;

  CREATE OR REPLACE FUNCTION find_in_obj_exists(data json, key varchar) RETURNS
  BOOLEAN AS $$
   var obj = JSON.parse(data);
   var parts = key.split('.');

   var part = parts.shift();
   while (part && (obj = obj[part]) !== undefined) {
    part = parts.shift();
   }

   return (obj === undefined ? 'f' : 't');
  $$ LANGUAGE plv8 STRICT;

接下来是数据查询.  通过现有的材料来实现 find() 方法.
保存数据到集合中很简单。首先,我们需要检查JSON对象并寻找一个_id值。这部分代码是原生的假设,如果_id已存在这意味着一个更新,否则就意味着一个插入。请注意,我们目前还没有创建objectID,只使用了一个序列待其发生:

  CREATE OR REPLACE FUNCTION save(collection varchar, data json) RETURNS
  BOOLEAN AS $$
   var obj = JSON.parse(data);

   var id = obj._id;

   // if there is no id, naively assume an insert
   if (id === undefined) {
    // get the next value from the sequence for the ID
    var seq = plv8.prepare("SELECT nextval('seq_col_" +
      collection + "') AS id");
    var rows = seq.execute([ ]);

    id = rows[0].id;
    obj._id = id;

    seq.free();

    var insert = plv8.prepare("INSERT INTO col_" + collection +
      " (col_" + collection + "_id, data) VALUES ($1, $2)",
      [ 'int', 'json']);

    insert.execute([ id, JSON.stringify(obj) ]);
    insert.free();
   } else {
    var update = plv8.prepare("UPDATE col_" + collection +
     " SET data = $1 WHERE col_" + collection + "_id = $2",
     [ 'json', 'int' ]);

    update.execute([ data, id ]);
   }

   return true;
  $$ LANGUAGE plv8 IMMUTABLE STRICT;

基于这个观点,我们可以构建一些插入的简单文档:

  {
   "name": "Jane Doe",
   "address": {
    "street": "123 Fake Street",
    "city": "Portland",
    "state": "OR"
   },
   "age": 33
  }

  {
   "name": "Sarah Smith",
   "address": {
    "street": "456 Real Ave",
    "city": "Seattle",
    "state": "WA"
   }
  }

  {
   "name": "James Jones",
   "address": {
    "street": "789 Infinity Way",
    "city": "Oakland",
    "state": "CA"
   },
   "age": 23
  }

让我们创建一个集合并插入一些数据:

  work=# SELECT create_collection('data');
   create_collection
  -------------------
   t
  (1 row)

  work=# SELECT save('data', '{ our object }');
   save
  ------
   t
  (1 row)

你可以通过检查“col_data”表的内容来查看对象。

其它翻译版本(1)

现在我们已经有了一些数据,让我们再查询一下。假设我们想查找住在俄勒冈或华盛顿州年龄大于30的所有人,使用一个MongoDB风格的find():

  {
   "$or": [
    {
     "address.state": "OR"
    },
    {
     "address.state": "WA"
    }
   ],
   "age": {
    "$gt": 30
   }
  }

因为上次我们已经创建了一些深度的包检测,现在就很容易创建查询并返回Jane Doe:

  SELECT data
   FROM col_data
   WHERE find_in_obj_int(data, 'age') > 30
    AND (
       find_in_obj(data, 'address.state') = 'OR'
      OR
       find_in_obj(data, 'address.state') = 'WA'
      )

我采用了写一个递归调用函数来建立WHERE子句的方法。它有点长,所以我没有把它贴在这里而是放在GitHub上。一旦find()存储过程被创建,我们就可以在查询中使用它。我们应该能够看到Jane Doe被返回:

  work=# SELECT find('data', '{ "$or": [ { "address.state": "OR" }, { "address.state": "WA" } ], "age": { "$gt": 30 } }');

这样奏效:它不优雅,但它奏效。这是一个概念的证明,而且几乎没有像它一样好的可能。我之前曾被问过为什么不使用HSTORE。虽然你可以存储嵌套的HSTORE和数组值,但它仍不是JSON,并且不容易通过PLV8操作。这将需要一个从HSTORE到JSON的序列器,这个序列器在任何时间将请求的返回序列化成MongoDB接受的数据形式,但依旧太容易在JavaScript中处理。这是次优选择,毕竟我们是要在Postgres的基础上创建一个MongoDB的副本。

源码可以在GitHub上找到:fork并尝试一下吧,记得回馈哦。

(0)

相关推荐

  • 使用Ruby on Rails和PostgreSQL自动生成UUID的教程

    Rails 4 能原生态的支持Postgres 中的UUID(Universally Unique Identifier,可通用的唯一标识符)类型.在此,我将向你描述如何在不用手工修改任何Rails代码的情况下,用它来生成UUID. 首先,你需要激活Postgres的扩展插件'uuid-ossp': class CreateUuidPsqlExtension < ActiveRecord::Migration def self.up execute "CREATE EXTENSION \&

  • 使用Bucardo5实现PostgreSQL的主数据库复制

    下一代异步多个主数据库复制系统Bucardo 5发布了.这个版本删除了老版本中两个数据库源的限制,允许有更多的源数据库(即主数据库)以及更多的目标数据库(即备份数据库).Bucardo还可以复制到其他类型的目标数据库,其中包括MySQL.MariaDB.Oracle.SQLite.MongoDB和Redis.Bucardo已经被完全重写了,这个版本比前一版本Bucardo 4功能更强大,效率更高.你可以访问Bucardo wiki查找最新版本的Bucardo. 这篇文章快速的介绍了一下Bucar

  • 介绍PostgreSQL中的范围类型特性

    PostgreSQL 9.2 的一项新特性就是范围类型 range types,通过这个名字你可以轻松猜出该类型的用途,它可让你为某列数据定义数值范围. 这个简单的特性可以让我们不需要定义两个字段来描述数值的开始值和结束值,一个最直观的例子就是: postgres# CREATE TABLE salary_grid (id int, position_name text, start_salary int, end_salary int); CREATE TABLE postgres# INSE

  • 在PostgreSQL上安装并使用扩展模块的教程

    安装模块 注意: 我的运行环境是 Ubuntu 10.04 和 PostgreSQL 8.4 首先安装 postgresql-contrib 包并重启数据库服务器,然后检查 contrib 目录看是否包含一些可用模块: sudo apt-get install postgresql-contrib sudo /etc/init.d/postgresql-8.4 restart cd /usr/share/postgresql/8.4/contrib/ ls 然后我们创建一个名为 module_t

  • 一个提升PostgreSQL性能的小技巧

    在一个(差)的PostgreSQL 查询中只要一个小小到改动(ANY(ARRAY[...])to ANY(VALUES(...)))就能把查询时间从20s缩减到0.2s.从最简单的学习使用 EXPLAIN ANALYZE开始,到学习使用 Postgres community大量学习时间的投入将有百倍时间到回报. 使用Postgres监测慢的Postgres查询 在这周早些时候,一个用于我们的图形编辑器上的小表(10GB,1500万行)的主键查询,在我们的一个(多个)数据库上发生来大的查询性能问题

  • 深入解读PostgreSQL中的序列及其相关函数的用法

    一.简介 序列对象(也叫序列生成器)就是用CREATE SEQUENCE 创建的特殊的单行表.一个序列对象通常用于为行或者表生成唯一的标识符. 二.创建序列 方法一:直接在表中指定字段类型为serial 类型 david=# create table tbl_xulie ( david(# id serial, david(# name text); NOTICE: CREATE TABLE will create implicit sequence "tbl_xulie_id_seq"

  • 在PostgreSQL中使用数组时值得注意的一些地方

    在Heap中,我们依靠PostgreSQL支撑大多数后端繁重的任务,我们存储每个事件为一个hstore blob,我们为每个跟踪的用户维护一个已完成事件的PostgreSQL数组,并将这些事件按时间排序. Hstore能够让我们以灵活的方式附加属性到事件中,而且事件数组赋予了我们强大的性能,特别是对于漏斗查询,在这些查询中我们计算不同转化渠道步骤间的输出. 在这篇文章中,我们看看那些意外接受大量输入的PostgreSQL函数,然后以高效,惯用的方式重写它. 你的第一反应可能是将PostgreSQ

  • 在PostgreSQL中实现递归查询的教程

     介绍 在Nilenso,哥在搞一个 (开源的哦!)用来设计和发起调查的应用. 下面这个是一个调查的例子: 在内部,它是这样表示滴: 一个调查包括了许多问题(question).一系列问题可以归到(可选)一个分类(category)中.我们实际的数据结构会复杂一点(特别是子问题sub-question部分),但先当它就只有question跟category吧. 我们是这样保存question跟category的. 每个question和category都有一个order_number字段.是个整

  • 详细讲解PostgreSQL中的全文搜索的用法

    开发Web应用时,你经常要加上搜索功能.甚至还不知能要搜什么,就在草图上画了一个放大镜. 搜索是项非常重要的功能,所以像elasticsearch和SOLR这样的基于lucene的工具变得很流行.它们都很棒.但使用这些大规模"杀伤性"的搜索武器前,你可能需要来点轻量级的,但又足够好的搜索工具. 所谓"足够好",我是指一个搜索引擎拥有下列的功能: 词根(Stemming) 排名/提升(Ranking / Boost) 支持多种语言 对拼写错误模糊搜索 方言的支持 幸运

  • 在PostgreSQL中使用日期类型时一些需要注意的地方

    当我们这些使用Rails的人看到例如5.weeks.from_nowor3.days.ago + 2.hours时并不会感到惊讶.同样,PostgreSQL也可以做到,你可以通过简单调用PostgreSQL内置函数来实现相同的功能. 当前时间/日期/时间戳 获取当前时间的方式有很多种,在这之前我们需要知道以下两种类型的区别: 总是返回当前的值 (clock_timestamp()) 总是返回当前值,但在事务中它返回的是事务开始的时间(now()) 让我们看下面这个例子 postgres=# BE

随机推荐