golang中snappy的使用场合实例详解
前言
项目中遇到的压缩/解压缩需求应该是很多的，比如典型的考虑网络传输延时而对数据进行压缩传输，又或者其他各种省空间存储需求等。这次同样是遇到了类似需求，在做一个爬虫时，因为抓取项目还未确定，所以考虑将整个html页面压缩存储于数据库，于是又是各种google，最后不出意外的google到了google家的Snappy :-)
google 自家的snappy 压缩优点是非常高的速度和合理的压缩率。压缩率比gzip 小，CPU 占用小。
golang中snappy使用场合
下面是对几个简单的字符串做snappy 压缩前后对比：
package main
import (
"fmt"
"github.com/golang/snappy"
"io/ioutil"
)
var (
textMap = map[string]string{
"a": `1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./`,
"b": `1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./1234567890-=qwertyuiop[]\';lkjhgfdsazxcvbnm,./`,
"c": `浕浉浄浀浂洉洡洣浐洘泚浌洼洽派洿浃浇浈浊测浍济浏浑浒浓浔泿洱涏洀洁洂洃洄洅洆洇洈洊洋洌洎洏洐洑洒洓洔洕洗洠洙洚洛洝洞洟洢洤津洦洧洨洩洪洫洬洭洮洲洳洴洵洶洷洸洹洺活涎`,
"d": `浕浉浄浀浂洉洡洣浐洘泚浌洼洽派洿浃浇浈浊测浍济浏浑浒浓浔泿洱涏洀洁洂洃洄洅洆洇洈洊洋洌洎洏洐洑洒洓洔洕洗洠洙洚洛洝洞洟洢洤津洦洧洨洩洪洫洬洭洮洲洳洴洵洶洷洸洹洺活涎浕浉浄浀浂洉洡洣浐洘泚浌洼洽派洿浃浇浈浊测浍济浏浑浒浓浔泿洱涏洀洁洂洃洄洅洆洇洈洊洋洌洎洏洐洑洒洓洔洕洗洠洙洚洛洝洞洟洢洤津洦洧洨洩洪洫洬洭洮洲洳洴洵洶洷洸洹洺活涎浕浉浄浀浂洉洡洣浐洘泚浌洼洽派洿浃浇浈浊测浍济浏浑浒浓浔泿洱涏洀洁洂洃洄洅洆洇洈洊洋洌洎洏洐洑洒洓洔洕洗洠洙洚洛洝洞洟洢洤津洦洧洨洩洪洫洬洭洮洲洳洴洵洶洷洸洹洺活涎`,
}
imgSrc = []string{
"1.jpg", "2.jpg", "3.jpg", "4.jpg",
}
)
func main() {
for k, v := range textMap {
got := snappy.Encode(nil, []byte(v))
fmt.Println("k:", k, "len:", len(v), len(got))
}
fmt.Println("snappy jpg")
for _, v := range imgSrc {
buf, err := ioutil.ReadFile(v)
if err == nil {
got := snappy.Encode(nil, buf)
fmt.Println("k:", v, "len:", len(buf), len(got))
}
}
}
输出：
k: a len: 46 48 k: b len: 184 58 k: c len: 246 250 k: d len: 738 274 snappy jpg k: 1.jpg len: 302829 282525 k: 2.jpg len: 89109 89051 k: 3.jpg len: 124463 123194 k: 4.jpg len: 420886 368608
如果字符串包含重复字符多压缩才看到效果，对jpg 图片的压缩率不大。
对一个实际使用的数据库是否使用snappy 做对比，用户和文章都是10万，文章内容较简单。
使用snappy 压缩前：
用时 4m32.916312692s 数据库占用空间 176,209,920 字节（磁盘上的 172 MB）
使用snappy 压缩后：
用时 4m6.750271414s 数据库占用空间 159,424,512 字节（磁盘上的 150.9 MB）
从使用时间上看，此例压缩使用的CPU 时间小于数据压缩后省下来的数据存储IO 占用的时间。因为文章数据较短、内容简单，压缩效果不明显。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对我们的支持。
相关推荐
-
Golang使用zlib压缩和解压缩字符串
在python的时候就习惯使用zlib进行网页压缩. golang下同样使用zlib进行压缩解压缩. zlib官方给出的方法很简单,这里权当一个补充. zlib.NewWriter() 只能传递 []byte类型数据. NewWriterLevel 可以传递压缩的等级. package main import ( "bytes" "compress/zlib" "fmt" "io" ) func main() { var
-
Go 语言中gin使用gzip压缩遇到的问题
最近学习go语言写了个 成都房地产薪酬 网站,抓取网上的招聘信息并进行统计.中间遇到一些坑在这里记录下来方便以后查阅 gzip压缩是每个web应用必不可少的,这项目使用gin作为web框架,gin支持使用中间件,github上有实现好的gzip中间件:gin-contrib/gzip 安装: go get github.com/gin-contrib/gzip 使用: func main() { r := gin.Default() r.Use(gzip.Gzip(gzip.DefaultCom
-
go语言制作的zip压缩程序
可以压缩文件和目录. package main import ( "archive/zip" "bytes" "fmt" "io/ioutil" "os" "path/filepath" ) func main() { if err := compress(`gopkg`, `gopkg.zip`); err != nil { fmt.Println(err) } } // 参数frm可
-
go语言通过zlib压缩数据的方法
本文实例讲述了go语言通过zlib压缩数据的方法.分享给大家供大家参考.具体实现方法如下: 复制代码 代码如下: package main import ( "fmt" "compress/zlib" "bytes" ) func main() { var input = []byte("data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAKsAAAAgCAYAA
-
GO语言实现批量压缩图片和水印
前段时间想做个图片站,就用手机照了很多相片,但是要一个个用PS去压缩修改尺寸太麻烦了.最后想到了用golang去实现,算是边学边练吧.其中用到了github.com/nfnt/resize这个第三方库,仅仅支持JPG图片格式. 复制代码 代码如下: package main import ( "fmt" "github.com/nfnt/resize" "image" "image/draw"
-
Go语言压缩和解压缩tar.gz文件的方法
本文实例讲述了Go语言压缩和解压缩tar.gz文件的方法.分享给大家供大家参考.具体分析如下: golang处理压缩包,最常用的就是tar.gz了,这里写了一个测试一下. 压缩文件: 复制代码 代码如下: package main import ( "fmt" "os" "io" "archive/tar" "compress/gzip" ) func main()
-
golang中snappy的使用场合实例详解
前言 项目中遇到的压缩/解压缩需求应该是很多的,比如典型的考虑网络传输延时而对数据进行压缩传输,又或者其他各种省空间存储需求等.这次同样是遇到了类似需求,在做一个爬虫时,因为抓取项目还未确定,所以考虑将整个html页面压缩存储于数据库,于是又是各种google,最后不出意外的google到了google家的Snappy :-) google 自家的snappy 压缩优点是非常高的速度和合理的压缩率.压缩率比gzip 小,CPU 占用小. golang中snappy使用场合 下面是对几个简单的字符
-
IOS 中KVC的使用方法实例详解
IOS 中KVC的使用方法实例详解 KVC是Key Value Coding的缩写,意思是键值编码.在iOS中,提供了一种方法通过使用属性的名称(也就是Key)来间接访问对象的属性方法.说的有的拗口,实际上就是通过类定义我们可以看到类的各种属性,那么使用属性的名称我们就能访问到类实例化后的对象的这个属性值. 这个方法可以不通过getter/setter方法来访问对象的属性.因为一个类的成员变量如果没有提供getter/setter的话,外界就失去了对这个变量的访问渠道.而KVC则提供了一种访问的
-
Golang基础教程之字符串string实例详解
目录 1. string的定义 2.string不可变 3.使用string给另一个string赋值 4.string重新赋值 补充:字符串拼接 总结 1. string的定义 Golang中的string的定义在reflect包下的value.go中,定义如下: StringHeader 是字符串的运行时表示,其中包含了两个字段,分别是指向数据数组的指针和数组的长度. // StringHeader is the runtime representation of a string. // I
-
C++ 中const修饰虚函数实例详解
C++ 中const修饰虚函数实例详解 [1]程序1 #include <iostream> using namespace std; class Base { public: virtual void print() const = 0; }; class Test : public Base { public: void print(); }; void Test::print() { cout << "Test::print()" << end
-
AngularJS中使用three.js的实例详解
AngularJS中使用three.js的实例详解 一.轨迹球的引入问题 一开始我是用下面的方式引如轨迹球,但是会报Trackballcontrols is undefined的错. import * as THREE from 'three'; import * as Trackballcontrols from 'three'; 但其实我是能够在node_module下的threejs的包中找到Trackballcontrols的文件的,我一开始以为是引用的路径没对然后修改路径到对应包下Tr
-
IOS 中CALayer绘制图片的实例详解
IOS 中CALayer绘制图片的实例详解 CALayer渲染内容图层.与UIImageView相比,不具有事件响应功能,且UIImageView是管理内容. 注意事项:如何使用delegate对象执行代理方法进行绘制,切记需要将delegate设置为nil,否则会导致异常crash. CALayer绘制图片与线条效果图: 代码示例: CGPoint position = CGPointMake(160.0, 200.0); CGRect bounds = CGRectMake(0.0, 0.0
-
vue中v-model动态生成的实例详解
vue中v-model动态生成的实例详解 前言: 最近在做公司的项目中,有这么一个需求,每一行有一个input和一个select,其中行数是根据服务器返回的json数据动态变化的.那么问题来了,我们要怎样动态生成v-model? 现在项目做完了就整理了一下,直接贴代码了. <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title></title> <
-
Linux 中常用的Rpm命令实例详解
rpm命令是RPM软件包的管理工具.rpm原本是Red Hat Linux发行版专门用来管理Linux各项套件的程序,由于它遵循GPL规则且功能强大方便,因而广受欢迎.逐渐受到其他发行版的采用.RPM套件管理方式的出现,让Linux易于安装,升级,间接提升了Linux的适用度. 语法 rpm(选项)(参数) 选项 -a:查询所有套件: -b<完成阶段><套件档>+或-t <完成阶段><套件档>+:设置包装套件的完成阶段,并指定套件档的文件名称: -c:只列出
-
Linux 中fork的执行的实例详解
Linux 中fork的执行的实例详解 先看看一段fork的程序 int main() { pid_t pid; 语句 a; pid = fork(); 语句 b; } 1.当程序运行到 pid = fork()时,这个进程马上分裂(fork的中文意思)成两个进程,我们称为父进程和子进程,子进程是父进程的副本,副本的意思是子进程把父进程的数据空间,堆和栈都复制一遍给自己用,这要求在内存给子进程分配和父进程同样大的存储空间,这样,父,子进程拥有相同的数据,但不会共享存储空间,他们只是共享正文段.
-
java 中HttpClient传输xml字符串实例详解
java 中HttpClient传输xml字符串实例详解 介绍:我现在有一个对象page,需要将page对象转换为xml格式并以binary方式传输到服务端 其中涉及到的技术点有: 1.对象转xml流 2.输出流转输入流 3.httpClient发送二进制流数据 POM文件依赖配置 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifact