golang实践-第三方包为私有库的配置方案
正常使用了go 1.8一段时间没有发现异常，为了发布便捷，以及后期引入plug-in，开始将大项目分解。涉及到通过vendor引入私有库保存的第三方包。
参考网上那些反复转帖的材料，始终无法成功，总是都会出现类似以下的错误：
package git.oschina.net/xxx/yyy: unrecognized import path "git.oschina.net/xxx/yyy" (parse https://git.oschina.net/xxx/yyy?go-get=1: no go-import meta tags ())
反复折腾后，终于搞定，这里整理一下，备查。
整个过程三个步骤：生成公钥、git配置、第三方包调用
公钥生成
使用私有库，是必须要通过公钥的，而公钥是由客户端生成，然后上传到oschina上。网上资料比较多，相对容易解决.
1.生成公钥文件
//-f 参数：指定钥匙文件名称；不设置，则默认为id_rsa（已经存在则会有覆盖提示）。 //-C 参数：注释描述，这里随便写了个邮箱地址。 //-t 参数：指定加密格式，默认为dsa $ssh-keygen -t rsa -C "aaa@bbb.com" -f ~/.ssh/ccc_rsa //连续回车，忽略密码设置 Generating public/private rsa key pair. Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /Users/apple/.ssh/ccc_rsa. Your public key has been saved in /Users/apple/.ssh/ccc_rsa.pub. The key fingerprint is: SHA256:FBG/a3Ed4KFYjVITwRiwPKj+HjCKiBxu10D/K2wVPE8 aaa@bbb.com The key's randomart image is: +---[RSA 2048]----+ | ..=B*=o | | o .o=o+.o | | .. = o.o . . | | ... * E . . . | | .+. . S o . . | |*o.oo .. . + | |=+..o... o | |. .. = .. | | .+ .. | +----[SHA256]-----+
可以查看到增加了ccc_rsa与ccc_rsa.pub两个文件，可以很容易查看：
$ ls ~/.ssh/ ccc_rsa ccc_rsa.pub
2.添加密钥到ssh-agent
添加SSH key 到 ssh-agent很简单，添加前确保ssh-agent可用即可：
$ ssh-add ~/.ssh/ccc_rsa
3.查看公钥
输入cat ~/.ssh/ccc_rsa.pub，可以查看到公钥信息，后面需要将其拷入到git服务器进行设置。
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCm4HVLb19i2jp10Sv9zs9ifmfAB8r3dhSZ3ZuHmAr7oOBG01TqNsArJf5GpbtNc4aEhqZoHfE1tEgPkqMiSkCW6w+m7rfCjCykZ7U2IjxUvcDOqbHPylpdWzTRFq+jcvqeFyHqMv0B0ORqWvHqBwzDWwyBbCWTDhrTpAfykfAqVSb62JEnaj84MELoOIoSnkuAXcA+EnkG+3HxUqt+3TFq/p9xLfc2NqZG4wZg00fIlS6b+yoRkvVE8fx9V1K4ATbiVmLk+wjk4C7NC3V71UyyCD5knMa0Dd54re1gaZJOl8K7ukc9IgKAQwOcYde0nyN7kVZtNt/G+VhpAibY/7Wv aaa@bbb.com
4.通过config指定钥匙
如果项目涉及到多个私有库，或者指定了rsa文件名，就需要设置ssh config文件。执行vi ~/.ssh/config命令，填写以下内容：
#Host 别名
Host ccc-oschina
#HostName 主机名
HostName git.oschina.net
#验证方式
PreferredAuthentications publickey
#IdentityFile 指定文件的路径
IdentityFile ~/.ssh/ccc_rsa
git服务的公钥配置
git服务器，是能够面向账户或者项目进行公钥设置。由于oschina平台提供了灵活的组织管理，建议为账户配置公钥。
相对账户设置，大家比较熟悉，这里简单描述一下项目的公钥设置。登录平台->选择项目->进入“管理”->点击左侧的“公钥管理”->点击“添加部署公钥”，将刚刚生成的公钥填写到“公钥”栏，并为它起一个名称，保存即可。
配置保存后，可以通过ssh -T测试
$ssh -T git@git.oschina.net #成功后，会显示欢迎信息。因为配置的项目公钥，所以显示为匿名用户。如果是在成员的配置信息中设置的公钥，则会显示出成员昵称。 Welcome to Git@OSC, Anonymous!
但是，以上是自己生成了密钥，如果是第三方访问使用，则需要做添加公钥的配置。
将gitserver上的公钥，拷贝下来（不要有前后空格），写入ssh默认的authorized_keys文件中，并放入~/.ssh/目录下。如果不采用默认文件名，则需要调整配置，具体可查度娘。
第三方调用
配置成功后，就可以在项目中引入第三方包，按照平时用法会提示错误：
$go get git.oschina.net/xxx/yyy Fetching https://git.oschina.net/xxx/yyy?go-get=1 Parsing meta tags from https://git.oschina.net/xxx/yyy?go-get=1 (status code 404) package git.oschina.net/xxx/yyy: unrecognized import path "git.oschina.net/xxx/yyy" (parse https://git.oschina.net/xxx/yyy?go-get=1: no go-import meta tags ())
其原因是因为包路径需要改为.git文件的路径，只需要增加.git就会正常，需要特别注意：
//包路径的后边需要增加.git $go get git.oschina.net/xxx/yyy.git
这样，就可以在代码中引入第三方的私有库了。当然，我们采用glide、godep等第三方包管理工具也可以，只要注意包路径后边增加.git就好。
补充：athens 搭建golang私有gitlab仓库 (踩了git和https的坑)
环境：
gitlab: gitlab需要配置可信任https。
nginx：两个
git：最新版，！！！重要，不是最新版go get会出现问题
athens
golang
原理：
通过nginx转发，实现外网请求和内网请求路由。配置https://goproxy.io 下载golang等被墙的包。
注意事项：
1、git一定要是最新版
2、gitlab一定要配置https。目前athens使用http代理我试了不行，有会配置的同学欢迎指教。
3、location ~* ^/[^/]+/[^/]+$ 这个表达式固定匹配两级path，类似/aa/bb nginx并不完全支持正则。想要匹配三级路径等需要另外加location ~* ^/[^/]+/[^/]+/[^/]+$
4、return 200 "<!DOCTYPE html><head><meta content='$host$uri git ssh://git@$host:$uri.git' name='go-import'></head></html>"; 这个配置注意ssh端口根据情况修改，比如ssh端口为8080，则该为：return 200 "<!DOCTYPE html><head><meta content='$host$uri git ssh://git@$host:8080$uri.git' name='go-import'></head></html>";
网络流程图：
准备：
1.机器3个：（也可以在一个机器上，修改对应端口即可）
private.gitlab.com： 部署私有仓库机器
athens.com: athens仓库入口机器(可以不用，但是这样外网的包就不会缓存在本地)
athens.private.com: 私有gitlab代理。
2.在阿里云上申请可信任的免费CA证书。
private.gitlab.com 部署和相关配置：
1.在该机器上部署gitlab仓库
2.配置nginx https,配置如下：
#user nobody;
worker_processes 1;
error_log logs/error.log;
error_log logs/error.log notice;
error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
}
http {
# gitlab 服务地址和端口
upstream gitlab {
server 10.53.1.234:8081;
}
server {
listen 10.53.1.234:80;
server_name private.gitlab.com;
# 这里选择重定向到https去
rewrite ^(.*)$ https://${server_name}$1 permanent;
}
server {
listen 443;
server_name private.gitlab.com;
ssl on;
ssl_session_cache shared:SSL:10m;
ssl_session_timeout 20m;
ssl_session_tickets on;
ssl_certificate /etc/nginx/server/2650770_private.gitlab.com.pem; # 自己ca签发的
ssl_certificate_key /etc/nginx/server/2650770_private.gitlab.com.key; # 自己的私钥
location / {
proxy_cache off;
proxy_pass http://gitlab;
access_log /var/log/nginx_access.log;
}
# GOPROXY，vgo download protocol协商软件包的规范
# 第一步就是获取软件包元数据，格式如下，gitlab暂时不支持，所以需要nginx代理
location ~* ^/[^/]+/[^/]+$ {
if ($http_user_agent ~* '^go.*') {
return 200 "<!DOCTYPE html><head><meta content='$host$uri git ssh://git@$host:$uri.git' name='go-import'></head></html>";
}
proxy_cache off;
proxy_pass http://gitlab;
}
# 具体协议原理请看这篇文章：http://www.bubuko.com/infodetail-3045365.html
location ~* ^/(?<holder>[^/]+)/(?<project>[^/]+)/.*$ {
set $goRedirect 'https://$host/$holder/$project?$args';
access_log /var/log/nginx_access1.log;
if ($http_user_agent ~* '^go.*') {
return 301 $goRedirect;
}
proxy_cache off;
proxy_pass http://gitlab;
}
}
}
athens.com （代理仓库总入口）部署和相关配置：
1、安装golang环境
2、设置go环境，export GO111MODULE=on，export GOPROXY=http://private.athens.com
3、安装athens
private.athens.com (私有仓库代理)部署和相关配置：
1、安装golang环境 和 git客户端并配置免登陆
2、设置go环境，export GO111MODULE=on，export GOPROXY=direct
3、安装athens
4、安装nginx并配置nginx,相关配置如下：
#user nobody;
worker_processes 1;
events {
worker_connections 1024;
}
http {
server {
listen 80;
# 外部的依赖转发到外面的go proxy
location / {
proxy_pass https://goproxy.io;
#proxy_pass https://athens.azurefd.net;
}
# 内部依赖的go proxy，也就是上面启动的athens
# github的依赖也可以走本地的go proxy，可以做缓存
location ~ /(private\.gitlab\.com)/ {
# 私有仓库跳转到私有athens 服务
proxy_pass http://localhost:3000;
access_log /var/log/nginx_access.log;
}
}
}
以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。如有错误或未考虑完全的地方，望不吝赐教。
相关推荐
-
Golang执行go get私有库提示"410 Gone" 的问题及解决办法
之前没有使用过私有库,今天正好碰到,把解决方法整理一下 错误记录 如果你在用go get 私有库碰到如下类似错误: 解决方法 $ export GO111MODULE=on $ export GOPROXY=direct $ export GOSUMDB=off 关于GO111MODULE 和GOPROXY,都比较熟悉,而GOSUMDB 的说明如下: 我们知道go会在go module启用时在本地建立一个go.sum文件,用来存储依赖包特定版本的加密校验和.同时,Go维护下载的软件包的缓存,并在
-
利用dep代替go get获取私有库的方法教程
前言 go get 用来动态获取远程代码包的,目前支持的有BitBucket.GitHub.Google Code和Launchpad.这个命令在内部实际上分成了两步操作:第一步是下载源码包,第二步是执行go install.下载源码包的go工具会自动根据不同的域名调用不同的源码工具,对应关系如下: BitBucket (Mercurial Git) GitHub (Git) Google Code Project Hosting (Git, Mercurial, Subversion) Lau
-
解决go mod私有仓库拉取的问题
用go mod的时候应该会遇到无法拉取私有仓库的问题 从你gitlab平台生成一个token,在~/.gitcoinfig中 [http]下增加extraheader = PRIVATE-TOKEN: 你的token [url]下增加 insteadOf = https://gitlab.你的gitlab服务器.com 如果还不生效则增加环境变量后尝试: export GOPRIVATE=gitlab.你的gitlab服务器.cn 补充:go module 引用码云(或其他私有仓库)的配置 go
-
完美解决golang go get私有仓库的问题
解决golang go get gitlab私有仓库的问题(1.13) 1. 问题描述 require ( git.xxxxxxx.com/middle/user v0.0.1 ) go mod tidy 导入包失败 go get git.xxxxxxx.com/middle/user 失败 go build 有CHECKSUM过程,无法编译 2. 现象分析 go get 不支持代码支持之外的仓库.并且git 调用链过程采取了https 下载过程如果机器设置了GOPROXY,会导致下载失败 编译
-
golang实践-第三方包为私有库的配置方案
正常使用了go 1.8一段时间没有发现异常,为了发布便捷,以及后期引入plug-in,开始将大项目分解.涉及到通过vendor引入私有库保存的第三方包. 参考网上那些反复转帖的材料,始终无法成功,总是都会出现类似以下的错误: package git.oschina.net/xxx/yyy: unrecognized import path "git.oschina.net/xxx/yyy" (parse https://git.oschina.net/xxx/yyy?go-get=1:
-
Golang使用第三方包viper读取yaml配置信息操作
Golang有很多第三方包,其中的 viper 支持读取多种配置文件信息.本文只是做一个小小demo,用来学习入门用的. 1.安装 go get github.com/spf13/viper 2.编写一个yaml的配置文件,config.yaml database: host: 127.0.0.1 user: root dbname: test pwd: 123456 3.编写学习脚本main.go,读取config.yaml配置信息 package main import ( "fmt&quo
-
Android.mk引入第三方jar包和so库文件的方法
以SystemUI为例,如果需要在SystemUI中引入第三方jar包以及so库,可作如下处理: 首先,在frameworks\base\packages\SystemUI下新建libs目录: 将需要引入的jar包放置到libs目录下.然后修改Android.mk文件: 也就说引入jar包主要依赖的是LOCAL_PREBUILT_STATIC_JAVA_LIBRARIES和LOCAL_STATIC_JAVA_LIBRARIES.下面吧完整的Android.mk贴出来,方便拷贝. LOCAL_PA
-
Golang import本地包和导入问题相关详解
1 本地包声明 包是Go程序的基本单位,所以每个Go程序源代码的开始都是一个包声明: package pkgName 这就是包声明,pkgName 告诉编译器,当前文件属于哪个包.一个包可以对应多个*.go源文件,标记它们属于同一包的唯一依据就是这个package声明,也就是说:无论多少个源文件,只要它们开头的package包相同,那么它们就属于同一个包,在编译后就只会生成一个.a文件,并且存放在$GOPATH/pkg文件夹下. 示例: (1) 我们在$GOPATH/目录下,创建如下结构的文件夹
-
golang开发go包依赖管理godep使用教程
目录 介绍 安装 包管理使用 godep 拉取依赖 restore 用于开发 检出依赖 save godep 编译运行 build Godeps目录的作用 godep其他命令 介绍 godep是解决包依赖的管理工具,目前最主流的一种,原理是扫描记录版本控制的信息,并在go命令前加壳来做到依赖管理 godep 建议在 golang 1.6 以后使用 godep 依赖 vendor 具体查看 https://stackoverflow.com/questions/37237036/how-shoul
-
Golang中的包及包管理工具go mod详解
目录 一.包 二.包管理工具go mod 三.init函数 四.使用第三方包 一.包 1.包的种类:系统内置包.自定义包.第三方包. (1)系统内置包:go语言自带包,如str.conv.fmt等 (2)自定义包:开发者自己写的包 (3)第三方包:属于自定义包的一种,需下载到本地才能使用, 如可以从GitHub上下载的第三方包. 2.包是多个go源文件的集合,一个package下可以有多个go文件,归属于同一package 二.包管理工具go mod 1.在go的1.11版本之前如果想自定义包需
-
Windows下anaconda安装第三方包的方法小结(tensorflow、gensim为例)
anaconda 集成了很多科学计算中所需要的包,如numpy,scipy等等,具体查看anaconda中已经预先安装配置好的包有哪些,可以通过cmd命令,输入conda list 查看,如下图所示: 但是,因为实际需求,我们会需要导入列表中没有的第三方包,如gemsim,在anaconda中,我们可以参考以下步骤安装所需要的第三方包: 1.启动anaconda 命令窗口: 开始 > 所有程序 > anaconda >anaconda prompt 2.安装gens
-
angular第三方包开发整理(小结)
近日笔者维护自己的几个无名小repo时,发觉想要创作一个第三方angular包,着实有一些不难但易乱的小问题,故作此文总结.本文将完成以下内容: 从空白开始搭建一个基于angular的第三方包 在本地测试待发布的包 在npm或yarn发布包中指定内容 在普通angular应用中引入并使用发布的包 基本项目搭建 一般的angular app使用angular-cli创建,直接ng new name搞定,生成的项目把webpack.AOT.dev server等细节都隐藏了,还支持各种参数来配置测试