golang 테이블 쿼리시 필요없는 컬럼은 빼고 가져오기

2020년 4월 25일 elmitash 댓글 달기

golang 에서 데이터베이스의 테이블 데이터를 가져올 때, Scan을 사용하면서 작성한 쿼리 결과의 컬럼 수 만큼 변수를 지정해서 가져와야 하는데,
필요없는 컬럼(당장 쓸일이 없지만, 혹시 몰라 넣어두는 작성일이나 갱신일 같은 컬럼)의 데이터는 빼고 가져오는 방법이 있어서 여기에 올려둔다.

필요한 컬럼만 쿼리하면 되는데 왜 이런걸 쓰냐…할 수도 있는데,
컬럼 수가 많으면 select * 으로 해버리는게 편하고, 컬럼 이름 일일이 쓰는게 귀찮기도 하니까 그렇다.

바로 테스트할 수 있도록 소스코드를 다 올리지만, Scan 부분과 TrashScanner 만 보면 된다.
　
　
참고글: database/sql の Rows.Scan で不要なカラムデータを読み捨てる – https://qiita.com/wanko/items/2e6b5dd4867adaa24ec6
일본어다.
　
　

package main

import (
	"database/sql"
	"fmt"

	_ "github.com/lib/pq"
)

func main() {
	db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.3:5432/postdb")
	if err != nil {
		panic(err)
	}

	rows, err := db.Query("select * from test.tb_test")
	if err != nil {
		panic(err)
	}

	var es []testTable
	for rows.Next() {
		var e testTable
		err = rows.Scan(&e.num, &e.title, TrashScanner{}, TrashScanner{})
		if err != nil {
			panic(err)
		}
		es = append(es, e)
	}

	fmt.Printf("%v", es)
}

type testTable struct {
	num   int
	title string
}

type TrashScanner struct{}

func (TrashScanner) Scan(interface{}) error {
	return nil
}

package main

import (

"database/sql"

"fmt"

_ "github.com/lib/pq"

)

func main() {

db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.3:5432/postdb")

if err != nil {

panic(err)

}

rows, err := db.Query("select * from test.tb_test")

if err != nil {

panic(err)

}

var es []testTable

for rows.Next() {

var e testTable

err = rows.Scan(&e.num, &e.title, TrashScanner{}, TrashScanner{})

if err != nil {

panic(err)

}

es = append(es, e)

}

fmt.Printf("%v", es)

}

type testTable struct {

num int

title string

}

type TrashScanner struct{}

func (TrashScanner) Scan(interface{}) error {

return nil

}

Golang

Golang Postgresql 접속시 jdbc URI 사용할 때 이스케이프

2020년 4월 25일 elmitash 댓글 달기

Golang 에서 Postgresql 접속시 익숙한 JDBC URI 방식으로 접속 정보를 쓰고 싶었는데, 패스워드에 특수문자가 있어서 제대로 접속이 안된다. 패스워드의 특수문자는 이스케이프 해서 사용하는 방법을 설명한다.

Go 에서 Postgresql 접속하기

Go 에서 Postgresql 접속하는 방법을 검색하면 DB 접속 정보를 넣는 방법을 아래처럼 쓰고 있다.

db, err := sql.Open("postgres",
    fmt.Sprintf("user=%s password=%s dbname=%s", "postuser", "8e3#*jXq_p,E", "postdb"))

1 2	db, err := sql.Open("postgres", fmt.Sprintf("user=%s password=%s dbname=%s", "postuser", "8e3#*jXq_p,E", "postdb"))

위 코드에서는 호스트, 포트를 지정하지 않는데, 기본값인 localhost, 5432를 사용할 때는 지정하지 않아도 된다. 아래 lib/pq 문서를 보면 기본값이 나와있다.

lib/pq 문서 – https://pkg.go.dev/github.com/lib/pq?tab=doc

하지만, 고 어플리케이션을 항상 DB가 있는 서버에서 돌릴 것도 아니고, 호스트랑 포트만 써도 아래처럼 길어지게 된다.

db, err := sql.Open("postgres",
    fmt.Sprintf("host=%s port=%d user=%s password=%s dbname=%s", "192.168.0.4", "5433", "postuser", "8e3#*jXq_p,E", "postdb"))

1 2	db, err := sql.Open("postgres", fmt.Sprintf("host=%s port=%d user=%s password=%s dbname=%s", "192.168.0.4", "5433", "postuser", "8e3#*jXq_p,E", "postdb"))

난 간결한 URI 방식이 좋다. 다행히 lib/pq 문서에 보면 지원한단다. 바꿔서 써보자.

db, err := sql.Open("postgres",
    "postgres://postuser:8e3#*jXq_p,E@192.168.0.4:5433/postdb")

1 2	db, err := sql.Open("postgres", "postgres://postuser:8e3#*jXq_p,E@192.168.0.4:5433/postdb")

필요한 정보만 모아서 쓰니까 알아보기가 쉽다. 이게 잘 돌아가면 좋은데 말이지.
딱 보면 패스워드 부분의 특수문자가 문제가 되게 생겼다. 실제로 돌려보면 아래처럼 에러가 나고…

panic: parse "postgres://postuser:8e3": invalid port ":8e3" after host

1	panic: parse "postgres://postuser:8e3": invalid port ":8e3" after host

해결방법은 문제가 되는 패스워드를 이스케이프 처리하면 된다.

이스케이프 처리

아래 특수문자를 퍼센트 인코딩하면 된다.

wikipedia percent encoding — Wikipedia Percent-encoding – https://en.wikipedia.org/wiki/Percent-encoding

이스케이프한 패스워드는 아래처럼 된다.

db, err := sql.Open("postgres",
    "postgres://postuser:8e3%23%2AjXq_p%2CE@192.168.0.4:5433/postdb")

1 2	db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p%2CE@192.168.0.4:5433/postdb")

이걸로는 접속 안된다. 콤마는 이스케이프 안해도 되더라. 콤마는 그대로 둔 아래 코드로 접속에 성공했다.

db, err := sql.Open("postgres",
    "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.4:5433/postdb")

1 2	db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.4:5433/postdb")

결론은 파싱에 방해가 되는 특수문자만 이스케이프 처리해 주면 되는듯하다.
　
　
패스워드에 특수문자 넣기 좋아하는 나 같은 사람들이나 생기는 문제라 이 글이 도움될 사람은 별로 없을 것 같은데, 이렇게 써두지 않으면 나중에 내가 또 같은 함정에 걸리게 되니까 포스팅해 둬야한다. ㅋ

여담

자바에서도 같은 문제가 있나해서 해 봤는데 애초에 유저명과 패스워드는 URI 에 포함하지 않고 따로 입력하게 되어 있어서 이스케이프 처리 없이도 잘 접속 되더라.
golang 에 lib/pq 도 같은 방식으로 만들지…
　
　
접속 테스트에 사용한 golang 에서 postgresql 접속해서 select 하는 소스코드
GOLANG POSTGRES 접속해서 필요없는 컬럼은 빼고 가져오기

개발환경

DBeaver 포터블판 jre를 찾지 못해서 실행 안되는 문제

2020년 4월 25일 elmitash 댓글 달기

DBeaver(디비버) 포터블판 jre(자바 경로)를 찾지 못하는 문제를 해결해 보자.

디비버는 이클립스와 같은 플랫폼으로 만들어져 있는데, 이클립스도 요즘은 jre를 포함해서 배포되고 해서 안그렇지만, 예전엔 이렇게 자바 경로를 못찾아서 똑같은 에러가 나고 그랬다.
자바 경로를 제대로 찾지 못할 경우에는 디비버를 실행하면 아래와 같은 에러가 표시 된다.

dbeaver.ini 편집

디비버 디렉토리에 있는 dbeaver.ini 파일을 열어서 -vmargs 바로 윗줄에 jre 나 jdk 의 bin 디렉토리까지의 전체경로를 적어준다.

-vm
C:/dev/jdk-14/bin
-vmargs

-vm

C:/dev/jdk-14/bin

-vmargs

저장하고, 디비버 실행해 보면 잘 실행될 것이다.

별것도 아닌데 검색해 봐도 잘 나오질 않아서 글을 써 본다.

DB툴로 디비버는 추천

블로그에 사용하는 워드프레스는 mysql계열만 지원하고,
나는 개인적으로 postgresql를 선호해서 여러 디비를 사용할 때 디비버 같은 툴이 아주 편하다.

디비버 단점은 메모리를 많이 먹는다는거.
같은 플랫폼에서 개발된 이클립스도 같은 문제인데 요즘은 컴 성능이 상향평준화 되어서 메모리 많이 먹는건 불평거리가 못되는것 같고, 단지 로딩이 좀 느릴뿐이다.

가벼운걸 원하면 일본 개발현장에선 a5m2라고 하는 툴(정식 명칭이 A5:SQL Mk-2. 길다)을 많이 쓰는데 못생기고 기능이 디비버만큼 많지는 않지만,
딱 필요한 기능은 다 있어서 일할 때는 잘 쓰고 있다.

개인PC에서 사용할때는 컴 사양이 좋다보니 그냥 이쁘고 이것저것 다 되는 디비버가 좋은듯하다.
사실 오래전에 설치만 해두고 안쓰고 있다가 요즘 며칠동안 써 봤는데 일단 이쁘고. 화면 구성이 복잡하긴 한데 메뉴들이 직관적이라 헤매지는 않아서 좋다.
　
　
디비버는 커뮤니티 에디션만 무료다. 인터프라이즈 에디션은 시험버전만 사용가능.
DBeaver 다운로드 페이지 – https://dbeaver.io/download/

Golang, 개발환경, 윈도우 10

윈도우 환경에서 vscode github ssh 공개키 방식으로 연결해서 패스워드 입력 생략

2020년 4월 24일 elmitash 댓글 달기

윈도우 환경의 VSCode에서 github 리파지토리를 연동해서 사용할때 아이디/패스워드를 생략하기 위해 SSH 공개키/개인키를 이용해서 접속하는 방법을 설명해 보겠다.

발단

VSCode에서 golang 개발을 하고 있는데 노트북과 데스크탑을 왔다갔다하니 소스코드 공유를 위해서 github를 쓰고 있다.
소스코드 공유를 해야되니 개발 도중의 코드도 자주 푸시할 수밖에 없는데 리모트에 뭐할 때마다 아이디/패스워드를 입력하라고 해서 너무 귀찮다.
그래서 알아보니 리파지토리를 HTTPS가 아니라 SSH를 사용해서 공개키/개인키를 사용해서 접속하면 아이디/패스워드 입력을 안해도 된다고 해서 그렇게 설정하니 너무너무 편하다.

SSH로 리파지토리 접속

먼저 기존에 사용하고 있던 공개키/개인키가 있으면 공개키를 github에 등록하고, 개인키는 윈도우의 유저폴더(c:\Users\USER_ID) 디렉토리 아래 .ssh 폴더에 넣으면 된다.
만들어 둔 공개키/개인키가 없으면 다음 순서대로 진행해서 만들자.

공개키/개인키 작성

github를 쓰고 있으면 git은 당연히 설치했을건데 git 설치폴더에 보면 git-bash.exe 파일이 있다. 실행하면 리눅스 커맨드창이 뜬다.
git이 없으면 이 글을 보고 설치하자. 윈도우10 git 설치와 vscode 에서 github 리파지토리에 파일 올리기

리눅스 커맨드창을 띄웠으면 일단 유저 폴더의 .ssh 폴더로 이동한다.

cd
cd .ssh

1 2	cd cd .ssh

공개키/개인키 작성은 아래 커맨드를 입력하면 된다. -C 옵션 뒤에는 보통 이메일 주소 같은걸 쓰면 되는데, github에서 사용하는 메일주소를 넣자.

ssh-keygen -t rsa -b 4096 -C "test@gmail.com"

1	ssh-keygen -t rsa -b 4096 -C "test@gmail.com"

그 다음은 엔터 3번만 누르면 된다. 첫번째는 개인키 파일명인데 디폴트로 하기 위해서 엔터, 두번째와 세번째는 공개키/개인키에 패스워드 설정하기인데 그걸 생략하기 위해서 공개키/개인키 방식을 쓰는거니 입력하지 말고 엔터를 눌러 생략하자.

Generating public/private rsa key pair.
Enter file in which to save the key (/c/Users/USER_ID/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /c/Users/USER_ID/.ssh/id_rsa
Your public key has been saved in /c/Users/USER_ID/.ssh/id_rsa.pub

Generating public/private rsa key pair.

Enter file in which to save the key (/c/Users/USER_ID/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /c/Users/USER_ID/.ssh/id_rsa

Your public key has been saved in /c/Users/USER_ID/.ssh/id_rsa.pub

ssh-keygen을 실행한 .ssh 폴더에 id_rsa(개인키 파일)과 id_rsa.pub(공개키 파일)이 만들어진다.

github.com에 공개키를 등록

github에 로그인해서 오른쪽 위에 아이콘을 클릭하면 설정(Settings)이 나온다. 선택해서 설정 화면으로 이동. SSH and GPG keys 메뉴를 클릭하고 마지막으로 New SSH key 버튼을 누른다.

Title은 적당히 아무거나 넣고, Key 부분에 공개키인 id_rsa.pub 파일을 열어서(메모장으로 열면 됨) 내용을 전체 복사한 다음 붙여넣으면 된다.

이걸로 github에 공개키 등록은 끝났다.

VSCode에서 github 리파지토리 SSH로 연동

기존에 사용하던 리파지토리를 지우고 SSH 주소로 다시 등록한다.

github 리파지토리에서 SSH 주소를 복사한다.

Use SSH 링크를 누르면

SSH 접속 주소가 나온다. 오른쪽 옆에 아이콘을 눌러서 복사하자.

우선 기존 등록된 git remote add origin 커맨드로 등록한 https 주소를 해제하자.
VSCode에서 로컬 리파지토리 경로에 폴더에서 터미널을 열고, 아래 커맨드를 실행한다. (.git 폴더가 있는 폴더에서 커맨드를 실행하면 된다. 일반 윈도우 커맨드창에서 실행해도 됨)

git remote rm origin

1	git remote rm origin

그리고 아까 복사해 뒀던 SSH 주소로 재등록.

git remote add origin git@github.com:elmitash/go_test.git

1	git remote add origin git@github.com:elmitash/go_test.git

테스트

git fetch 를 실행하면 알려진 호스트로 등록할거냐라는 메시지가 뜨고 yes 를 입력하면 아이디/패스워드 없이 리파지토리에 접속 되는 것을 확인할 수 있다.

Golang, 개발환경, 윈도우 10

윈도우10 git 설치와 vscode 에서 github 리파지토리에 파일 올리기

2020년 4월 23일 elmitash 댓글 달기

윈도우10에서 git을 설치하고, vscode에서 작성한 코드를 github 리파지토리에 올리는 방법을 설명해 보겠다. git은 포터블판으로 설치한다.

이전글: 윈도우10 golang vscode 개발환경 구축

git 설치

git 다운로드 – https://git-scm.com/download/win

다운로드 해보면 7z 실행파일인다. 실행해서 적당한 폴더를 선택해서 압축을 푼다. 여기선 c:\dev\git 에 압축을 풀겠다.

윈도우의 환경변수에 git 의 실행파일 디렉토리를 PATH 에 추가한다. 유저 환경변수나 시스템 환경변수, 둘 중 아무데나 추가해도 된다.

윈도우10에서 환경변수 화면으로 이동하는 방법
화면 왼쪽 아래에 윈도우 마크에서 마우스 오른쪽 클릭 -> 시스템 클릭 -> 오른쪽에 시스템 정보 클릭 -> 왼쪽에 시스템의 상세설정 -> 화면 아래쪽에 환경변수 버튼 클릭

PATH 항목을 편집해 git/cmd 디렉토리를 추가하자.

vscode git에 파일 올리기

git 실행파일을 환경변수 PATH 에 추가하고 vscode 를 실행해서 왼쪽 소스컨트롤 버튼을 눌러보면 아래 이미지와 같이 표시된다.
vscode 익스플로러에 열려 있는 폴더(go_work)가 git 리파지토리를 가지고 있지 않다는 내용이다. 리파지토리 초기화 버튼을 누르자.

아래와 같이 변경된 파일이 표시 된다.
플러스(+) 아이콘을 눌러서 변경된 파일을 스테이지에 올리자.

스테이지에 파일이 올라간 상태.
윗쪽 체크 아이콘을 눌러서 커밋하자.

커밋 메시지를 입력하라는데 적당히 입력하자.

메시지 입력하고 ENTER 키를 누르면 아래와 같이 에러가 난다.

윈도우 커맨드창이든 vscode 에서 연 커맨드창(하단 TERMINAL 탭)이든 아래 내용을 입력해서 user.name과 user.email을 등록하자. github.com 에 등록된 유저명을 사용하는게 좋을 것이다.

git config --global user.name 'elmitash'
git config --global user.email 'elmitash@gmail.com'

1 2	git config --global user.name 'elmitash' git config --global user.email 'elmitash@gmail.com'

vscode git user.name 입력 — vscode 터미널에서 입력

다시 커밋해보면 에러가 안나오고 잘 된다.

github 에 올리기

github 에서 리파지토리를 만들자. 여기서 go_test 란 이름으로 만들었다.

여기서 두가지 옵션이 있는데.
하나는 go_work 아래 go_test 폴더를 통째로 github 에 올리는 방법과, go_test 아래 test.go 파일만 올리는 방법이 있다. 리파지토리 하나에 여러 폴더를 올릴 경우에는 전자가 좋을것이고, 리파지토리 하나에 하나의 폴더(프로젝트)의 내용을 올리고 싶으면 후자가 좋다.

c:\dev\go_work 에서 커맨드창을 열어서 아래 명령을 실행한다. go_test 폴더를 github 의 go_test 리파지토리에 등록한다.
c:\dev\go_work 에 있는 .git 폴더를 지우고, go_test 폴더로 이동해서 git init 를 실행한 후, 아래 명령을 실행하면, test.go 파일을 go_test 리파지토리에 등록한다.

git remote add origin <github 리파지토리 주소>
git remote add origin https://github.com/elmitash/go_test.git

1 2	git remote add origin <github 리파지토리 주소> git remote add origin https://github.com/elmitash/go_test.git

remote add github repo — test.go 파일만 올리는 후자의 방법으로 실행

커밋 되어 있는 내용을 푸쉬한다. 소스컨트롤에서 … 아이콘을 누르고, Push 를 선택.

upstream 어쩌구 팝업이 나오면 일단 OK 를 누르면 된다. upstream 관련은 아래에서 설명.

github 리파지토리에서 새로고침하면 test.go 파일이 등록되어 있는걸 확인할 수 있다.

no upstream branch

아래 명령을 한번 쳐주면 다음부터는 안나온다.

git push --set-upstream origin master

1	git push --set-upstream origin master

일	월	화	수	목	금	토
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31

ELMITASH FOR DEV

golang 테이블 쿼리시 필요없는 컬럼은 빼고 가져오기

Golang Postgresql 접속시 jdbc URI 사용할 때 이스케이프

Go 에서 Postgresql 접속하기

이스케이프 처리

여담

DBeaver 포터블판 jre를 찾지 못해서 실행 안되는 문제

dbeaver.ini 편집

DB툴로 디비버는 추천

윈도우 환경에서 vscode github ssh 공개키 방식으로 연결해서 패스워드 입력 생략

발단

SSH로 리파지토리 접속

공개키/개인키 작성

github.com에 공개키를 등록

VSCode에서 github 리파지토리 SSH로 연동

테스트

윈도우10 git 설치와 vscode 에서 github 리파지토리에 파일 올리기

git 설치

vscode git에 파일 올리기

github 에 올리기

no upstream branch

개발 환경 및 리눅스 서버 구축과 트러블 슈팅