golang 테이블 쿼리시 필요없는 컬럼은 빼고 가져오기

2020년 4월 25일 elmitash 댓글 달기

golang 에서 데이터베이스의 테이블 데이터를 가져올 때, Scan을 사용하면서 작성한 쿼리 결과의 컬럼 수 만큼 변수를 지정해서 가져와야 하는데,
필요없는 컬럼(당장 쓸일이 없지만, 혹시 몰라 넣어두는 작성일이나 갱신일 같은 컬럼)의 데이터는 빼고 가져오는 방법이 있어서 여기에 올려둔다.

필요한 컬럼만 쿼리하면 되는데 왜 이런걸 쓰냐…할 수도 있는데,
컬럼 수가 많으면 select * 으로 해버리는게 편하고, 컬럼 이름 일일이 쓰는게 귀찮기도 하니까 그렇다.

바로 테스트할 수 있도록 소스코드를 다 올리지만, Scan 부분과 TrashScanner 만 보면 된다.
　
　
참고글: database/sql の Rows.Scan で不要なカラムデータを読み捨てる – https://qiita.com/wanko/items/2e6b5dd4867adaa24ec6
일본어다.
　
　

package main

import (
	"database/sql"
	"fmt"

	_ "github.com/lib/pq"
)

func main() {
	db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.3:5432/postdb")
	if err != nil {
		panic(err)
	}

	rows, err := db.Query("select * from test.tb_test")
	if err != nil {
		panic(err)
	}

	var es []testTable
	for rows.Next() {
		var e testTable
		err = rows.Scan(&e.num, &e.title, TrashScanner{}, TrashScanner{})
		if err != nil {
			panic(err)
		}
		es = append(es, e)
	}

	fmt.Printf("%v", es)
}

type testTable struct {
	num   int
	title string
}

type TrashScanner struct{}

func (TrashScanner) Scan(interface{}) error {
	return nil
}

package main

import (

"database/sql"

"fmt"

_ "github.com/lib/pq"

)

func main() {

db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.3:5432/postdb")

if err != nil {

panic(err)

}

rows, err := db.Query("select * from test.tb_test")

if err != nil {

panic(err)

}

var es []testTable

for rows.Next() {

var e testTable

err = rows.Scan(&e.num, &e.title, TrashScanner{}, TrashScanner{})

if err != nil {

panic(err)

}

es = append(es, e)

}

fmt.Printf("%v", es)

}

type testTable struct {

num int

title string

}

type TrashScanner struct{}

func (TrashScanner) Scan(interface{}) error {

return nil

}

Golang

Golang Postgresql 접속시 jdbc URI 사용할 때 이스케이프

2020년 4월 25일 elmitash 댓글 달기

Golang 에서 Postgresql 접속시 익숙한 JDBC URI 방식으로 접속 정보를 쓰고 싶었는데, 패스워드에 특수문자가 있어서 제대로 접속이 안된다. 패스워드의 특수문자는 이스케이프 해서 사용하는 방법을 설명한다.

Go 에서 Postgresql 접속하기

Go 에서 Postgresql 접속하는 방법을 검색하면 DB 접속 정보를 넣는 방법을 아래처럼 쓰고 있다.

db, err := sql.Open("postgres",
    fmt.Sprintf("user=%s password=%s dbname=%s", "postuser", "8e3#*jXq_p,E", "postdb"))

1 2	db, err := sql.Open("postgres", fmt.Sprintf("user=%s password=%s dbname=%s", "postuser", "8e3#*jXq_p,E", "postdb"))

위 코드에서는 호스트, 포트를 지정하지 않는데, 기본값인 localhost, 5432를 사용할 때는 지정하지 않아도 된다. 아래 lib/pq 문서를 보면 기본값이 나와있다.

lib/pq 문서 – https://pkg.go.dev/github.com/lib/pq?tab=doc

하지만, 고 어플리케이션을 항상 DB가 있는 서버에서 돌릴 것도 아니고, 호스트랑 포트만 써도 아래처럼 길어지게 된다.

db, err := sql.Open("postgres",
    fmt.Sprintf("host=%s port=%d user=%s password=%s dbname=%s", "192.168.0.4", "5433", "postuser", "8e3#*jXq_p,E", "postdb"))

1 2	db, err := sql.Open("postgres", fmt.Sprintf("host=%s port=%d user=%s password=%s dbname=%s", "192.168.0.4", "5433", "postuser", "8e3#*jXq_p,E", "postdb"))

난 간결한 URI 방식이 좋다. 다행히 lib/pq 문서에 보면 지원한단다. 바꿔서 써보자.

db, err := sql.Open("postgres",
    "postgres://postuser:8e3#*jXq_p,E@192.168.0.4:5433/postdb")

1 2	db, err := sql.Open("postgres", "postgres://postuser:8e3#*jXq_p,E@192.168.0.4:5433/postdb")

필요한 정보만 모아서 쓰니까 알아보기가 쉽다. 이게 잘 돌아가면 좋은데 말이지.
딱 보면 패스워드 부분의 특수문자가 문제가 되게 생겼다. 실제로 돌려보면 아래처럼 에러가 나고…

panic: parse "postgres://postuser:8e3": invalid port ":8e3" after host

1	panic: parse "postgres://postuser:8e3": invalid port ":8e3" after host

해결방법은 문제가 되는 패스워드를 이스케이프 처리하면 된다.

이스케이프 처리

아래 특수문자를 퍼센트 인코딩하면 된다.

wikipedia percent encoding — Wikipedia Percent-encoding – https://en.wikipedia.org/wiki/Percent-encoding

이스케이프한 패스워드는 아래처럼 된다.

db, err := sql.Open("postgres",
    "postgres://postuser:8e3%23%2AjXq_p%2CE@192.168.0.4:5433/postdb")

1 2	db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p%2CE@192.168.0.4:5433/postdb")

이걸로는 접속 안된다. 콤마는 이스케이프 안해도 되더라. 콤마는 그대로 둔 아래 코드로 접속에 성공했다.

db, err := sql.Open("postgres",
    "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.4:5433/postdb")

1 2	db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.4:5433/postdb")

결론은 파싱에 방해가 되는 특수문자만 이스케이프 처리해 주면 되는듯하다.
　
　
패스워드에 특수문자 넣기 좋아하는 나 같은 사람들이나 생기는 문제라 이 글이 도움될 사람은 별로 없을 것 같은데, 이렇게 써두지 않으면 나중에 내가 또 같은 함정에 걸리게 되니까 포스팅해 둬야한다. ㅋ

여담

자바에서도 같은 문제가 있나해서 해 봤는데 애초에 유저명과 패스워드는 URI 에 포함하지 않고 따로 입력하게 되어 있어서 이스케이프 처리 없이도 잘 접속 되더라.
golang 에 lib/pq 도 같은 방식으로 만들지…
　
　
접속 테스트에 사용한 golang 에서 postgresql 접속해서 select 하는 소스코드
GOLANG POSTGRES 접속해서 필요없는 컬럼은 빼고 가져오기

개발환경

DBeaver 포터블판 jre를 찾지 못해서 실행 안되는 문제

2020년 4월 25일 elmitash 댓글 달기

DBeaver(디비버) 포터블판 jre(자바 경로)를 찾지 못하는 문제를 해결해 보자.

디비버는 이클립스와 같은 플랫폼으로 만들어져 있는데, 이클립스도 요즘은 jre를 포함해서 배포되고 해서 안그렇지만, 예전엔 이렇게 자바 경로를 못찾아서 똑같은 에러가 나고 그랬다.
자바 경로를 제대로 찾지 못할 경우에는 디비버를 실행하면 아래와 같은 에러가 표시 된다.

dbeaver.ini 편집

디비버 디렉토리에 있는 dbeaver.ini 파일을 열어서 -vmargs 바로 윗줄에 jre 나 jdk 의 bin 디렉토리까지의 전체경로를 적어준다.

-vm
C:/dev/jdk-14/bin
-vmargs

-vm

C:/dev/jdk-14/bin

-vmargs

저장하고, 디비버 실행해 보면 잘 실행될 것이다.

별것도 아닌데 검색해 봐도 잘 나오질 않아서 글을 써 본다.

DB툴로 디비버는 추천

블로그에 사용하는 워드프레스는 mysql계열만 지원하고,
나는 개인적으로 postgresql를 선호해서 여러 디비를 사용할 때 디비버 같은 툴이 아주 편하다.

디비버 단점은 메모리를 많이 먹는다는거.
같은 플랫폼에서 개발된 이클립스도 같은 문제인데 요즘은 컴 성능이 상향평준화 되어서 메모리 많이 먹는건 불평거리가 못되는것 같고, 단지 로딩이 좀 느릴뿐이다.

가벼운걸 원하면 일본 개발현장에선 a5m2라고 하는 툴(정식 명칭이 A5:SQL Mk-2. 길다)을 많이 쓰는데 못생기고 기능이 디비버만큼 많지는 않지만,
딱 필요한 기능은 다 있어서 일할 때는 잘 쓰고 있다.

개인PC에서 사용할때는 컴 사양이 좋다보니 그냥 이쁘고 이것저것 다 되는 디비버가 좋은듯하다.
사실 오래전에 설치만 해두고 안쓰고 있다가 요즘 며칠동안 써 봤는데 일단 이쁘고. 화면 구성이 복잡하긴 한데 메뉴들이 직관적이라 헤매지는 않아서 좋다.
　
　
디비버는 커뮤니티 에디션만 무료다. 인터프라이즈 에디션은 시험버전만 사용가능.
DBeaver 다운로드 페이지 – https://dbeaver.io/download/

일	월	화	수	목	금	토
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30

ELMITASH FOR DEV

일별 글 보관함: 2020년 4월 25일

golang 테이블 쿼리시 필요없는 컬럼은 빼고 가져오기

Golang Postgresql 접속시 jdbc URI 사용할 때 이스케이프

Go 에서 Postgresql 접속하기

이스케이프 처리

여담

DBeaver 포터블판 jre를 찾지 못해서 실행 안되는 문제

dbeaver.ini 편집

DB툴로 디비버는 추천

개발 환경 및 리눅스 서버 구축과 트러블 슈팅