태그 글 보관함: Postgresql

우분투 서버 20.04 LTS Postgresql12 설치와 설정

2020년 4월 27일 elmitash 댓글 달기

우분투 서버 20.04 LTS 에서 Postgresql 의 최신 버전인 Postgresql12 를 설치하는 방법을 설명한다.

사실 공식 가이드대로 하면 별 문제는 없다.
공식 인스톨 가이드 – https://www.postgresql.org/download/linux/ubuntu/

pgdg.list 파일을 만들고 nano 편집기로 열자.

sudo touch /etc/apt/sources.list.d/pgdg.list
sudo nano /etc/apt/sources.list.d/pgdg.list

1 2	sudo touch /etc/apt/sources.list.d/pgdg.list sudo nano /etc/apt/sources.list.d/pgdg.list

pgdg.list 파일에 아래 내용을 넣고 저장하자. nano 에디터에서 저장은 Ctrl+O, 닫기는 Ctrl+X 이다.

deb http://apt.postgresql.org/pub/repos/apt/ focal-pgdg main

1	deb http://apt.postgresql.org/pub/repos/apt/ focal-pgdg main

아래 커맨드를 차례대로 실행하면 설치까지 끝난다.

wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
sudo apt update
sudo apt install postgresql-12

wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -

sudo apt update

sudo apt install postgresql-12

아래 글에서 유저 추가와 외부에서 접속하는 설정을 가져왔다.
관련글: Postgresql 12 버젼을 우분투 18.04 에 설치 설정

유저 추가

아래 커맨드 중 elmitash 부분을 사용하고 싶은 아이디로 바꿀것.
postgres 유저로 바꾼 후, 새로운 유저를 추가
패스워드를 두번 입력

sudo su - postgres
createuser --pwprompt --interactive elmitash

1 2	sudo su - postgres createuser --pwprompt --interactive elmitash

Shall the new role be a superuser? (y/n) y

1	Shall the new role be a superuser? (y/n) y

y를 입력해 관리자 권한을 준다

접속 테스트

psql -h localhost -U elmitash -d postgres

1	psql -h localhost -U elmitash -d postgres

외부 접속

postgresql.conf 파일을 수정

sudo nano /etc/postgresql/12/main/postgresql.conf

1	sudo nano /etc/postgresql/12/main/postgresql.conf

아래 부분을 찾아 주석 해제하고 localhost 를 * 로 바꾼다. 특정 IP에서만 접속할 경우엔 IP 주소를 쓰면 된다.

#listen_addresses = 'localhost'          # what IP address(es) to listen on;
>>
listen_addresses = '*'                         # what IP address(es) to listen on;

#listen_addresses = 'localhost' # what IP address(es) to listen on;

listen_addresses = '*' # what IP address(es) to listen on;

pg_hba.conf 파일을 수정

sudo nano /etc/postgresql/12/main/pg_hba.conf

1	sudo nano /etc/postgresql/12/main/pg_hba.conf

접속 인증을 할 IP 범위를 설정하기 위해서 아래 내용을 추가한다. 내부 네트웍일 경우 아래 내용에서 아이피 정도만 바꾸면 될듯.

host    all             all             192.168.1.1/24          md5

1	host all all 192.168.1.1/24 md5

설정을 마쳤으면 Postgresql 서비스 재시작

sudo systemctl restart postgresql

1	sudo systemctl restart postgresql

　
　
서버 시간(타임존)도 안맞추고 설치했다가 시간이 안맞아서 보니 타임존 설정이 잘못 되어 있었다.
아래 형식으로 지역에 맞는 걸로 DB 쿼리를 날리면 된다.

SET TIME ZONE 'Asia/Seoul';
SET TIME ZONE 'Asia/Tokyo';

1 2	SET TIME ZONE 'Asia/Seoul'; SET TIME ZONE 'Asia/Tokyo';

Golang

golang 테이블 쿼리시 필요없는 컬럼은 빼고 가져오기

2020년 4월 25일 elmitash 댓글 달기

golang 에서 데이터베이스의 테이블 데이터를 가져올 때, Scan을 사용하면서 작성한 쿼리 결과의 컬럼 수 만큼 변수를 지정해서 가져와야 하는데,
필요없는 컬럼(당장 쓸일이 없지만, 혹시 몰라 넣어두는 작성일이나 갱신일 같은 컬럼)의 데이터는 빼고 가져오는 방법이 있어서 여기에 올려둔다.

필요한 컬럼만 쿼리하면 되는데 왜 이런걸 쓰냐…할 수도 있는데,
컬럼 수가 많으면 select * 으로 해버리는게 편하고, 컬럼 이름 일일이 쓰는게 귀찮기도 하니까 그렇다.

바로 테스트할 수 있도록 소스코드를 다 올리지만, Scan 부분과 TrashScanner 만 보면 된다.
　
　
참고글: database/sql の Rows.Scan で不要なカラムデータを読み捨てる – https://qiita.com/wanko/items/2e6b5dd4867adaa24ec6
일본어다.
　
　

package main

import (
	"database/sql"
	"fmt"

	_ "github.com/lib/pq"
)

func main() {
	db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.3:5432/postdb")
	if err != nil {
		panic(err)
	}

	rows, err := db.Query("select * from test.tb_test")
	if err != nil {
		panic(err)
	}

	var es []testTable
	for rows.Next() {
		var e testTable
		err = rows.Scan(&e.num, &e.title, TrashScanner{}, TrashScanner{})
		if err != nil {
			panic(err)
		}
		es = append(es, e)
	}

	fmt.Printf("%v", es)
}

type testTable struct {
	num   int
	title string
}

type TrashScanner struct{}

func (TrashScanner) Scan(interface{}) error {
	return nil
}

package main

import (

"database/sql"

"fmt"

_ "github.com/lib/pq"

)

func main() {

db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.3:5432/postdb")

if err != nil {

panic(err)

}

rows, err := db.Query("select * from test.tb_test")

if err != nil {

panic(err)

}

var es []testTable

for rows.Next() {

var e testTable

err = rows.Scan(&e.num, &e.title, TrashScanner{}, TrashScanner{})

if err != nil {

panic(err)

}

es = append(es, e)

}

fmt.Printf("%v", es)

}

type testTable struct {

num int

title string

}

type TrashScanner struct{}

func (TrashScanner) Scan(interface{}) error {

return nil

}

Golang

Golang Postgresql 접속시 jdbc URI 사용할 때 이스케이프

2020년 4월 25일 elmitash 댓글 달기

Golang 에서 Postgresql 접속시 익숙한 JDBC URI 방식으로 접속 정보를 쓰고 싶었는데, 패스워드에 특수문자가 있어서 제대로 접속이 안된다. 패스워드의 특수문자는 이스케이프 해서 사용하는 방법을 설명한다.

Go 에서 Postgresql 접속하기

Go 에서 Postgresql 접속하는 방법을 검색하면 DB 접속 정보를 넣는 방법을 아래처럼 쓰고 있다.

db, err := sql.Open("postgres",
    fmt.Sprintf("user=%s password=%s dbname=%s", "postuser", "8e3#*jXq_p,E", "postdb"))

1 2	db, err := sql.Open("postgres", fmt.Sprintf("user=%s password=%s dbname=%s", "postuser", "8e3#*jXq_p,E", "postdb"))

위 코드에서는 호스트, 포트를 지정하지 않는데, 기본값인 localhost, 5432를 사용할 때는 지정하지 않아도 된다. 아래 lib/pq 문서를 보면 기본값이 나와있다.

lib/pq 문서 – https://pkg.go.dev/github.com/lib/pq?tab=doc

하지만, 고 어플리케이션을 항상 DB가 있는 서버에서 돌릴 것도 아니고, 호스트랑 포트만 써도 아래처럼 길어지게 된다.

db, err := sql.Open("postgres",
    fmt.Sprintf("host=%s port=%d user=%s password=%s dbname=%s", "192.168.0.4", "5433", "postuser", "8e3#*jXq_p,E", "postdb"))

1 2	db, err := sql.Open("postgres", fmt.Sprintf("host=%s port=%d user=%s password=%s dbname=%s", "192.168.0.4", "5433", "postuser", "8e3#*jXq_p,E", "postdb"))

난 간결한 URI 방식이 좋다. 다행히 lib/pq 문서에 보면 지원한단다. 바꿔서 써보자.

db, err := sql.Open("postgres",
    "postgres://postuser:8e3#*jXq_p,E@192.168.0.4:5433/postdb")

1 2	db, err := sql.Open("postgres", "postgres://postuser:8e3#*jXq_p,E@192.168.0.4:5433/postdb")

필요한 정보만 모아서 쓰니까 알아보기가 쉽다. 이게 잘 돌아가면 좋은데 말이지.
딱 보면 패스워드 부분의 특수문자가 문제가 되게 생겼다. 실제로 돌려보면 아래처럼 에러가 나고…

panic: parse "postgres://postuser:8e3": invalid port ":8e3" after host

1	panic: parse "postgres://postuser:8e3": invalid port ":8e3" after host

해결방법은 문제가 되는 패스워드를 이스케이프 처리하면 된다.

이스케이프 처리

아래 특수문자를 퍼센트 인코딩하면 된다.

wikipedia percent encoding — Wikipedia Percent-encoding – https://en.wikipedia.org/wiki/Percent-encoding

이스케이프한 패스워드는 아래처럼 된다.

db, err := sql.Open("postgres",
    "postgres://postuser:8e3%23%2AjXq_p%2CE@192.168.0.4:5433/postdb")

1 2	db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p%2CE@192.168.0.4:5433/postdb")

이걸로는 접속 안된다. 콤마는 이스케이프 안해도 되더라. 콤마는 그대로 둔 아래 코드로 접속에 성공했다.

db, err := sql.Open("postgres",
    "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.4:5433/postdb")

1 2	db, err := sql.Open("postgres", "postgres://postuser:8e3%23%2AjXq_p,E@192.168.0.4:5433/postdb")

결론은 파싱에 방해가 되는 특수문자만 이스케이프 처리해 주면 되는듯하다.
　
　
패스워드에 특수문자 넣기 좋아하는 나 같은 사람들이나 생기는 문제라 이 글이 도움될 사람은 별로 없을 것 같은데, 이렇게 써두지 않으면 나중에 내가 또 같은 함정에 걸리게 되니까 포스팅해 둬야한다. ㅋ

여담

자바에서도 같은 문제가 있나해서 해 봤는데 애초에 유저명과 패스워드는 URI 에 포함하지 않고 따로 입력하게 되어 있어서 이스케이프 처리 없이도 잘 접속 되더라.
golang 에 lib/pq 도 같은 방식으로 만들지…
　
　
접속 테스트에 사용한 golang 에서 postgresql 접속해서 select 하는 소스코드
GOLANG POSTGRES 접속해서 필요없는 컬럼은 빼고 가져오기

Postgresql, 우분투 서버 18.04 LTS

Postgresql 12 버젼을 우분투 18.04 에 설치 설정

2020년 3월 18일 elmitash 댓글 달기

Postgresql 12 설치

참고 : Postgresql의 우분투용 설치 가이드

아래 명령으로 /etc/apt/sources.list.d 디렉토리에 pgdg.list 파일을 만들어 Postgresql 저장소를 추가한다.

sudo echo "deb http://apt.postgresql.org/pub/repos/apt/ bionic-pgdg main" | sudo tee /etc/apt/sources.list.d/pgdg.list

1	sudo echo "deb http://apt.postgresql.org/pub/repos/apt/ bionic-pgdg main" \| sudo tee /etc/apt/sources.list.d/pgdg.list

우분투 버전이 18.04가 아닐 경우에는 ‘bionic’ 을 해당 우분투 버전이름으로 변경할것.

우분투 버전별 이름 (Postgresql 저장소에 존재하는 것만)
12.04 LTS precise
14.04 LTS trusty
16.04 LTS xenial
18.04 bionic
18.10 cosmic
19.04 disco
19.10 eoan

저장소 인증키를 추가

wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -

1	wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc \| sudo apt-key add -

apt update / Postgres-12를 인스톨

sudo apt update
sudo apt install postgres-12

1 2	sudo apt update sudo apt install postgres-12

유저 추가

아래 커맨드 중 elmitash 부분을 사용하고 싶은 아이디로 바꿀것.
postgres 유저로 바꾼 후, 새로운 유저를 추가
패스워드를 두번 입력

sudo su - postgres
createuser --pwprompt --interactive elmitash

1 2	sudo su - postgres createuser --pwprompt --interactive elmitash

Shall the new role be a superuser? (y/n) y

1	Shall the new role be a superuser? (y/n) y

y를 입력해 관리자 권한을 준다

접속 테스트

psql -h localhost -U elmitash -d postgres

1	psql -h localhost -U elmitash -d postgres

외부 접속

postgresql.conf 파일을 수정

sudo nano /etc/postgresql/12/main/postgresql.conf

1	sudo nano /etc/postgresql/12/main/postgresql.conf

아래 부분을 찾아 주석 해제하고 localhost 를 * 로 바꾼다. 특정 IP에서만 접속할 경우엔 IP 주소를 쓰면 된다.

#listen_addresses = 'localhost'          # what IP address(es) to listen on;
>>
listen_addresses = '*'                         # what IP address(es) to listen on;

#listen_addresses = 'localhost' # what IP address(es) to listen on;

listen_addresses = '*' # what IP address(es) to listen on;

pg_hba.conf 파일을 수정

sudo nano /etc/postgresql/12/main/pg_hba.conf

1	sudo nano /etc/postgresql/12/main/pg_hba.conf

접속 인증을 할 IP 범위를 설정하기 위해서 아래 내용을 추가한다. 내부 네트웍일 경우 아래 내용에서 아이피 정도만 바꾸면 될듯.

host    all             all             192.168.1.1/24         md5

1	host all all 192.168.1.1/24 md5

설정을 마쳤으면 Postgresql 서비스 재시작

sudo service postgresql restart

1	sudo service postgresql restart

문제 해결

이놈의 방화벽… 진짜…
iptables 의 경우 숫자 6은 sudo iptables -L 로 확인해서 수정할 것.

sudo iptables -I INPUT 6 -m state --state NEW -m tcp -p tcp --dport 5432 -j ACCEPT

1	sudo iptables -I INPUT 6 -m state --state NEW -m tcp -p tcp --dport 5432 -j ACCEPT

ufw 의 경우는 간단.

sudo ufw allow 5432/tcp
sudo service ufw restart

1 2	sudo ufw allow 5432/tcp sudo service ufw restart

오라클 클라우드는 인스턴스의 보안 목록에 수신 규칙을 추가해야한다. TCP의 5432번 포트를 개방.

ELMITASH FOR DEV

태그 글 보관함: Postgresql

우분투 서버 20.04 LTS Postgresql12 설치와 설정

유저 추가

외부 접속

golang 테이블 쿼리시 필요없는 컬럼은 빼고 가져오기

Golang Postgresql 접속시 jdbc URI 사용할 때 이스케이프

Go 에서 Postgresql 접속하기

이스케이프 처리

여담

Postgresql 12 버젼을 우분투 18.04 에 설치 설정

Postgresql 12 설치

유저 추가

외부 접속

문제 해결

개발 환경 및 리눅스 서버 구축과 트러블 슈팅

2024 11월
일	월	화	수	목	금	토
					1	2
3	4	5	6	7	8	9
10	11	12	13	14	15	16
17	18	19	20	21	22	23
24	25	26	27	28	29	30