2019년 03월 19일 13시 32분
사건의 시작
인스타그램에서 태그를 크롤링 하는 시스템을 테스트 하는 중이다. 초당 50개가 insert된다. 처음에 내가 테스트한 디비는 SQLite, 설치하기 귀찮에서 선택했다.
그리고 이것이 재앙의 시작이었다.
SQLite는 초당 50개의 입력을 그럭저럭 소화하는 듯이 보였다. 이모티콘도 알아서 잘 기록되었다. 하지만 인서트 도중 무언가를 할려면
넘 바뻐서 못하겠어. 그럼 20000
이런 건방진 메세지를 던지고 로직을 종료해 버렸다.......
순진한 나는 이 문제를 코드로 해결해보려고 했다.
.
.
.
그리고 당연히 해결하지 못했다.....
고민끝에 나는 디비를 mysql로 변경하기로 했다. 사실 바로 이때 동료 개발자가 mariaDB를 쓰라고 권유했지만 이미 mysql 설치 명령어를 친 뒤었다......그리고 이것도 나중에 재앙이 된다....ㅠㅠ
망할 mysql은 잘 인서트 되는것처럼 보였다. 근데 군데군데 이상한 오류가 보이기 시작했다. 파해쳐보니 이모티콘을 쓰다 에러가 발생하는 것, 찾아보니 대충 일반 글자는 2바이트인데 이모티콘은 4바이트라 생기는 문제, mysql은 4바이트를 사용하려면 따로 설정을 해줘야 했다.
하지만 그 외 뭔가 자잘한 오류가 계속 발생하여.......다시 mariaDB로 변경하였다.
그리고 평화가 찾아왔다.....대용량 데이터를 취급할거라면 처음부터 MariaDB를 사용하자.
Tag : 개발 디비 mariadb mysql sqlite
공유하기
추천 글
-
01월 03일
-
08월 07일
-
06월 05일
-
03월 19일