본문 바로가기

우아한테크코스/프로젝트

instagram 데이터를 수집하며 겪었던 문제들 2020. 10. 4. 인스타그램 인기게시물 지도 제공 서비스 당신이 모르는 그곳, 미소를 만들기 위해 인스타그램 데이터를 수집하며 겪었던 문제와 팀원들과 함께 해결한 내용을 쭉 정리해보자. 인스타그램 인기 게시물 지도 제공 서비스인 미소를 만들기 위해서는 인스타그램의 정보가 필수적으로 필요했다. 인기 게시물을 Hashtag 개수를 기준으로 판단하기 위한 특정 가게의 Hashtag 개수 및 인스타그램에서 특정 가게 검색 시 노출되는 9개 인기 게시물의 이미지 URL과 포스트 URL이 필요했다. 처음엔 'instagram API를 사용하면 되겠지~'라고 막연하게 생각했다. 서울만 해도 약 4만 개의 가게가 있고 거기에 인기 게시물 9개의 이미지, 포스트 URL까지, 시간당 200번 요청은 터무니없이 작게 느껴졌다...
Multi Module 2020. 9. 21. gradle에서 서브 프로젝트를 추가하기 위해서는 최상위 프로젝트 settings.gradle에 아래와 같이 추가해준다. include 'hashtagmap-web' include 'hashtagmap-core' include 'hashtagmap-instagram-crawler' include 'hashtagmap-kakao-api' include 'hashtagmap-admin' include 'hashtagmap-kakao-scheduler' include 'hashtagmap-instagram-scheduler' include 'hashtagmap-common' include '..
Logback, Error 로그 Slack 알림 받기 2020. 8. 25. 팀 프로젝트에서 Logback 라이브러리로 로그를 관리한다. 기존에는 slf4j로 로그를 찍으면 EC2 인스턴스의 log파일에 저장하는 방식으로 설정해뒀었다. 이렇게 로그 관리를 하니 문제점이 많았다. 서비스를 운영하면서 error가 터질 때마다 ec2 인스턴스에 직접 접근해서 log파일을 뒤져야하는 번거로운 과정을 거쳐야했다. 또 실시간으로 error를 빨리 확인할 수 없었다. 매번 서비스가 터진 걸 모르고있다가 팀원 중 누군가 우연히 들어갔을 때 서비스가 터졌음을 확인했다. 그럼 인스턴스에 접근해서 log파일을 뒤져서 왜 에러가 났는지 확인하고, 고치고.. 이런 과정을 반복했다. 이러한 문제점을 해결하기 위해 Error가 터지면, 실시간으로 Error 로그를 Slack 메신저로 알림을 받는 환경을 구..
Logback 이해하기 2020. 7. 29. 팀 프로젝트에서 Logback을 학습해서 적용하고 내가 이해한 내용을 팀원들에게 공유하기 위해 github Wiki에 작성했던 글을 옮긴 포스팅이다. 편한 팀원들에게 안쓰던 존댓말을 쓰면서 글을 작성하려다보니 말투가 조금 이상해졌다.😏 로깅을 도와주는 라이브러리 로깅을 도와주는 대표적인 라이브러리는 log4j, log4j2, logback 가 있어요. 나온 순서는 log4j -> logback -> log4j2 입니다. 최신에 나온 라이브러리일수록 앞선 라이브러리의 단점을 보완해서 더 좋은 성능과 기능을 제공합니다. 요즘 웬만한 프로젝트는 logback을 사용하고 저희 프로젝트에서도 logback을 사용합니다. 왜 log4j와 log4j2가 아닌 logback을 선택했을까요? logback은 우선 앞서 ..

티스토리툴바