개발일기/DB11 (수정) elasticsearch + mysql(RDS) + logstash 4탄, 나는 단지 geo_point type을 사용해 검색을 하고 싶었을 뿐이다 elasticsearch 쿼리 중에 geo_point 타입을 사용해 x, y좌표 insert하고 활용해서 검색하는 그런 예제가 있다 나는 단지 그것을 활용하고 싶었을 뿐이었다 그런데 아무리 찾아봐도 내 입맛에 맞는 logstash input geo_point넣는 예제가 없어서 풀어보는 x, y 좌표 넣고 검색하기까지의 썰을 풀어보고자 한다 (설치는 생략) logstash config에 input 정보 및(mysql), output 정보(el) 설정하기 input { jdbc { jdbc_driver_library=>"\home\ubuntu\logstash-7.10.1\lib\jar_files\mysql-connector-java-8.0.19.jar" jdbc_driver_class => "com.mysq.. 2022. 8. 19. elasticsearch + logstash 3탄 자동화를 해보자 path.config=logstash. 서론 빼고 본론으로 바로 들어가서 logstash yum 설정을 건드려주면 어떻게든 된다는 말에 일단 시도 해보았다 (근데 여기서 들었던 의문, 어떤 파일을 실행해야 하며 여러개의 테이블을 동기화 하고싶을땐 어떻게 해야하지...? 일단 해보고 나중에 풀어보자) 경로 cd logstash-버전/config vi logstash.yum 아래와 같이 변경해주면 된다고 함 config.reload.automatic: true config.reload.interval:300s +@ config파일들 모아놓고 파일 모아놓은곳 경로 설정하기 path.config=/home/ubuntu/logstash-7.10.2/abled/*.conf # 위 경로까지 작성했으면 wq! 로 vi.. 2022. 8. 18. AWS Chatbot 기능 살펴보기 오늘은 사용은 아니고 살펴보는 정도 aws에서 데이터 동기화 관련 필요한 기능을 살펴보다 이런것 까지 이제 제공을 해? 하고 신기해서 살펴본 기능 "AWS Chatbot" 제공 목적은 AWS에서 서비스하고자 하는 채팅 채널에서 워크로드 그러니까 전반적인 업무 흐름을 손쉽게 모티터링 할 수 있도록 도움을 주기 위해 만들었다고 한다 AWS Chatbot은 내가 잘 모르는 아마존 차임(Amazon Chime)이라는 클라이언트와 현재 이용중인 Slack 두개 클라이언트에 연동해서 사용할 수 있도록 서비스를 제공하고 있는데 클릭 몇 번 만으로 채팅 채널에서 AWS 알림을 수신하고, 어떤 알림을 어떻게 수신했는지 모니터링 하고 요런것들을 효율적으로 관리하는걸 목적으로 두는듯 하다 예를들어 요즘 개인이 증시 정보나 .. 2022. 8. 12. (수정) elasticsearch + logstash 설치 2탄, AWS와 연결 성공! 환경 및 버전 OS / Window10, 11 Elasticsearch / 7.10.1 Kibana / 7.10.1 logstash / 7.10.1 maria db / 10.6.1 , 커넥터는 1.8.0 (JDBC 8.x) 순서 1. jdbc 설치 - mysql 커넥터 2. logstash 설치 3. elasticsearch 엔트 포인트 및 rds 엔드 포인트 연결해서 로컬에서 테스트 4. endpoint와 연결하기 위해 필요한 amazon_es 설치 5. config 작성 후 실행 1. jdbc 설치 mysql 사이트가서 링크 주소 복사 한다음 wget으로 다운 받고 dpkg로 설치하면 '/usr/shere/java/'위치에 설치되어있는 jar파일 확인할 수 있음 wget으로 다운 받고 dpkg로 설치.. 2022. 8. 11. 이전 1 2 3 다음
