IT Data 분석/빅 데이터

elasticsearch에서 indexing시의 문제점들

totoro2030 2022. 12. 27. 19:01

엘라스틱서치에서는 자체적으로 내부 인덱싱 파서와 검색 파서를 지정하여 사용된다. 더우기 더 문제가 되는 부분은 초기 데이터 템플릿을 명확하게 지정하지 않고 dynamic하게 지정되어 있을 경우, 동일한 필드의 인덱싱 타입이 달라(예: string, integer 가 동일 필드에 섞여 있을 경우) 필드 데이터가 string이 들어간 후 integer 타입이 추가 인덱싱되어 저장될 수 있으나, integer 타입 value가 인덱싱된 이후, string 타입이 인덱싱 될 수 없는 등의 세세한 문제점과 같이 고려해야 할 사항이 많다. 단순하게 파싱하고 정의한 후 끝이 아닌 새로운 큰 고민의 시작이라는 것을 알아본 하루.