른록노트

1. elastic conf log4j 파일을 편집한다2. log level 이라는 값에 info 로 설정한다. (error 로 설정하면 에러 로그만 찍힘) 참고사이트https://www.elastic.co/guide/en/elasticsearch/reference/current/logging.html

결론이레스틱은 루신을 사용하는 빅데이터이기때문에 많은 용량을 차지하는 document를 넣으면 루신 segment병합 과정에서 많은 IO가 발생할 수 있어서 파일을 elastic에 저장하는 방식이 아닌 fileserver를 따로 두는것을 추천한다(couchdb). 만일 base64방식으로 이레스틱에 Binary 파일을 저장할때 메모리 아웃이 자주 발생 할 수 있는데 jvm의 성능을 높혀도 일정 용량 이상에서 메모리아웃이 발생한다. 하지만 100mb정도는 max size로 지정하여 이레스틱에 사용 할 수 있다고 한다. 참고사이트https://discuss.elastic.co/t/storing-binary-files-in-elastic/63078/7https://discuss.elastic.co/t/best..

To Blob or Not to Blob Application designers often face the question of whether to store large objects in a filesystem or in a database. Often this decision is made for application design simplicity. Sometimes, performance measurements are also used. This paper looks at the question of fragmentation – one of the operational issues that can affect the performance and/or manageability of the syste..

설치하기 (CentOS 7)1. 공식사이트 들어가기2. 다운로드 버튼 클릭 (리눅스)3. yum repo 파일 생성 vi /etc/yum.repos.d/bintray-apache-couchdb-rpm.repo4.리포지터리 내용 작성[bintray--apache-couchdb-rpm]name=bintray--apache-couchdb-rpmbaseurl=http://apache.bintray.com/couchdb-rpm/el$releasever/$basearch/gpgcheck=0repo_gpgcheck=0enabled=15.sudo yum -y install epel-release && yum install couchdb 공식사이트http://couchdb.apache.org/http://docs.cou..

소개말Seamless multi-master sync, thatscales from Big Data to Mobile,with an Intuitive HTTP/JSON APIand designed for Reliability. => 직관적인 HTTP/JSON API를 사용하는 모바일에 맞춰 설계한 DB BLOB (binary large object) 이란?말 그대로 바이너리 큰 오브젝트 이다. 그리고 이러한 BLOB을 관리해주는 DB들이 여럿있다.대표적인 예로 MongoDB가 있는데 나중에 찾아보도록 하겠다. 배경이 CouchDB를 알게된 배경은 바이너리파일을 저장할 수 있는 DB를 찾다가 이레스틱홈페이지에서 알려줘서 찾아보게 되었다. 근데 흥미로운건 RESTful 방식으로 파일을 전송하고 받을 수 있다..

Elasticsearch Document 최대크기는 2G입니다 참고사이트https://www.quora.com/What-is-the-maximum-size-an-index-can-store-in-Elasticsearch-What-is-the-maximum-size-of-the-document

방법1. 처음 인덱스의 타입을 만들때 _source,exclude로 BINARY가 검색이 안되도록 빼준다2. BINARY필드에 store 옵션을 주어 field 검색으로 파일을 불러온다 문제점스크립트를 사용하여 하나의 필드만 업데이트 하려할때 저장된 파일 값이 사라진다그러므로 다시 전부 업데이트를 하거나 파일인덱스를 따로 만들어 수정없이 사용하면 된다 참고사이트https://blog.ambar.cloud/making-elasticsearch-perform-well-with-large-text-fields/

참고사이트https://discuss.elastic.co/t/how-to-cancel-search-using-the-task-management-api/73842https://www.elastic.co/guide/en/elasticsearch/reference/6.0/search.html#global-search-cancellationhttps://www.elastic.co/guide/en/elasticsearch/reference/6.0/tasks.html#_current_tasks_information