弱いエンジニアの備忘録

自分的に気になった技術に関するメモや備忘録です。Elasticsearchに関する記事が多くなりそうです。

elasticsearch

vimからelasticsearchのAPIを叩く方法メモ

大変長らく放置してしまいましたが、久しぶりに更新。 はじめに vimで作業をしている時に、 ElasticsearchのAPIを叩きたくなることが良くありますよね。(ないか)私の場合、「logstashでelasticsearchにデータを投入している傍ら、設定を編集する」といった…

elasticsearch6.xの親子関係を整理してみた

この記事はElastic stack Advent Calendar 2017 の17日目の記事となります。 概要 elasticsearchで、親子関係を持ったデータを扱うには、幾つかの方法があります。 例えば 親の情報を冗長に保持して、親子を1対1の関係にする object配列として子供を保持する…

X-Pack Watcherのindex actionではまったメモ

概要 elasticsearchのWatcher/Alertingを使っていて、はまったのでメモ。 具体的には "index action" についてです。特定の条件を満たしたデータをまとめて別indexにbulkします。 バージョン情報など elasticsearch-5.6.3 kibana-5.6.3 macOS High Sierra 10…

elasticsearchのfieldを一部修正する

概要 elasticesearchに入れたデータを後で修正したくなった時の修正手順。 update by queryを使います。 バージョン情報など elasticsearch-6.0.0-alpha2 kibana-6.0.0-alpha2 前提 ユーザーのアカウント情報を持つaccountというindexを作成しました。 field…

elasticsearchでデータ型を修正するメモ

概要 elasticsearchに入れたデータの型を修正する手順をメモ。 バージョン情報など elasticsearch-6.0.0-alpha2 kibana-6.0.0-alpha2 前提 ・elasticsearchにデータを入れてみたけど、やっぱりデータ型が違っていた。 ・データ量がそれほど大きくないreindex…

ElasticsearchのAggregationをpagingする

概要 elasticsearchにはaggregationという便利な機能がありますが、 paginationを提供していません。aggregateの仕組み上単純な話ではないようです。 そのあたりの詳細は(https://github.com/elastic/elasticsearch/issues/4915)をご覧ください。今回はaggre…

logstashからelasticsearchへデータを送る時に最低限知っておくべき設定

概要 logstashからelasticsearchにデータを送る時の最低限の設定に関するメモ バージョン情報など elasticsearch-5.x logstash-5.x 設定ファイル内容 input{ 省略 } filter{ } output{ elasticsearch{ hosts => "localhost:9200" index => "test_index" docu…

elasticsearchにoffice系ファイルやPDFを入れる

概要 elasticsearchにpdfやpptx,xlsxなどのファイルを入れる方法についてメモ。 ingest-attachment-pluginを使います。 バージョン情報など macOS Sierra 10.12.5 elasticsearch-5.4.1 手順 1.ingest-attachment-pluginをインストールする。 $ bin/elasticse…