2019-01-01から1年間の記事一覧

yyyy/MM/dd HH:mm:ssな文字列をISO8601の形式にして格納したい

概要 日付、Datetimeを示すフォーマットは多々ありますが、yyyy-MM-ddが標準なのか、yyyy/MM/ddが標準なのか、どっちだったっけ?ということはよくありますね。 今回は、Elasticseardchのフィールドの定義でdate型のフィールドなのだけども、格納時にはISO86…

Elasticsearchパフォーマンスの5つの基本

概要 フランスで行われたElasticのMeetupの動画がYoutubeにあがっていました。 www.youtube.com 公式だと、こちらのページで紹介されています。 www.elastic.co フランスで行われているとはいえ、発表は英語でされています。 しかも、Youtubeなので自動字幕…

Elastic APM .NETAgentで独自のSpanを仕込んでみる

概要 ASP.NETCoreのWebアプリケーションに、.NETAgentを導入した環境においてTransactionとSpanは標準で以下のようになっています。 Transaction 外部からのHTTPリクエスト受信からレスポンス返却 Span EntityFrameworkCoreによるSQLの実行 外部へのHttpRequ…

Elastic APM .NETAgentで独自のSpanを仕込んでみる

概要 ASP.NETCoreのWebアプリケーションに、.NETAgentを導入した環境においてTransactionとSpanは標準で以下のようになっています。 Transaction Span EntityFrameworkCoreによるSQLの実行 外部へのHttpRequest送受信

開発環境からElastic APMを仕込むときの一言メモ

概要 Angular SPAのフロントエンドと、バックエンドのサーバアプリケーションがあって、これを開発していると想定します。 だいたい、npm startなどとして実行していると、ポート4200番でフロントエンドは動き、 サーバサイドは、dotnet runとすれば5100あた…

Elastic APM 7.4.0リリース記念 Angular SPAと.NETCoreアプリにAPMを仕込む

概要 10月2日、Elasticの各種プロダクトの7.4.0がリリースされました。 APM(Application Performance Monitoring)も7.4.0が出ており、ブログも書かれております。 www.elastic.co この中で2つ注目するところがありました。 We have also further strength…

Azure blob storageからLogstashを使ってデータを読む

概要 公式ドキュメントで、Logstashの標準でInputできるものを確認しますと、Azure関連ではazure_event_hubsevent_hubsはありますがAzure Blob Storageはありません。 www.elastic.co AWS S3はあるのに何でAzure Blob Storageは無いんや!というAzure大好き…

Elasticsearch Service (Elastic Cloud)でKuromojiのユーザ辞書を使う方法

概要 同義語辞書を入れたはいいけれど、同義語が展開されたあとの形態素でうまくヒットしなくて困ることがありますよね。 多くの人は、ユーザ辞書と同義語辞書を同時にメンテナンスしているのではないでしょうか。 Elasticsearch Service(Elastic Cloud)は、…

1級ファイナンシャルプランニング技能士で独学するのに個人的に役立ったもの

はじめに ファイナンシャルプラニング技能士は、FP試験として2級、3級は割と人気があるようです。 ちょうどスターバックスで隣の席の方が、1級の勉強をしていたので、自分が勉強をしていたときに使っていたものを紹介します。 書籍 きんざい 1級FP技能士(…

Elasticsearch Service(Elastic Cloud)のKibanaを日本語化する

概要 Elastic CloudのKibanaの画面を日本語化するためのTipsです。 Elastic Cloudでクラスタ作成画面 Elastic Cloudのクラスタ作成画面にて、「User Setting overrides」からKibanaの設定項目を開きます。 ここで、i18n.locale: "ja-JP" と入力してクラスタ…

Elastic CloudのKibanaをリバースプロキシを通してアクセスする

概要 Elastic Cloudで運用しているKibanaの画面を、独自ドメインのURLで公開したいと思ったとき、 リバースプロキシを立てたくなると思うのですが、その設定方法の一例を備忘録がてら書いておきます。 2019年7月時点では、独自ドメインでの公開は本家の機能…

KibanaのDockerイメージを使用する際に利用できる環境変数

概要 公式のDockerイメージを利用してKibanaを利用しているとき、kibana.ymlをマウントしないでできる範囲ってどこなの? ということが気になったので、ちょっと調べてみた。 ポイントは、docker cmdに割り当たっている /usr/local/bin/kibana-dockerの中に…

Elastic App SearchをDockerで動かす

概要 6月26日にElastic Stack 7.2.0がリリースされました。 www.elastic.co この記事の中で、「Elastic App Search セルフマネージド版をリリース: 今後はElastic Stackとしてリリース」という気になる文言がありました。 オンプレミス版のElastic App Seach…

Elasticsearch 7.1.0 on DockerでSecurityを確認する

概要 Elasticsearch7.1.0では、BasicライセンスでSecurityの一部機能が無料で使えるようになったという記事が出ていました。 Security for Elasticsearch is now free | Elastic Blog 開発用、検証用と様々な用途で使われるDockerで簡易にこの内容を確認して…

Metricbeatに入ったMSSQLモジュール(ベータ版)を使おう

概要 本日、Elastic Stack 7.0のWebinarがありました。そこでBeatsシリーズとして、ModuleのところでMSSQLがチラッと紹介されていました。 www.elastic.co mssql 最近では、APMの.NET Agentがベータ版として出てくるなど、Microsoft界隈の製品をお使いの方に…

DockerのElasticsearchにSudachiをみっちり入れる

目的 前回は、SudachiをElasticsearchに入れるシンプルなやり方を紹介しました。 tsgkdt.hatenablog.jp しかし、ダウンロードURLが変わったらどうすんの?バージョン文字列ならまだしも、いつ変わるか分からない文字列を持ちたくないです!という人もいらっ…

DockerのElasticsearchにSudachiを手っ取り早く入れる

概要 Elasticsearchの形態素解析にSudachiを使うといいらしい、という声を聞いた方は多いのではないでしょうか。 kuromojiよりもいいらしい、企業が辞書をメンテしているから良さそう、という評価だと思います。 一方、kuromojiは elasticsearch-plugin inst…

Sphinxで作成するドキュメントをElasticsearchに入れる

概要 Sphinxとは! 概要 — Sphinx 1.5.6 ドキュメント Sphinxは知的で美しいドキュメントを簡単に作れるようにするツールです。Georg Brandlによって開発され、BSDライセンスのもとで公開されています。 このツールはもともと、the Python ドキュメントのた…

Elastic APM .NET Agent Preview版が出た件

概要 www.elastic.co GoやJava、Python、Rubyといった言語にはAPMを実現するためのAgentが提供されていますが、.NET版はありませんでした。 まだPreview版、バージョンも0.0.1.0という代物ですが、.NET資産をお持ちの方、これから.NETCoreデビューしようとす…

Index LifeCycle Managementを体感する

概要 Elasticsearch 6.6.0から、まだGAとはなっていませんが、Index LifeCycle Management(ILM)が提供されるようになりました。 あわせて、Kibanaでも管理画面が追加されています。 LifeCycle Managementが提供されるということは、こんなことができるように…

Kibana6.6.0 リリース記念 DokcerのKibanaから接続するElasticsearchを複数指定する

はじめに Elastic Stack 6.6.0がリリースされました。 www.elastic.co これまでKibanaでは単一のElasticsearchの場所しか指定できなかったところが、複数指定できるようになった、というアップデートが含まれているので、 これを試してみます。 確認環境 例…

Elastic App Searchを入れた環境のElasticsearchをKibanaで覗く

概要 Elastic App Search(オンプレミス版)を入れたら、接続されているElasticsearchにどんなインデックスが作成されるのか、マッピングはどうなのYO!? Kibanaで覗いてみた結果を貼ってみます。 前回までは 前回はElastic App SearchをDockerで動かす、とい…

オンプレミス版app-searchをDockerで動作確認する

概要 Elastic App Searchというものをご存じでしょうか。 Elasticsearchで全文検索をやろうと思うと、データの中身や、させたい検索を考慮して、インデックスやマッピングの設計が必要になりますが、 そうしたものをマルっと意識せずに、データの出し入れに…

ElasticsearchのDockerイメージにプラグインを入れたいけど、自分でイメージを作りたくない人向け

はじめに Elastic stackをお試しするのにDockerが手軽なので、Dockerでやろうという人は多いかと思います。 しかし、日本語用のAnalyzerであるプラグインanalysis-kuromojiを入れるためだけに、自分でDockerfileを書いて、オリジナルのDockerイメージを作り…