ruby中在終端命令行上調(diào)試grok表達式

字號:


    用 logstash 的人都知道在 http://grokdebug.herokuapp.com 上面調(diào)試 grok 正則表達式?,F(xiàn)在問題來了:翻墻技術哪家強? 頁面中用到了來自 google 域名的 js 文件,所以訪問經(jīng)常性失敗。所以,在終端上通過命令行方式快速調(diào)試成了必需品。
    其實在 logstash 還在 1.1 的年代的時候,官方 wiki 上是有一批專門教大家怎么通過 irb 交互式測試 grok 表達式的。但不知道為什么后來 wiki 這頁沒了…… 好在代碼本身不復雜,稍微寫幾行腳本,就可以達到目的了:
    代碼如下
    #!/usr/bin/env ruby
    require 'rubygems'
    gem 'jls-grok', '=0.11.0'
    require 'grok-pure'
    require 'optparse'
    require 'ap'
    options = {}
    ARGV.push('-h') if ARGV.size === 0
    OptionParser.new do |opts|
    opts.banner = 'Run grokdebug at your terminal.'
    options[:dirs] = %w(patterns)
    options[:named] = false
    opts.on('-d DIR1,DIR2', '--dirs DIR1,DIR2', Array, 'Set grok patterns directories. Default: "./patterns"') do |value|
    options[:dirs] = value
    end
    opts.on('-m MESSAGE', '--msg MESSAGE', 'Your raw message to be matched') do |value|
    options[:message] = value
    end
    opts.on('-p PATTERN', '--pattern PATTERN', 'Your grok pattern to be compiled') do |value|
    options[:pattern] = value
    end
    opts.on('-n', '--named', 'Named captures only') do
    options[:named] = true
    end
    end.parse!
    grok = Grok.new
    options[:dirs].each do |dir|
    if File.directory?(dir)
    dir = File.join(dir, "*")
    end
    Dir.glob(dir).each do |file|
    grok.add_patterns_from_file(file)
    end
    end
    grok.compile(options[:pattern], options[:named])
    ap grok.match(options[:message]).captures()
    測試一下:
    代碼如下
    $ sudo gem install jls-grok awesome_print
    $ ruby grokdebug.rb
    Run grokdebug at your terminal.
    -d, --dirs DIR1,DIR2 Set grok patterns directories. Default: "./patterns"
    -m, --msg MESSAGE Your raw message to be matched
    -p, --pattern PATTERN Your grok pattern to be compiled
    -n, --named Named captures only
    $ ruby grokdebug.rb -m 'abc123' -p '%{NUMBER:test}'
    {
    "test" => [
    [0] "123"
    ],
    "BASE10NUM" => [
    [0] "123"
    ]
    }
    $ ruby grokdebug.rb -m 'abc123' -p '%{NUMBER:test:float}' -n
    {
    "test" => [
    [0] 123.0
    ]
    }
    沒錯,我這比 grokdebug 網(wǎng)站還多了類型轉換的功能。它用的 jls-grok 是 0.10.10 版,而我用的是最新的 0.11.0 版。