文字列リストをTRIE Optimizeされた正規表現に in diff DouKaku?

文字列リストをTRIE Optimizeされた正規表現に

これは、実例を見た方が簡単だと思います。 CPANにRegexp::Assembleというモジュールがあるのですが、要はこれの簡易版を作って欲しいということです。私自身、同様のことを行うモジュールを過去にいくつか作っています(e.g Regexp::Optimizer)。

ここでは、文字列のリストを受け取って、それをTRIE化した正規表現に出来ればOKです。Regexp::AssembleやRegexp::Optimizerは正規表現を受け取ってそれをTrie化することも可能ですし、Perl 5.10では内部的にTrie Optimizationを行ったりするのですが、そこまでの機能は求めません。

なお、ここで言う「正規表現」は、必ずしもPerl互換のものである必要はありません。それがTrieになっていることをきちんと示せればOKです。

とはいうものの、Perl5互換になっていた方が、サポートしている環境が多くて有用性は高そうです。可能であればそうして下さい。

Dan the Regexp Assembler

see: Trie (en.wikipedia)

#!/usr/local/bin/perl
use strict;
use warnings;
use Regexp::Assemble;

my $ra = Regexp::Assemble->new;
while(<>){
    chomp;
    next unless $_;
    $ra->add($_);
}
print $ra->re, "\n"
__END__

% grep program /usr/share/dict/words 
program
programist
programistic
programma
programmar
programmatic
programmatically
programmatist
programmer

% grep program /usr/share/dict/words | perl sample.pl 
(?-xism:program(?:m(?:a(?:ti(?:c(?:ally)?|st)|r)?|er)|ist(?:ic)?)?)

post comment

Posted feedbacks - diff

#4259 の指摘を受けて、とりあえず Regex.Escape 挟んでみました。

--- trie.cs.old Tue Nov 20 01:20:52 2007
+++ trie.cs     Tue Nov 20 01:21:24 2007
@@ -8,7 +8,7 @@
         using(StreamReader sr = new StreamReader(args[0])) {
             foreach(string line in sr.ReadToEnd().Split('\n', '\r')) {
                 if (line != string.Empty && !words.Contains(line)) {
-                    words.Add(line);
+                    words.Add(System.Text.RegularExpressions.Regex.Escape(line)
);
                 }
             }
             words.Sort();

DouKaku?

文字列リストをTRIE Optimizeされた正規表現に

Posted feedbacks - diff

Index

Feed

Other

Link

Pathtraq