”温故知新”　なことなど

ubuntu10.04をWebサーバーに変更してからWeb環境を構築するに当たり
インストールしておけば楽になるものを探していたら下記の3つのパッケージを
インストールすることで最小限のWebサーバーが完成しました。
とても簡単、コマンド打って、途中”Y”をEnterするだけです。

sudo apt-get install mysql-server php5-mysql
sudo apt-get install php5-cli
sudo apt-get install phpmyadmin

test.php　というファイル名で下記を記入して保存します。

< ?php  phpinfo()  ?>

これでOKです
確認方法は、http://localhost/test.php　できちんと表示されればOK！
またphpadminもインストールしたので、http://localhost/phpmyadmin/　できちんと表示されればOK！

Read the rest of this entry »

Antのインストールは[こちら]を参考にさせていただきました。
/usr/localにインストールしますが、rootユーザーで作業を行います。

環境：CentOS 5.4
Javaバージョン:1.6.13

コマンドは、
cd /usr/local　←移動します。確認するときは、pwdコマンドを打てばカレントディレクトリの確認ができます。

apacheのサイトへ行って、一番近いインストールポイントのアドレスを見つけて、右クリックして、リンクのアドレスをコピーを選択します。次にwgetの後にスペースを一つ入れて、先ほどコピーしたアドレスを貼り付けます。

[root@nexserver local]# wget http://www.meisei-u.ac.jp/mirror/apache/dist/ant/binaries/apache-ant-1.8.0-bin.tar.gz
--2010-05-05 00:05:53--  http://www.meisei-u.ac.jp/mirror/apache/dist/ant/binaries/apache-ant-1.8.0-bin.tar.gz
www.meisei-u.ac.jp をDNSに問いあわせています... 202.232.192.34
www.meisei-u.ac.jp|202.232.192.34|:80 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 9514591 (9.1M) [application/x-gzip]
`apache-ant-1.8.0-bin.tar.gz' に保存中

100%[================================================>] 9,514,591    974K/s 時間 9.6s

2010-05-05 00:06:03 (968 KB/s) - `apache-ant-1.8.0-bin.tar.gz' へ保存完了 [9514591/9514591]

しばらくすると保存されます。次は解凍です。

tar zxvf /usr/local/apache-ant-1.8.0-bin.tar.gz

ダラーと解凍されているディレクトリが表示されますが、自然に止まるまで待っています。

止まったら、lsコマンドで解凍されたか確認します。

[root@nexserver local]# ls
CIA                          bin            games    libexec    share
apache-ant-1.8.0             ec2-api-tools  include  nutch-0.9  src
apache-ant-1.8.0-bin.tar.gz  etc            lib      sbin       tomcat

apache-ant-1.8.0←確かに解凍されています。
ディレクトリのフォルダの名前が長ったらしいので、mvコマンドでantというフォルダ名に名前変更します。

mv apache-ant-1.8.0 ant

次は環境変数の設定です。
下記2行を環境変数として登録し、sourceコマンドで反映させます。

[root@nexserver local]# echo 'export ANT_HOME=/usr/local/ant' >> ~/.bash_profile
[root@nexserver local]# echo 'export PATH=$PATH:$ANT_HOME/bin' >> ~/.bash_profile
[root@nexserver local]# source ~/.bash_profile

特にエラーも出てこないと思います。次にantが設定できたかant -versionコマンドで確認します。

[root@nexserver local]# ant -version
Apache Ant version 1.8.0 compiled on February 1 2010　

↑このように表示されればOK！！

次にJAVAで言うところの”Hello World”を作成します。
ファイルを作成するときは、touchコマンドの後ろにスペースを空けて、作成したいファイル名（拡張子付きで）を指定します。

[root@nexserver ant]# touch build.xml

次にviコマンドでファイルを開き”i”ボタンを押下して編集モードにします。

[root@nexserver ant]# vi build.xml

下記

<?xml version="1.0" ?>

<project default="helloWorld">

<target name="helloWorld">

<echo message="Hello World"/>

</target>

</project>

をコピペして、貼り付けます。

”:wq”で保存してCloseします。

次にコンパイルします。antと入力後、ENTERボタンを押下します。

[root@nexserver ant]# ant

Buildfile: /usr/local/ant/build.xml

helloWorld:
[echo] Hello World

BUILD SUCCESSFUL
Total time: 0 seconds

↑
上記のように表示されればOK！！です。

Luceneの仕組みは検索対象となるファイルをすべて解析し、「インデックス」と呼ばれる情報を作成する。そして検索時はこのインデックスを参照することで処理の高速化が実現する。[写真]サンプル・アプリケーションの例

検索エンジンというと「namazu」が有名だが、namazuの実装はperlとC言語が使用されている為、JAVAアプリケーションを組み込むには、不便な感がでてきてしまう。
その点、LuceneはすべてJAVAで開発されているからJakartaとの相性も良いと言うことになる。

デフォルトのLuceneは日本語対応していないため、モジュールを使用することによって、中国語、韓国語、日本語を使用することができる。そのLucene用の日本語アナライザは、senプロジェクトの「CJKAnalyzer」と明確なネーミングだったりする。
Luceneもインデクサ部とエンジン部とから構成されている。
インデクサ部のコードの中でインデックスを生成するメソッドgetIndexになる。
getIndexは、第1引数に指定されたドキュメント・ディレクトリ内を解析し、インデックス生成処理を行う。次に第2引数に指定されたディレクトリに、生成したインデックスを格納する。

Data source from http://www.itarchitect.jp/enterprise/-/25122.html

nutch導入の経緯をメモメモ。

nutchをダウンロードしてくる。

cd /usr/local
wget http://www.meisei-u.ac.jp/mirror/apache/dist/lucene/nutch/nutch-0.9.tar.gz

tar zxvf /tmp/nutch-0.9.1.tar.gz
cd nutch-0.8.1
export NUTCH_JAVA_HOME=/usr/java/jdk1.6.0_13

echo “http://talftp.net/wp/” > urls/nutch

vi conf/crawl-urlfilter.txtを開いて
↓
# accept hosts in MY.DOMAIN.NAME
+^http://([a-z0-9]*\.)*MY.DOMAIN.NAME/
↓
+^http://talftp.net/wp/
に変更する。

vi conf/nutch-site.xmlを開いて
↓
<configuration>
<property>
<name>http.agent.name</name>
<value>mynutchagent</value>
</property>
<property>
<name>http.agent.description</name>
<value>mynutchagent</value>
</property>
<property>
<name>http.agent.url</name>
<value>mynutchagent</value>
</property>
<property>
<name>http.agent.email</name>
<value>mynutchagent</value>
</property>
</configuration>

と追加する。

これでcrawlができるので試してみる。
bin/nutch crawl urls -dir crawl -depth 10 -topN 1000000
000000

cp nutch-0.9.war /usr/local/tomcat/webapps
/etc/rc.d/init.d/tomcat restart

cd /usr/local/tomcat/webapps/nutch-0.9/WEB-INF/classes
[root@localhost classes]# vi nutch-site.xml　でnutch-0.9のrootディレクトリを指定する。

<?xml version=”1.0″?>
<?xml-stylesheet type=”text/xsl” href=”configuration.xsl”?>

<!– Put site-specific property overrides in this file. –>

<configuration>
<property>
<name>search dir</name>
<value>/usr/local/tomcat/webapps/nutch-0.9</value>
</property>
</configuration>

Tomcat-6.0.18とnutch-0.9の組み合わせだとエラーが出てくるので
そのエラーを修正する。基本的には￥マークを挿入することでOK。
/usr/local/tomcat/webapps/nutch-0.9
vi search.jsp

<jsp:include page=”<%= language + “/include/header.html”%>”/>
↓
<jsp:include page=”<%= language + \”/include/header.html\”%>”/>

vi explain.jsp
vi anchors.jsp
も同様に修正。

JDBCドライバーにかわるハンドラー(DbUtils)