Top 25 words used in Thirukkural using Hadoop

Tools used:

Hadoop,HDFS, Hive, Eclipse,Putty,WinScp,Excel

The Process:


Data Source:


Java Program:

In addition to the traditional WordCount hadoop example also added a line = line.replaceAll(“[\\d\\.\\d\\.\\d]”, “”); to eliminate the numbers and decimals in the text file.

Using the following command create a external table where it will use the file part in the given location:

create external table thirukural(word String, count bigint) location ‘/user/hduser/out.txt’;

Describe the table created:

Order the words by count and words and write to a file in HDFS:

insert overwrite directory ‘/user/hduser/out.txt/result.txt’ select * from thirukural order by count,word;

Result for completing the Map and Reduce:

Hive output:


After little bit of refining of data in excel the final result:

Word Count
படும்

42

தரும்

37

இல்

32

கெடும்

28

என்னும்

24

இல்லை

22

செயல்

22

எல்லாம்

21

தலை

21

காமம்

20

கொளல்

20

பவர்

19

பெறின்

19

அரிது

18

இன்பம்

18

உலகு

18

கண்ணும்

18

தவர்

18

யவர்

18

விடல்

18

விடும்

17

கண்

16

செயின்

16

தற்று

16

Advertisements

3 thoughts on “Top 25 words used in Thirukkural using Hadoop

  1. நல்ல முயற்சி. அருமை. உங்களால் குறளில் மிகப்பெரிய (கொடிறுடைக்கும்-7 ,உடையார்முன்-6),மிகச்சிறிய (அ -1- பசு, தூ – 1- மழை) வார்த்தைகள் கணக்கிட முடியுமா? (mysql ~ SELECT `word` FROM kural ORDER BY CHAR_LENGTH(`word`) or in excel by sorting ) If possible confirm திருக்குறளில் உள்ள சொற்கள்-14,000

    Kesavan Muthuvel
    http://www.kesavan.info

    • நன்றி கேசவன். இந்த செயற்த்திட்டத்தில் வேலை செய்து சிறிது காலமானதால் அதற்கான தளத்தினை மீண்டும் அமைக்க வேண்டும். ஆனால் நீங்கள் கேட்பது சாத்தியமே.

      சிவா.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s