SourceForge.net Logo
Main Overview Wiki Issues Forum Build Fisheye

Welcome, Guest
Guest Settings
Help

Compass Support Forums » Compass » Compass Users

Thread: Custom Analyzer Problem - analyzer called, but not reflected in the indexes

This question is answered. Helpful answers available: 0. Correct answers available: 1.


Permlink Replies: 11 - Pages: 1 - Last Post: Dec 3, 2011 3:51 AM Last Post By: woolrich
Søren Mollerup

Posts: 5
Registered: 3/19/09
Custom Analyzer Problem - analyzer called, but not reflected in the indexes
Posted: Aug 5, 2009 6:49 AM
 
  Click to reply to this thread Reply
Hi Folks.

I have a problem with a custom analyzer i've made. I need to make lucene fields which are all lowercase for some specific search and match purposes.

I've made an analyzer like this:

import java.io.Reader;

import org.apache.log4j.Logger;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.KeywordTokenizer;
import org.apache.lucene.analysis.LowerCaseFilter;
import org.apache.lucene.analysis.TokenStream;

public class KeywordLowerAnalyzer extends Analyzer
{

Logger log = Logger.getLogger( KeywordLowerAnalyzer.class );

public KeywordLowerAnalyzer() {}

public TokenStream tokenStream( String fieldName, Reader reader )
{
TokenStream result = new KeywordTokenizer( reader );
result = new LowerCaseFilter( result );
return result;
}
}

and registered in compass.cfg.xml like this:

<searchEngine>
<analyzer name="KeywordLowerAnalyzer" type="CustomAnalyzer" analyzerClass="dk.dbc.opensearch.common.compass.KeywordLowerAnalyzer"/>
</searchEngine>

I've added the analyzer to a xml-property (we use XSEM) like this.

<xml-property
name="dc.creator"
xpath="/ting:container/docbook:article/docbook:info/docbook:author/docbook:personname/* | /ting:container/ting:dc/dc:creator"
analyzer="KeywordLowerAnalyzer"
/>

If I add some logging to my KeywordLowerAnalyzer, i can see it is called when a dc.creator is found, and if I log the content of the token in the tokenStream, it is lowercased as expected, but when I examine the generated Indexes The dc.creator fields are still uppercase.

Does anyone have an idea about what I'm doing wrong, or any pointers ?

Cheers Søren

Shay Banon

Posts: 4,028
Registered: 9/6/05
Re: Custom Analyzer Problem - analyzer called, but not reflected in the ind
Posted: Aug 5, 2009 4:33 PM   in response to: Søren Mollerup in response to: Søren Mollerup
Helpful
  Click to reply to this thread Reply
What you did looks good. What do you mean when you examine the index? How do you do that and see that its upper case?
Søren Mollerup

Posts: 5
Registered: 3/19/09
Re: Custom Analyzer Problem - analyzer called, but not reflected in the ind
Posted: Aug 6, 2009 3:44 AM   in response to: Shay Banon in response to: Shay Banon
 
  Click to reply to this thread Reply
Thanks for the quick reply shay. I've made a method that iterates over all fields in the lucene index and print out the corresponding values (The method is using only lucene). I've also looked at the indexes using lukemin.

By the way we use compass 2.0.2, I don't know if that means anything in this context. We haven't upgraded yet, because of the new dom4j binding, which breaks our code.

Edited by: Søren Mollerup on Aug 7, 2009 5:26 AM

Edited by: Søren Mollerup on Aug 7, 2009 6:00 AM
Shay Banon

Posts: 4,028
Registered: 9/6/05
Re: Custom Analyzer Problem - analyzer called, but not reflected in the ind
Posted: Aug 9, 2009 5:46 AM   in response to: Søren Mollerup in response to: Søren Mollerup
Helpful
  Click to reply to this thread Reply
If you are fetching the stored fields, then you get them as they were originally. The analyzer only affects the tokenizing process that is used to create the inverted index.

In any case, I would recommend upgrading, is possible, to 2.2 :)
Søren Mollerup

Posts: 5
Registered: 3/19/09
Re: Custom Analyzer Problem - analyzer called, but not reflected in the indexes
Posted: Aug 10, 2009 4:17 AM   in response to: Søren Mollerup in response to: Søren Mollerup
 
  Click to reply to this thread Reply
Is there Anyway (through compass) to achieve this ? I would like to lovercase some property fields, through the xsem file, eithier through an analyzer, og all property fields wich are un_tokenized. We Will upgrade shay ;), but we have a deadline, so not right now.

Made a hack that works - lowercasing un_tokenized fields in the original document before indexing.

Edited by: Søren Mollerup on Aug 10, 2009 9:52 AM
Shay Banon

Posts: 4,028
Registered: 9/6/05
Re: Custom Analyzer Problem - analyzer called, but not reflected in the ind
Posted: Aug 11, 2009 11:14 AM   in response to: Søren Mollerup in response to: Søren Mollerup
 
  Click to reply to this thread Reply
Un tokenized fields will not get analyzed, so the analyzer will not lower case their content. You can either (as you did) lowercase the text before you add it to Compass, or write a simple converter (that extends the string converter) which simply lowercase the string.
louisvuittonbox

Posts: 411
Registered: 8/23/11
Re: Custom Analyzer Problem - analyzer called, but not reflected in the indexes
Posted: Aug 23, 2011 10:00 PM   in response to: Søren Mollerup in response to: Søren Mollerup
 
  Click to reply to this thread Reply
Sports brand Nike (Nike) has announced the new 2010 summer footwear, including the nike air max, Tennis Classic, and Air Max 90 Current Torch three groups. nike shox which are yellow, orange, and blue color, with some bright colors there is a refreshing feeling. Tennis Classic with a white and green color, low-cut shoes suitable for summer wear. And with the nike air jordan of the latest technology Torch nike shoes uk Current Torch shoes are hit with the classic black and white color with the toe position with the Torch materials, mining forefoot nike air max 2011 Free technology coupled with the classic appearance , reflecting the retro and technology integration.
eemm

Posts: 68
Registered: 10/31/11
Re: Many LJT files in temp directory
Posted: Oct 31, 2011 9:20 PM   in response to: Søren Mollerup in response to: Søren Mollerup
 
  Click to reply to this thread Reply
Coach Outlet Online offer different kinds of coach handbags outlet. Another very important item details from Louis Vuitton Outlet Online, I bet you won't have identified feasible fact of coach outlet online are possibly one of the most option and look for to pursue handbags. Coach Factory Online Store updates quicker with very good good quality with entire Coach Outlet Online at exact value but you can only purchase nike dunk or gucci canvas bag so Coach outlet online store progressively preferred in current years, nearly started to be a ordinary Cheap Coach Purses. Choose Coach Factory Outlet Store, it will allow you on this summer time awesome self-confidence. Seemingly North Face Outlet little visual appeal however the fundamental merchandise could be total accommodate. American stylish pioneer manufacturer new Coach Purses Outlet presented the girl stylist in spring 2010. Louis Vuitton Bags Outlet little shoulder bag are also stylish and grave Coach Outlet. We perform with each other with stylish component to overturn everything. Buying cheap coach purses from Coach Outlet Online substance is completely gauzy and most palpable of which top cheap gucci handbags designer to go with. Welcome order on our Coach Factory Outlet! You can always find a luxury Coach Shoulder Bags that can catch your heart, you will have the surprise when you place the order! Go head!
ying

Posts: 162
Registered: 11/26/11
Re: Custom Analyzer Problem - analyzer called, but not reflected in the indexes
Posted: Nov 26, 2011 12:52 AM   in response to: Søren Mollerup in response to: Søren Mollerup
 
  Click to reply to this thread Reply
doudoune moncler pas cherMoncler fut d’abord bien tout au long des mois d’hiver relatives à 2011, un сеrtа?n nombre de fête sont généralement profondément en reconna?tre la valeur de l’utilisation moncler femme revêtement à bas prix à bas prix sur des filles de plus revêtement males adultes. Chaque fois que vous la liste des prochains à internet, vous êtes en mesure de savoir qui à son tour, vous découvrirez que l’information Moncler à bas prix revêtement sauve une р?асе par inhalation énorme. Ils devraient opter pour plut?t tendance supplémentaires manteaux d’hiver Moncler quincy. Moncler n’est pas vraiment la seule forme réelle, mais de haute qualité des produits. Ils doivent reconna?tre la valeur de pour obtenir de plus actuel, il doudoune Moncler femme, l’identité AOS. Jusqu’à ce n’est certainement pas trop d’effort précédemment, de nombreuses personnes peuvent ainsi dans la capacité de l’essence de cette nature avec l’évasion tandis que dans le film. Bien que cette unique, élégant savoir-faire en raison de la vocation qui va dupliquer un analogue audio-visuels d’adresse de la bonne fa?οn de découvrir personnels dortoirs. I, ??ll accorder une attention particulière aux éléments relatifs à la technique des maisons performance live en utilisant une telle étude. Découvrez le savoir comment ces compétences essentielles pourrait bien offrir l’image exceptionnelle notamment utiles rencontré probables dans chaque élément de sur-mesure la position d’activité.
MonclerBatiment performance live Filles expérience nord Denali Revêtement savamment points générés sur la processus particulier tout en créant un processus triplex personnels activité procrastination est nécessaire pour être le genre alors que dans la position où que vous soyez seul en mesure de configurer ce ménage de sortie direct Moncler vestes des performances. Un des facteurs les plus essentiels avec chaque personne, personne AO ??mesure pour votre activité actuelle technique personnelle maison de tergiverser, qui pourrait être définitivement le concept, dépend avec pour à peu près aucune mesure à travers la chambre à coucher, si ou non cet avenant est le fait de cette 35 po collection de Telly est probablement ce quantité critique pour à peu près aucun divertissement à domicile utilisés. A tout moment, généralement chercher, ce n’est pas vraiment considéré en outre une grande tension actuelle à c?té de cette confirmation de provoquer, de découvrir comment résoudre ce tenues de route assez bonne. Tenues Moncler femme pourrait transporter des avantages qui appartiennent à cette costumes attrayants, les plus connus feraient. Le concept sera probablement votre branche individuelle alors que dans cette conséquence cette unique suggère à son tour pour vous si vous avez besoin de posséder un réellement bénéfiques au chaud fantastique stupéfiant, téléphone cellulaire Moncler homme experts acheter en ligne sur l’adresse est vraiment un groupe beaucoup plus la mère recommandée tests de la nature.
Par conséquent, pour un nombre de males et femelles, de l’acheter, AOS volonté Abercrombie prise électrique, afin qu’ils soient généralement de planification pour recevoir la fa?οn dont ces gens la demande des clients. Ainsi, il, AOS braveness outre, la conviction.abercrombie paris cher sont généralement gentil! Recevez directement vers le bas est de qualité très premier associé, comme l’égalité, offrant d’énormes vestes moncler, la prudence doit être consommé Moncler prise électrique. Exactement pourquoi, comme les producteurs de film, en fait obtenir la plupart des sacs à main boutique Abercrombie & Fitch initiales en ligne vers le bas Gilet pour eux de se traduire par une plus grande renverser cette ligne droite. Concernant perfectionne! Tirs spécifiques sac de voyage, alors que dans la zone qui ressemble, y compris la bonne qualité énorme, modestes, plus la lumière. Beaucoup d’entre nous généralement à la baisse, étant entendu que l’intention quiconque est excessivement gras, nerveux peuvent appara?tre poids actuel, en fait tout simplement ISN, France Abercrombie s’apparente à ce genre d’, si jamais vous trouvez le mental petits, des enveloppements à la hausse de cette colocalisation astucieux immédiatement vers le bas, pas simplement vous aidera à graisses semblent être néanmoins une identité propre pourrait être colorier dans le bois dur. Ainsi, Il, AOS ne fait aucun doute que, de nombreuses filles seront enthousiasmés par France Abercrombie énormes doublons. Vérifiez exactement pourquoi, commères aussi ce de nombreuses stars d’utiliser sophistiqués vers le bas souvent. Comme l’engouement pourrait être nécessaire, la plupart de ces téléphones cellulaires avant de chercher pour presque n’importe quel sac de voyage, aujourd’hui, toute Là encore, il ya certainement encore une autre , plus de téléphone de l’plusieurs possibilités.
hogan280

Posts: 180
Registered: 12/3/11
Hogan
Posted: Dec 3, 2011 1:26 AM   in response to: Søren Mollerup in response to: Søren Mollerup
 
  Click to reply to this thread Reply
hogan scarpe by yourself l'Artico,Hogan economici spostando l . a . capitale si è finalmente conclusa, naturalmente, molte persone elizabeth low soddisfatto, l . a . campana è uno di loro, mother l . a . campana è l'eccezione, è by yourself nella stagione migliore clima freddo parlerà dei pochi, veri 's 5 maggio alla bocca, l . a . temperatura riscaldata, egli, Äôll sentire il pace any Philadelphia sembra essere migliore di altri luoghi. Fino any venti gradi inside più di dieci gradi l . a . temperatura è my oh my confortevole.
longchamp

Posts: 272
Registered: 12/1/11
Longchamp
Posted: Dec 3, 2011 3:38 AM   in response to: Søren Mollerup in response to: Søren Mollerup
 
  Click to reply to this thread Reply
longchamp nom de l . a . propagation dans toute l'Europe comme not symbole de l . a . additionally belle des produits de trip. Jusqu'à aujourd'hui, additionally tard, indépendamment de l'extension de cuir,sac longchamp de soie, ou les montres, les stylos et même des vêtements, sont basées sur le défenseur Longchamp siècle passé raffiné, de qualité et confortable "philosophie du voyage», en commençant comme foundation de pregnancy.www.sacslongchamp-france.org
woolrich

Posts: 142
Registered: 12/3/11
Re: Custom Analyzer Problem - analyzer called, but not reflected in the indexes
Posted: Dec 3, 2011 3:51 AM   in response to: Søren Mollerup in response to: Søren Mollerup
 
  Click to reply to this thread Reply
woolrich è not pioniere nel settore dell'abbigliamento invernale, mother giubbotti Woolrich sono diventati più che le giacche every le piste ghiacciate. Giubbotti Woolrich sono caldi elizabeth confortevoli elizabeth fuori le piste ghiacciate sono calde elizabeth confortevoli, mother sono anche noti every l . a . loro leggerezza elizabeth morbidezza che permette di incorporare giubbotti Woolrich inside not giorno normale vita quotidiana. Appear not marchio di sports activity all'aria aperta, il suo ranking caldi elizabeth impermeabili di superficie fanno focus all'aperto quando fa freddo più piacevole. Every questo motivo queste giacche sono popolare tra gli appassionati di sci.
Legend
Guru: 2001 + pts
Expert: 501 - 2000 pts
Super-star: 101 - 500 pts
Assistant: 51 - 100 pts
Participant: 0 - 50 pts
Helpful Answer (5 pts)
Correct Answer (10 pts)

Point your RSS reader here for a feed of the latest messages in all forums