Informationen zur Verwendung von MULTI_LEXER

Mit einem MULTI_LEXER-Lexer können Dokumente unterschiedlicher Sprachen in einer einzelnen Tabelle gespeichert werden. Diese Art von Lexer wählt einen sprachspezifischen Lexer für jede Zeile, basierend auf einer Sprachspalte. In diesem Thema wird erläutert, wie dieser Typ von Lexer benutzt wird, mit Beispielen aus der interMedia Text API.

Der erste Schritt bei der Verwendung der Funktion MULTI_LEXER besteht im Erstellen von sprachspezifischen Lexer-Voreinstellungen für jede Sprache in einer mehrsprachigen Tabelle. In dem folgenden Beispiel werden englische, französische und deutsche Lexer erstellt:

ctx_ddl.create_preference('english_lexer', 'basic_lexer');

ctx_ddl.set_attribute('english_lexer','index_themes','yes');

ctx_ddl.create_preference('french_lexer', 'basic_lexer');

ctx_ddl.set_attribute('french_lexer','base_letter','yes');

ctx_ddl.create_preference('german_lexer', 'basic_lexer');

ctx_ddl.set_attribute('german_lexer','composite','german');

ctx_ddl.set_attribute('german_lexer','alternate_spelling','german');

ctx_ddl.set_attribute('german_lexer','mixed_case','yes');

Nachdem die sprachspezifischen Lexer-Voreinstellungen erstellt wurden, müssen diese unter einer einzelnen MULTI-Lexer-Voreinstellung zusammengefasst werden. Als erstes erstellen Sie die MULTI-Lexer-Voreinstellung mit dem Objekt MULTI_LEXER:

ctx_ddl.create_preference('global_lexer','multi_lexer');

Fügen Sie die sprachspezifischen Lexer zu der MULTI-Lexer-Voreinstellung hinzu, indem Sie den Aufruf add_sub_lexer verwenden:

ctx_ddl.add_sub_lexer(<multi_lexer>, <Sprache>, <sprachspezifischer Lexer>)

Zum Beispiel:

ctx_ddl.add_sub_lexer('global_lexer', 'german', 'german_lexer');

ctx_ddl.add_sub_lexer('global_lexer', 'french', 'french_lexer');

ctx_ddl.add_sub_lexer('global_lexer', 'default','english_lexer');

Damit wird angegeben, dass die Voreinstellung german_lexer deutsche Dokumente, die Voreinstellung french_lexer französische Dokumente und die Voreinstellung english_lexer alle anderen Dokumente verarbeitet, wobei 'DEFAULT' als Sprache verwendet wird.

Der MULTI-Lexer entscheidet, welcher Lexer für jede Zeile benutzt werden soll, entsprechend einer Sprachspalte. Hier handelt es sich um eine Zeichenspalte in der Tabelle, in der die Sprache des Dokumentes in der Textspalte gespeichert wird. Die Tabelle kann z.B. wie folgt definiert werden:

create table globaldoc (

doc_id number primary key,

lang varchar2(10),

text clob

);

insert into globaldoc values (1, 'german', 'Ich bin Berliner');

insert into globaldoc values (2, 'french', 'Je suis Parisien');

insert into globaldoc values (3, 'english', 'I''m from New York');

Um diese Tabelle zu indizieren, müssen Sie die MULTI-Lexer-Voreinstellung verwenden, müssen jedoch auch den Namen der Sprachspalte angeben:

create index globalx on globaldoc(text)

indextype is ctxsys.context

parameters ('lexer global_lexer

language column lang');

Der MULTI_LEXER-Lexer liest dann den Wert der Sprachspalte für jede Zeile und verwendet den verknüpften sprachspezifischen Lexer für diese Sprache.

Bei der Sprachspalte muss die Schreibweise nicht berücksichtigt werden. Sie kann entweder den NLS-Namen oder eine Abkürzung der Sprache verwenden. Wenn die Tabelle einen anderen Wert für die Sprache verwendet, müssen Sie diesen Alternativwert als viertes Argument angeben, wenn Sie die Sub-Lexer hinzufügen. Um z.B. stattdessen die ISO-Zeichenfolge 639-2 für Deutsch zu benutzen, gehen Sie folgendermaßen vor:

ctx_ddl.add_sub_lexer('global_lexer', 'german', 'german_lexer', 'ger');

Beachten Sie, dass diese Alternativwerte zusätzlich zu den NLS-Namen und Abkürzungen angegeben werden, so dass "D" und "GERMAN" in der Sprachspalte weiterhin den deutschen Lexer auswählen. Dies bedeutet, dass es sich bei den Alternativwerten nicht um NLS-Sprachnamen oder Abkürzungen handeln kann.

Der DEFAULT-Lexer wird benutzt, wenn die Sprache des Dokuments unbekannt ist oder wenn sie keinem sprachspezifischen Lexer zugeordnet ist. Der DEFAULT-Lexer wird auch zur Verarbeitung von Stop-Words benutzt. Ein DEFAULT-Lexer MUSS angegeben werden, sonst wird eine Fehlermeldung ausgegeben, wenn Sie die MULTI-Lexer-Voreinstellung beim Erstellen von Indizes verwenden. Sie können keinen Alternativwert für den DEFAULT-Sub-Lexer angeben.

Bei der Abfrage wählt der MULTI-Lexer einen sprachspezifischen Lexer zur Verarbeitung der Abfrage-Token. Dieser basiert auf der Einstellung NLS_LANG für die Abfragesitzung. Somit benutzt also eine Abfragesitzung in der französischen Sprache den Lexer für Französisch (FRENCH).

Siehe auch: Hauptthemen (Gliederung), Erste Schritte mit interMedia Text