目次

1 Turkish and its Challenges for Language and Speech Processing . . . . 11.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Turkish Morphology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.3 Constituent Order and Morphology-Syntax Interface . . . . . . . . . . . . 71.4 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.5 State-of-the-art Tools and Resources for Turkish . . . . . . . . . . . . . . . 15References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 Morphological Processing for Turkish . . . . . . . . . . . . . . . . . . . . . . . . . . 212.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212.2 Overview of Turkish Morphology . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222.3 Morphophonology and Morphographemics . . . . . . . . . . . . . . . . . . . . 232.4 Root Lexicons and Morphotactics . . . . . . . . . . . . . . . . . . . . . . . . . . . 272.4.1 Representational Convention . . . . . . . . . . . . . . . . . . . . . . . . 282.4.2 Nominal Morphotactics . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.4.3 Verbal Morphotactics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.4.4 Derivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302.4.5 Examples of Morphological Analyses . . . . . . . . . . . . . . . . 322.5 The Architecture of the Turkish Morphological Processor . . . . . . . . 342.6 Processing Real Texts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.6.1 Acronyms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352.6.2 Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362.6.3 Foreign Words . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362.6.4 Unknown Words . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362.7 Multiword Processing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372.7.1 Lexicalized Collocations . . . . . . . . . . . . . . . . . . . . . . . . . . . 382.7.2 Semi-lexicalized Collocations . . . . . . . . . . . . . . . . . . . . . . . 382.7.3 Non-lexicalized Collocations . . . . . . . . . . . . . . . . . . . . . . . . 402.8 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 Morphological Disambiguation for Turkish . . . . . . . . . . . . . . . . . . . . . . 533.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 533.2 Challenges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553.3 Previous Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553.3.1 Rule-based Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563.3.2 Learning the Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 573.3.3 Models Based on Inflectional Group n-grams . . . . . . . . . . 593.3.4 Discriminative Methods for Disambiguation . . . . . . . . . . . 603.4 Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633.4.1 Data Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633.4.2 Experimental Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 654 Language Modeling for Turkish Text and Speech Processing . . . . . . . 69Ebru Arısoy and Murat Saraçlar4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694.2 Language Modeling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 704.3 Challenges in Statistical Language Modeling for Turkish . . . . . . . . 734.4 Sub-lexical Units for Statistical Language Modeling . . . . . . . . . . . . 754.4.1 Linguistic Sub-lexical Units . . . . . . . . . . . . . . . . . . . . . . . . . 764.4.2 Statistical Sub-lexical Units . . . . . . . . . . . . . . . . . . . . . . . . . 774.5 Statistical Language Modeling for Turkish . . . . . . . . . . . . . . . . . . . . 784.5.1 Language Modeling with Linguistic Sub-lexical Units . . . 784.5.2 Statistical Sub-lexical Units – Morphs . . . . . . . . . . . . . . . . 814.6 Discriminative Language Modeling for Turkish . . . . . . . . . . . . . . . . 814.6.1 Discriminative Language Model . . . . . . . . . . . . . . . . . . . . . 824.6.2 Feature Sets for Turkish DLM . . . . . . . . . . . . . . . . . . . . . . . 834.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 895 Turkish Speech Recognition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95Ebru Arısoy and Murat Saraçlar5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 955.2 Foundations of Automatic Speech Recognition . . . . . . . . . . . . . . . . 965.3 Turkish Language Resources for ASR . . . . . . . . . . . . . . . . . . . . . . . . 1005.3.1 Turkish Acoustic and Text Data . . . . . . . . . . . . . . . . . . . . . . 1005.3.2 Linguistic Tools Used in Turkish ASR . . . . . . . . . . . . . . . . 1055.4 Turkish ASR Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1065.4.1 Newspaper Content Transcription System . . . . . . . . . . . . . 1065.4.2 Turkish Broadcast News Transcription System . . . . . . . . . 1095.4.3 LVCSR System for Call Center Conversations . . . . . . . . . 1125.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1146 Turkish Named Entity Recognition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119Reyyan Yeniterzi, Gökhan Tür and Kemal Oflazer6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1196.2 NER on Turkish . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1206.3 Task Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1216.3.1 Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1216.3.2 Evaluating NER Performance . . . . . . . . . . . . . . . . . . . . . . . 1226.4 Domain and Datasets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1246.4.1 Formal Texts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1246.4.2 Informal Texts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1256.4.3 Challenges of Informal Texts for NER . . . . . . . . . . . . . . . . 1266.5 Preprocessing for NER. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1266.5.1 Tokenization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1276.5.2 Morphological Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1276.5.3 Normalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1276.6 Approaches used in Turkish NER . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1286.6.1 Rule-based Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1296.6.2 Hybrid Approaches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1306.6.3 Machine Learning Approaches . . . . . . . . . . . . . . . . . . . . . . 1316.7 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1347 Dependency Parsing of Turkish . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1377.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1377.2 Dependency Parsing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1397.3 Morphology and Dependency Relations in Turkish . . . . . . . . . . . . . 1407.3.1 Dependency Relations in Turkish . . . . . . . . . . . . . . . . . . . . 1437.4 An Incremental Data-driven Statistical Dependency ParsingSystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1447.4.1 Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1457.4.2 Modeling Turkish . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1477.4.3 Evaluation Metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1507.5 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1507.6 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1528 Wide-coverage parsing, semantics and morphology . . . . . . . . . . . . . . . 1578.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1578.2 Morphology and Semantics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1608.3 Radical Lexicalization and Predicate-Argument Structure ofsub-lexical Elements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1618.4 Combinatory Categorial Grammar: CCG. . . . . . . . . . . . . . . . . . . . . . 1628.5 The Turkish Categorial Lexicon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1668.5.1 The Lexemic Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1688.5.2 The Morphemic Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1708.6 Parsing with Automatically Induced CCG Lexicons . . . . . . . . . . . . 1728.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1759 Deep Parsing of Turkish with Lexical-Functional Grammar . . . . . . . . 1799.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1799.2 Lexical-Functional Grammar and Xerox Linguistic Environment . 1809.3 Inflectional Groups as First-class Syntactic Citizens . . . . . . . . . . . . 1819.4 Previous Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1849.5 LFG Analyses of Various Linguistic Phenomena . . . . . . . . . . . . . . . 1859.5.1 Noun Phrases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1859.5.2 Adjective Phrases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1869.5.3 Adverbial Phrases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1879.5.4 Postpositional Phrases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1879.5.5 Temporal Phrases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1889.6 Sentential Derivations, Sentences and Free Constituent Order . . . . 1899.6.1 Sentential Derivations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1899.6.2 Sentences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1949.6.3 Handling Constituent Order Variations . . . . . . . . . . . . . . . . 1959.7 Coordination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1989.8 Valency Alternations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1999.8.1 Causatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1999.8.2 Passives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2029.9 Non-canonical Objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2049.10 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2069.10.1 Manual Test Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2079.10.2 Sentence Test Suite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2079.10.3 Noun Phrase Test Suite . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2089.11 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20910 Statistical Machine Translation and Turkish . . . . . . . . . . . . . . . . . . . . . 21310.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21310.2 Handling Morphology in Statistical Machine Translation . . . . . . . . 21510.3 The Morpheme Segmentation Approach . . . . . . . . . . . . . . . . . . . . . . 21610.3.1 Experiments and Results . . . . . . . . . . . . . . . . . . . . . . . . . . . 21910.3.2 Word Repair . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22210.3.3 Sample Translations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22310.3.4 Observations on the Morpheme Segmentation Approach . 22410.4 The Syntax-to-Morphology Mapping Approach . . . . . . . . . . . . . . . . 22510.4.1 Mapping Source-side Syntax to Target-side Morphology . 22610.4.2 Experimental Setup and Results . . . . . . . . . . . . . . . . . . . . . 23010.4.3 Experiments with Constituent Reordering . . . . . . . . . . . . . 23710.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24111 Machine Translation Between Turkic Languages . . . . . . . . . . . . . . . . . 24511.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24511.2 Turkic Languages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24611.2.1 Similarities and Differences of Turkic Languages . . . . . . . 24611.3 Machine Translation between Turkic Languages . . . . . . . . . . . . . . . 25011.3.1 Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25011.3.2 Morphological Disambiguation . . . . . . . . . . . . . . . . . . . . . . 25311.3.3 Morphological Feature Transfer . . . . . . . . . . . . . . . . . . . . . 25411.3.4 Lexical Transfer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25411.3.5 Statistical Disambiguation Module . . . . . . . . . . . . . . . . . . . 25611.3.6 Sentence Level Rules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25711.3.7 Morphological Generation . . . . . . . . . . . . . . . . . . . . . . . . . . 25811.4 Machine Translation Evaluation on Turkic Languages . . . . . . . . . . . 25811.4.1 Root Matching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25911.4.2 Feasible Suffix Pairs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26011.5 Conclusions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26112 Sentiment Analysis in Turkish . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26512.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .