On Evaluation of Natural Language Processing Tasks: Is Gold Standard Evaluation Methodology a Good Solution?

• Název česky: K evaluaci úkolů zpracování přirozeného jazyka: je metodologie používající "gold standardy" dobrým řešením?
• Autoři: KOVÁŘ Vojtěch; JAKUBÍČEK Miloš; HORÁK Aleš
• Rok publikování: 2016
• Druh: Článek ve sborníku
• Konference: Proceedings of the 8th International Conference on Agents and Artificial Intelligence
• Fakulta / Pracoviště MU: Fakulta informatiky
• Obor: Informatika
• Klíčová slova: Natural Language Processing; Applications; Evaluation
• Popis: Práce se zabývá problémy v metodologii vyhodnocování v oblasti zpracování přirozeného jazyka (NLP). Většinou jsou pro takové vyhodnocování používána tzv. "gold standard" data. Diskutujeme problémy a validitu tohoto přístupu a navrhujeme aplikačně orientovanou alternativu.

Související projekty

• Harvesting big text data for under-resourced languages
• Hyperintensionální logika pro analýzu přirozeného jazyka