BXU Logo

Buxoro Xalqaro
Universiteti

10-tom, 2-son, b. 276–278, Nashr: 2026-10-25

ПРОБЛЕМА НЕСКОЛЬКИХ ПИСЬМЕННОСТЕЙ И НОРМАЛИЗАЦИИ ТЕКСТОВ В МАШИННОМ ПЕРЕВОДЕ УЗБЕКСКОГО И КАРАКАЛПАКСКОГО ЯЗЫКОВ

O‘ZBEK VA QORAQALPOQ TILLARIDA MASHINA TARJIMASIDA BIR NECHTA YOZUV TIZIMI VA MATNLARNI ME’YORLASHTIRISH MUAMMOSI

THE PROBLEM OF MULTIPLE WRITING SYSTEMS AND TEXT NORMALIZATION IN MACHINE TRANSLATION OF UZBEK AND KARAKALPAK

  • Узакова Мамура Абдураимовна — Международный университет Азии
  • Ташкент, Узбекистан.

DOI: 10.67780/buxoro-xalqaro-universiteti-ilmiy-axborotnomasi.2026.febccd8c

To'liq matn (PDF)

Annotatsiya

В статье рассматривается влияние графической неоднородности письменных текстов на качество машинного перевода для узбекского и каракалпакского языков, которые в разные периоды использовали латиницу и кириллицу и до сих пор существуют в обеих графиках с несколькими вариантами орфографии. Показано, что смешение алфавитов, неоднозначность соответствий между графическими системами и вариативность апострофов и диакритики приводят к фрагментации словаря, росту числа неизвестных токенов и снижению качества нейросетевого перевода.

Annotatsiya

Maqolada turli davrlarda lotin va kirill yozuvlaridan foydalanib kelgan, hozirgi vaqtda ham bir nechta grafik tizim va imlo variantlarida qo‘llanayotgan o‘zbek va qoraqalpoq tillarida yozma matnlarning grafik jihatdan bir xilda emasligi mashina tarjimasi sifatiga qanday ta’sir ko‘rsatishi ko‘rib chiqiladi. Alifbolarning aralash qo‘llanilishi, grafik tizimlar o‘rtasidagi muvofiqlikning bir xil emasligi, shuningdek, apostrof va diakritik belgilarning turlicha ishlatilishi lug‘at birliklarining tarqoqlashuviga, noma’lum tokenlar sonining ortishiga va neyron tarmoqlarga asoslangan tarjima sifatining pasayishiga olib kelishi ko‘rsatib beriladi.

Abstract

This article examines the impact of graphic inconsistency in written texts on the quality of machine translation for Uzbek and Karakalpak, languages that have used both Latin and Cyrillic scripts at different historical periods and continue to exist in both scripts with multiple spelling variants. It demonstrates that the mixing of alphabets, ambiguous correspondences between writing systems, and variations in the use of apostrophes and diacritical marks lead to lexical fragmentation, an increase in the number of unknown tokens, and a decline in the quality of neural machine translation.

Kalit so'zlar: машинный перевод, транслитерация, нормализация текста, узбекский язык, каракалпакский язык, малоресурсные языки, тюркские языки, латиница, кириллица

Foydalanilgan adabiyotlar

  1. Papineni K., Roukos S., Ward T., Zhu W.-J. BLEU: a method for automatic evaluation of machine translation // Proceedings of the 40th Annual Meeting of the ACL. 2002. P. 311–318.
  2. Popović M. chrF: character n-gram F-score for automatic MT evaluation // Proceedings of the Tenth Workshop on Statistical Machine Translation. 2015. P. 392–395.
  3. Rei R., Stewart C., Farinha A. C., Lavie A. COMET: A neural framework for MT evaluation // Proceedings of EMNLP. 2020. P. 2685–2702.
  4. Sennrich R., Haddow B., Birch A. Neural machine translation of rare words with subword units // Proceedings of the 54th Annual Meeting of the ACL. 2016. P. 1715–1725.
  5. Kudo T., Richardson J. SentencePiece: a simple and language independent subword tokenizer and detokenizer for neural text processing // Proceedings of EMNLP: System Demonstrations. 2018. P. 66–71.
  6. Э. Назирова, Ш.Абидова, М.Узакова “Туркий тиллар учун икки тилли электрон таржиманинг модел ва алгоритмлари” Мухаммад ал-хоразмий номидаги тошкент ахборот технологиялари университети. Монография. Тошкент-2022 й. Монография. Тошкент-2022. «Бизнес-полиграф».– 102 б. ББК:22.18:81.2
  7. Nazirova Elmira, Abidova Shakhnoza, Uzakova Mamura, Usmanova Kamola CREATING OPEN-CORRES PARALLEL CORPUS BASES FOR MACHINE TRANSLATION J.:“Bulletin of TUIT: Management and Communication Technologies”. (05.00.00; OAK rayosat qarori 30.07.2020. № 01-10/1103) 2025. –7p. https://doi.org/10.61663/251tuitmct5.
  8. E. Nazirova, Sh.Abidova, M. Uzakova “Mathematical Models of Complex Word Formation in Uzbek, Karakalpak and Kyrgyz Languages belonging to the Turkic Language Family” International conference “Modern Problems of Applied Science and Engineering” – 2024, 2-3 may
  9. E.Sh. Nazirova, M.A. Uzakova LINGUO MATHEMATICAL MODELS OF SENTENCES BY TYPES OF UZBEK LANGUAGE FOR ELECTRONIC TRANSLATION SCIENTIFIC REVIEW OF THE PROBLEMS AND PROSPECTS OF MODERN SCIENCE AND EDUCATION. GERMANY Vol. 1 No. 1 (2025)
  10. https://zenodo.org/badge/DOI/10.5281/zenodo.15049689.svg
  11. Nazirova Elmira Shodmonovna, Abidova Shakhnoza Baxadirovna, Uzakova Mamura Abduraimovna, Kholmuminov Yusuf Kholbuta o’g’li “LINGUISTIC MATHEMATICAL MODELS AND ALGORITHMS OF THE PROCESS PHONETIC ANALYSIS IN THE UZBEK LANGUAGE” SCIENCE AND EDUCATION: DEVELOPMENT VECTORS ASTANA, KAZAKHSTAN, JANUARY 2025 UDK 378 (063) BBК 74.58 С 940 28
  12. Закон Республики Узбекистан «О введении в действие алфавита узбекского языка, основанного на латинской графике» от 2 сентября 1993 г. (с последующими изменениями).