İçindekiler:
Tanım - Sözcüksel Analiz ne anlama geliyor?
Sözcüksel analiz, bilgisayar bilimine dilbilime uygulandığı şekilde uygulanan bir kavramdır. Esasen, sözcüksel analiz, bir harf veya ses akışını anlamlı sözdizimini temsil eden birimler halinde gruplandırmak anlamına gelir. Dilbilimde, ayrıştırma denir ve bilgisayar bilimlerinde ayrıştırma veya tokenleştirme olarak adlandırılabilir.
Techopedia Sözlüksel Analizi açıklar
Bilgisayar bilimlerinde sözcüksel analiz fikri, sözcüksel analizin bir tokenin temel anlam birimini temsil ettiği “sözcüklere” ayrılmasıdır. Jetonlar, dil derleyicisinin geri dönüp doğru bilgi işlem talimatlarını uygulamak için onları ayırması gerektiği şekilde birbirine bağlanır. Temel olarak, hem insanlar hem de bilgisayarlar sözlük analizi yapar, ancak bilgisayarlar bunu farklı ve çok daha teknik bir şekilde yapar. Bilgisayarların sözcüksel analiz yapma yönteminin insanlar için şeffaf olması gerekmez - sadece bilgi işlem sistemine programlanması gerekir. Bilgisayar bilimlerinde sözcük analizleri yapan programlara genellikle sözlük, belirteç veya tarayıcı denir.
