Salam. Deməli, mənim əlimdə milyona yaxın 500-600 söz olan mətnlər var və mən bu mətnlərdə axtarış edən proqram yazmaqdayam. Amma bu mətnlərdə, yəni cədvəlin sətirlərində (table rowlarında) axtarış edərkən çox uzun çəkir(Levenstein metodu ilə mətndə yaxın sözü axtarıram). 60 sətir bir saniyə təqribən (O(n)). Həll üçün fikirlərini eşitmək istəyərdim. (Indexləmə haqqında məlumat yığıram hazırda.)
Verilmiş cavablar və yazılan şərhlər (2 cavab var)
0
Salam.
Axtarış nəhəngləri yəqin qat-qat optimal yollardan istifadə edirlər, amma inanmıram ki, bu adi siz deyən funksiyanın sürətindən eksponensial fərqlənən metodlara malikdirlər, yox məncə üstünlük polinomialdır. Onlara üstünüyü verən super serverlərdir. 1000 dəfələrlə daha üstün parametrlərə malik serverlə bizim localhostumuzun işlədiyi kompüterimiz təbii ki eyni sürətlə işləyə bilməz 🙂
Sizin situasiyada əlavə psevdohəllər təklif edərdim.
Keywordlər-dən istifadə etmək.
Oxşar sözlərin ayrıca table-ni qurmaq(İD,Incorrect,Correct). Məsələn user Cvablar sözünü axtarırsa bu yoxlasın ki həmin table-da Cvabların correct variantı varmı, varsa elə korrektin özünü axtarsın böyük table-ın özündə, yoxdursa o halda yeni cütlüyü əlavə etsin bu table-a və sonra oxşarlıq metodu ilə axtarsın çətin də olsa, amma əvəzində bu səhv variantı ikinci dəfə axtaranda artıq çox çevik nəticə verəcək, çünki table-da artıq bu cütlük var. Düşünərəm, başqa təkliflərim olsa yazaram 🙂
0
Siz deyən yoldan getdim. Amma səhv sözləri tək-tək clusterə əlavə etmək xeyli vaxt alacaq deyə bir az metamorfoza məruz qaldı. Təsəvvür etsək ki, bu yeni mətnlər əlavə etdikcə dəyişəcək, clusterlər da dəyişilməli olur. Başqa metodla etdim, hələ ki, bir problem çıxartmayıb: mətndəki sözləri distinct olaraq all_words deyə bir table-a atıram və axtarışa verilən sözə ən yaxın sözləri levenstein methodu ilə tapıram. nə qədər yaxın olduğuna görə ranking də edə bilirəm. (nolsun localhostdayıq 🙂 1-2 saniyə arası vaxt alır 8000 söz var bazada hələki ) trie strukturunu istifadəsini məsləhət gördülər. Əgər indiki halında bir nasazlıq yaransa, trie haqqında fikirləşəcəm.
Sual verin
Cavab verin