Qwen3-Embedding-4B-Shqip
Kushtrim/Qwen3-Embedding-4B-Shqip is a finetuned Albanian-focused embedding model based on unsloth/Qwen3-Embedding-4B, optimized for semantic search / retrieval over Albanian text.
Whatâs new vs the base model
- Finetuned on Albanian newspaper-style content (Bujku) using topic â passage pairs.
- Intended to improve retrieval quality for Albanian queries and documents.
Model details
- Type: embedding model (not a chat / generative model)
- Base model:
unsloth/Qwen3-Embedding-4B - Primary language: Albanian (
sq)
Intended use
Use this model to embed:
- Queries (short text, questions, topics)
- Documents / passages (longer text, articles, chunks)
Then compute cosine similarity or dot-product for:
- semantic search
- RAG retrieval
- clustering / deduplication
How it was trained (high level)
- Base:
unsloth/Qwen3-Embedding-4B - Training framework: Unsloth (sentence embedding finetuning workflow)
- Dataset:
Kushtrim/bujku_topics_pairs - Training pairs used: 156,660 (anchor â positive)
- Objective:
MultipleNegativesRankingLoss(in-batch negatives) - Training pairs:
anchor: topic string (topics[])positive: correspondingfull_text
- Filtering:
- removed very short topics / very short texts during dataset creation
- during finetuning, examples were filtered to keep only rows where
positivefits the chosen training context length (max_seq_length)
- Finetuning method: LoRA adapters (feature-extraction task)
Training configuration (practical)
This model was trained with settings typical for embedding finetuning:
max_seq_length: 512- learning rate: 2e-5
- trained for a small number of epochs (step-based trainer; epochs converted to steps)
- batch size was tuned on an A100 80GB to maximize throughput while avoiding OOM
Model files in this repo
This Hugging Face repo may contain multiple artifacts:
- Merged weights (recommended for
from_pretrained(...)): uploaded to the repo root after merging LoRA into the base weights. - GGUF variants (for llama.cpp / Ollama): typically under
gguf/<quantization>/(e.g.gguf/q8_0/,gguf/q4_k_m/,gguf/f16/).
Usage
Sentence-Transformers (recommended)
from sentence_transformers import SentenceTransformer
import torch
model = SentenceTransformer("Kushtrim/Qwen3-Embedding-4B-Shqip", trust_remote_code=True)
queries = [
"ĂfarĂ« raportohet pĂ«r ofensivĂ«n e shtatorit mbi DrenicĂ« dhe pasojat ndaj popullsisĂ« civile?",
]
docs = [
"""Agjencia AFP bën të ditur nga selia e NATO-s në Bruksel se kjo organizatë ushtarake ka shprehur shqetësimin e saj gjithnjë e më të madh në lidhje me keqësimin e situatës në Kosovë. Kjo agjenci citon një burim të NATO-s të ketë thënë se shqetësimi i tyre është shtuar javëve të fundit "për shkak të keqësimit të gjendjes në Kosovë, shtimit të dhunës si dhe shenjave të ekstremizmit nga të gjitha palët." Kjo agjenci citon burimet nga Brukseli se NATO-ja është duke përcjellë gjendjen në Kosovë me shumë vëmendje. Ndërkaq, agjencia Rojter citon burime të kësaj Aleance e cila i ka bërë thirrje Milosheviqit që menjëherë të fillojë dialogun me shqiptarët në përpjekjet për të gjetur një zgjidhje. Nëse vazhdon të keqësohet situata në Kosovë, jo vetëm që do të pengohet kthimi i Beogradit në bashkësinë ndërkombëtare, por njëherësh rrezikohet të hapet një konflikt në një zonë shumë të paqëndrueshme. (RIPRESS)""",
"""Pas dyzet e sa vjetĂ«sh shqiptarĂ«t diskutojnĂ« pĂ«r çështjet politike dhe pĂ«r problemet shqiptare Dr. Ibrahim Rugova, kryetar i Lidhjes Demokratike tĂ« KosovĂ«s, dr. Ali Aliu, anĂ«tar i kryesisĂ«, gjatĂ« qĂ«ndrimit nĂ« ZvicĂ«r, ku morĂ«n pejsĂ« edhe nĂ« mbledhjen e zgjeruar tĂ« DegĂ«s sĂ« LDK-sĂ« dhe tĂ« KĂ«shillit pĂ«r Ndihma pĂ«r KosovĂ« nĂ« ZvicĂ«r, patĂ«n rast tĂ« takohen me dr. Gramoz Pashkon, njĂ«rin nga liderĂ«t e PartisĂ« Demokratike tĂ« ShqipĂ«risĂ«, me tĂ« cilin zhvilluan biseda rreth pĂ«rvojave dhe bashkĂ«punimit tĂ« dy partive. Ata sĂ« bashku i bĂ«nĂ« njĂ« vizitĂ« edhe shkrimtarit tonĂ« me famĂ« botĂ«rore, Ismail KadaresĂ«, nĂ« Paris. Me tĂ« kthyer nga Parisi, pas bisedave dhe takimeve me dr. Gramoz Pashkon dhe shkrimtarin Ismail Kadare, me dr. Ibrahim RugovĂ«n bĂ«mĂ« njĂ« intervistĂ«, me ç'rast Rugova iu pĂ«rgjegj pyetjeve qĂ« kanĂ« tĂ« bĂ«jnĂ« me rĂ«ndĂ«sinĂ« e kĂ«tyre takimeve. PYETJE: ZotĂ«ri Rugova, si kryetar i Lidhjes Demokratike tĂ« KosovĂ«s, duke u angazhuar pĂ«r zgjidhjen e çështjes sĂ« KosovĂ«s, gjatĂ« kĂ«tyre viteve keni kontaktuar me personalitete tĂ« larta pothuaj nga mbarĂ« bota, por jo edhe me pĂ«rfaqĂ«sues zyrtarĂ« tĂ« ShqipĂ«risĂ«. Si e shpjegoni kĂ«tĂ« fakt? PĂRGJEGJE: Kjo mund tĂ« shpjegohet fare thjeshtĂ«. Izolimi dhe ai Muri i Berlinit qĂ« ekzistonte mes shqiptarĂ«ve, pra, nuk ka lejuar qĂ« tĂ« kemi kontakte me pĂ«rfaqĂ«suesit e ShqipĂ«risĂ«. Natyrisht kanĂ« ndikuar edhe çështje e faktorĂ« tĂ« tjerĂ«. Por, mendoj se tash e tutje kĂ«to kontakte do tĂ« vazhdojnĂ«. E, po ashtu, bota ishte e interesuar pĂ«r ne dhe ne i shfrytĂ«zuam ato kontakte, qĂ« i patĂ«m dhe qĂ« i bĂ«mĂ« deri tashti. PYETJE: Ă'mund tĂ« thoni pĂ«r takimin tuaj me dr. Gramoz Pashkon, njĂ«rin nga liderĂ«t e PartisĂ« Demokratike tĂ« ShqipĂ«risĂ«? PĂRGJEGJE: Ishte njĂ« takim me interes si pĂ«r PartinĂ« Demokratike tĂ« ShqipĂ«risĂ«, po ashtu edhe pĂ«r Lidhjes Demokratike tĂ« KosovĂ«s. PĂ«r herĂ« tĂ« parĂ« u takuam, kĂ«shtu, pas dyzet e sa vjetĂ«sh: shqiptarĂ«t qĂ« diskutojnĂ« pĂ«r çështjet politike dhe pĂ«r problemet shqiptare. NĂ« biseda, siç e dini, ishte edhe dr. Ali Aliu nga ana e KryesisĂ« sĂ« LDK-sĂ«. Ne u morĂ«m vesh qĂ« ta vazhdojmĂ« bashkĂ«punimin dhe pĂ«r çështjet e pĂ«rgjithshme shqiptare tĂ« vendosim sĂ« bashku. Dr. Ibrahim Rugova PYETJE: Ju, sĂ« bashku, vizituat edhe shkrimtarin Ismail Kadare nĂ« Paris? PĂRGJEGJE: Po. I bĂ«mĂ« njĂ« vizitĂ« edhe shkrimtarit Ismail Kadare nĂ« Paris. PatĂ«m njĂ« takim me tĂ« dhe zhvilluam biseda. Ky ishte njĂ« çast i rĂ«ndĂ«sishĂ«m, qĂ« sĂ« bashku i bĂ«mĂ« njĂ« vizitĂ« shkrimtarit tonĂ«. Natyrisht, njohĂ«m edhe pikĂ«pamjet e tij pĂ«r momentin aktual nĂ« ShqipĂ«ri, nĂ« KosovĂ« dhe pĂ«r proceset e ndryshme demokratike shqiptare e evropiane. PYETJE: Ă'duhet tĂ« bĂ«jnĂ« partitĂ« opozitare tĂ« KosovĂ«s dhe tĂ« ShqipĂ«risĂ« qĂ« t'i zgjidhin çështjet shqiptare? PĂRGJEGJE: SĂ« pari duhet tĂ« bashkĂ«punojnĂ«; janĂ« hapat e parĂ«, sepse deri para pak kohĂ«sh nuk kishte parti tĂ« tjera nĂ« ShqipĂ«ri, pĂ«rveç PartisĂ« sĂ« PunĂ«s. Natyrisht, ta vazhdojmĂ« bashkĂ«punimin, tĂ« merremi vesh pĂ«r çështje tĂ« pĂ«rgjithshme dhe tĂ« reagojmĂ« sipas zhvillimit tĂ« situatĂ«s. T'i kemi edhe qĂ«ndrimet konkrete qĂ« duhet t'i marrim nĂ« tĂ« ardhshmen, duke u nisur nga momentet edhe situatat politike qĂ« i kemi, qĂ« vijnĂ« dhe qĂ« do tĂ« na imponohen. Bisedoi: Mehmet EMERLLAHU""",
"""REPORTERI YNĂ NĂ DRENICĂ U vranĂ« Azemi e Shote Galica tĂ« ditĂ«ve tona Me ofensivĂ«n e shtatorit mbi DrenicĂ«, ushtria e policia serbe nĂ«pĂ«r pyje, duke u maskuar edhe me uniformĂ« tĂ« UĂK-sĂ«, masakruan civilĂ« shqiptarĂ«, qĂ« ditĂ«n kritike largoheshin nga shtĂ«pitĂ« e tyre ose ishin strehuar nĂ« male Mursel Hajdari me tĂ« shoqen pranĂ« shtĂ«pisĂ« rrĂ«nojĂ« nĂ« Dobrashec TĂ« premten, mĂ« 26 shtator ushtria serbe kishte ndĂ«rmarrĂ« njĂ« ofensivĂ« tĂ« fuqishme mbi Poklek tĂ« VjetĂ«r e VasilevĂ« tĂ« komunĂ«s sĂ« Gllogocit, kurse nĂ« kĂ«tĂ« rreth ishin gjetur edhe Korrotica e EpĂ«rme dhe Dobrosheci. Sulmet ishin tĂ« forta dhe me tĂ« gjitha llojet e armĂ«ve qĂ« kishte armata serbe. NĂ« atĂ« periudhĂ« kohore, banorĂ«t e kĂ«tyre fshatrave shumica kanĂ« qenĂ« nĂ«pĂ«r shtĂ«pi, kurse nĂ« VasilevĂ« ishin edhe 298 refugjatĂ« tĂ« fshatrave tjera, pos 698 banorĂ«ve, sa i ka ky fshat. Sulmet nga distanca vinin prej drejtimeve Poklek i Ri, Ferronikel, dhe kodrina e quajtur \"Rrezja\". BanorĂ«t nĂ« atĂ« periudhĂ« kohore kishin filluar tĂ« largoheshin nga rreziqet, pjesĂ«tarĂ«t e UĂK-sĂ« dhe populli nĂ« atĂ« fshat nuk bĂ«nĂ« rezistencĂ«, sepse frikĂ«soheshin nga masakrimet e vrasjet e popullsisĂ« nĂ« pĂ«rmasa. PavarĂ«sisht pse nuk pat rezistencĂ« ushtria serbe vazhdoi tĂ« zbatojĂ« skenarin pĂ«r djegie, vrasje dhe plaçkitje. Ajo nĂ« male vendosi grupet kriminale tĂ« cilat masakronin popullsinĂ« civile, e cila asokohe bĂ«nte pĂ«rpjekje tĂ« largohej nga zonat e luftimeve. MeqĂ« ato ditĂ« kishte luftime gati nĂ« tĂ« gjitha fshatrat e komunave Gllogove e SkĂ«nderaj, tĂ« tilla grupe kriminele ushtria serbe kishte vendosur edhe nĂ« bjeshkĂ«n e QyqavicĂ«s, nĂ« fshatin Dobrashec, nĂ« malet e KrojkovĂ«s, tĂ« AbrisĂ«. Dhe gjatĂ« luftimeve 4-5 ditĂ«she u bĂ«nĂ« masakrat nĂ« malet ndĂ«rmjet KorroticĂ«s dhe VasilevĂ«s, nĂ« Dobrashec e GllanasellĂ« (ku u vranĂ« njerĂ«zit nĂ« shtĂ«pi tĂ« vet), nĂ« malet e QyqavicĂ«s u masakruan 14 banorĂ« tĂ« fshatit GalicĂ«, nĂ« Abri tĂ« EpĂ«rme u masakruan 18 gra e fĂ«mijĂ« dhe tĂ« moshuar, sikur edhe nĂ« KrojkovĂ« ku u vranĂ« tetĂ« shqiptarĂ«. Edhe nĂ« fshatin KrojkovĂ« njĂ« grup i ushtrisĂ« serbe kishte veshur rrobat e UĂK-sĂ« dhe kishte vrarĂ« qytetarĂ«t civilĂ«, tĂ« cilĂ«t bĂ«nin pĂ«rpjekje tĂ« strehoheshin nĂ« pyllin e Kosmaqit. Masakrat dhe vrasjet e qytetarĂ«ve civilĂ«, bashkĂ« me djegiet dhe shkatĂ«rrimet e shtĂ«pive e tĂ« pasurisĂ«, qĂ« janĂ« nĂ« funksion tĂ« spastrimit etnik, ndjekjes sĂ« popullsisĂ«, frikĂ«simit dhe tĂ« krijimit tĂ« psikozĂ«s kolektive pĂ«r ikje nga vatrat, ishin strategji e ushtrisĂ« serbe nĂ« ofensivĂ«n e shtatorit, mbi fshatrat e DrenicĂ«s. Ta zĂ«mĂ« banorĂ«t tĂ« Poklekut tĂ« VjetĂ«r tĂ« cilĂ«t u vunĂ« nĂ« pĂ«rpjekje pĂ«r t'u larguar nga shtĂ«pitĂ« e qe humbĂ«n jetĂ«n janĂ« Sadri Muqolli, i cili u masakrua, Naim Muqolli, i vrarĂ«, kurse janĂ« plagosur edhe fĂ«mijĂ«t Fatmir F. Muqolli dhe Bislim F. Bucolli. KĂ«ta fĂ«mijĂ« nĂ« largim e sipĂ«r janĂ« plagosur nga snajperĂ«t serbĂ«. Pas kĂ«tyre pasojave nĂ« njerĂ«z, nĂ« kĂ«tĂ« fshat janĂ« vrarĂ« mbi 30 krerĂ« kafshĂ«, kurse janĂ« djegur mbi 80 shtĂ«pi. NĂ« fshatin VasilevĂ«, prej 68 shtĂ«pive janĂ« djegur e dĂ«mtuar 60 prej tyre, kurse Zeqir BerishĂ«n, ushtria serbe e ka zĂ«nĂ« nĂ« shtĂ«pi, e ka rrahur e maltretuar deri nĂ« alivanosje dhe sĂ« fundi ia ka djegur shtĂ«pinĂ«. Nga kjo shihet se 98 pĂ«r qind e banorĂ«ve tĂ« kĂ«tij fshati sot nuk kanĂ« ku tĂ« kthehen. NdĂ«rsa, nĂ« fshatin Dobrashec sulmi pat filluar mĂ« 23 shtator, ku janĂ« goditur shtĂ«pitĂ« e fshatit, kurse mĂ« sĂ« keqi kanĂ« pĂ«suar lagjet Hajdaraj, Shishani dhe Avdyli, ku janĂ« rrĂ«nuar gati tĂ«rĂ«sisht shtĂ«pitĂ«. GjatĂ« sulmeve pesĂ«ditĂ«she janĂ« goditur dhe shkatĂ«rruar gati tĂ«rĂ«sisht lagjet Mehani e Lladrovci tĂ« GllanasellĂ«s dhe shumĂ« shtĂ«pi nĂ« kĂ«tĂ« fshat, pastaj Godanci dhe Gradica. BanorĂ«t e Dobrashecit dhe refugjatĂ«t qĂ« kishin qenĂ« tĂ« strehuar nĂ« kĂ«tĂ« fshat pĂ«r tetĂ« ditĂ« me radhĂ« kanĂ« qĂ«ndruar nĂ« lugun e thellĂ« tĂ« kĂ«tij fshati, pa ujĂ« e ushqime, duke u pĂ«rballur edhe motin me shi. MĂ« pas ushtria serbe banorĂ«t i ka ndjekur edhe nga ky lug duke ua djegur edhe kasollet prej najloni, traktorĂ«t dhe veturat qĂ« i kishin marrĂ« me vete. Zaten, kudo nĂ« male, nĂ« rrugĂ«, rrugica dhe nĂ« fushat tĂ« DrenicĂ«s sot gjenĂ« traktorĂ«, vetura tĂ« djegura e kafshĂ« tĂ« vrara. Pas dĂ«meve materiale, ka pasur edhe viktima nĂ« njerĂ«z. NĂ« Dobroshec janĂ« vrarĂ« Rifat Fejza(45), Nezir Avdyli (45) dhe Hasan Maloku (65), tĂ« gjithĂ« civilĂ«. Luftime tĂ« ashpra dhe rezistencĂ«, pos nĂ« Dobrashec, ka pasur edhe nĂ« zonĂ«n e Gllanaselles, GradicĂ«s dhe tĂ« Godancit. NĂ« afĂ«rsi tĂ« shkollĂ«s fillore \"Rilindja\" tĂ« Dobrashecit, duke rrezistuar ballĂ« pĂ«r ballĂ« me forcat pushtuese, Ă«shtĂ« vrarĂ« Fehmi Lladrovci me gruan e tij XhevĂ«n, tĂ« cilĂ«t ishin Azemi dhe Shote Galica e ditĂ«ve tona. Pozicioni i ushtrisĂ« serbe dhe i makinerisĂ« sĂ« saj tĂ« rĂ«ndĂ« dhe ai ku qĂ«ndroi e rezistoi çifti Lladrovci nuk ishin mĂ« larg se 300 metra. Vdekja e tyre po pĂ«rcillet me dhembje e pikĂ«llim tĂ« madh, sepse konsiderohet si njĂ«ra ndĂ«r humbjet mĂ« tĂ« mĂ«dha, pas vĂ«llezĂ«rve Jashari. Tok me ta nĂ« istikam Ă«shtĂ« vrarĂ« edhe njĂ« vajzĂ« me emrin Fatime (Hetemi) nga Shala, e cila shquhej pĂ«r trimĂ«ri tĂ« rrallĂ«. NdĂ«rsa tĂ« tjerĂ«t qĂ« u vranĂ« gjatĂ« luftimeve nĂ« GllanasellĂ« ishin civilĂ«. Fjala Ă«shtĂ« pĂ«r Hamit Lladrovcin (65) i cili u vra nĂ« shtĂ«pi tĂ« tij sepse nuk deshi tĂ« largohej nga pragu i vet, Hafize Lluganin (70), Bashkim Krasniqin (20), Miftar Korrumelin (60). . Nga tĂ« dhĂ«nat shihet se ushtria serbe ka shpall luftĂ« popullsisĂ« civile, tĂ« cilĂ«n vazhdon ta ndjekĂ«, ta vrasĂ« pa dallim. Shumica e tĂ« vrarĂ«ve e tĂ« masakruarve janĂ« gra, fĂ«mijĂ« e pleq. Stacionit shĂ«ndetĂ«sor nĂ« Dobrashec i mbetĂ«n vetĂ«m oxhaqet Kjo familje e Zabelit tĂ« PoshtĂ«m kthehet nĂ« shtĂ«pi nga Qirezi FotografitĂ« dhe teksti: Zeqir BEKOLLI""",
]
q_emb = model.encode(queries, normalize_embeddings=True)
d_emb = model.encode(docs, normalize_embeddings=True)
# cosine similarity when normalized = dot product
scores = q_emb @ d_emb.T
print(scores)
# Rank documents by relevance (highest score = most relevant)
for qi, q in enumerate(queries):
# `scores` may be a NumPy array or a torch Tensor depending on your setup.
row = torch.as_tensor(scores[qi]).flatten()
ranked = torch.argsort(row, descending=True)
print("\nQuery:", q)
for rank, j in enumerate(ranked.tolist(), start=1):
print(f"{rank:>2}. doc[{j}] score={row[j].item():.4f}")
Ollama / GGUF usage
If youâre using Ollama, you can run a GGUF quantized variant (example shown for Q8_0):
- Model name (Ollama):
hf.co/Kushtrim/Qwen3-Embedding-4B-Shqip:Q8_0
Example request:
curl http://localhost:11434/api/embeddings \
-H 'Content-Type: application/json' \
-d '{"model":"hf.co/Kushtrim/Qwen3-Embedding-4B-Shqip:Q8_0","prompt":"Përshëndetje"}'
Tips for best results
- Chunking (often helpful): for long articles, youâll often get better retrieval by splitting into smaller passages (choose chunk size based on your retrieval unit and
max_seq_length), embedding each passage, and retrieving at passage-level. For very short documents or when you always retrieve whole articles, chunking may not help. - Normalize embeddings if you plan to use cosine similarity (or dot-product on normalized vectors).
- Use consistent preprocessing for both queries and documents (same casing/cleanup).
Limitations
- Trained primarily on one domain/source (news-style OCR text); performance may vary on other domains.
- OCR artifacts may exist in training data; robust retrieval usually benefits from chunking and cleanup.
- This is an embedding model, not a generative chat model.
Development and attribution
- Original Qwen3 Embedding architecture and weights: Qwen Team; fine-tuning-ready base distributed through
unsloth/Qwen3-Embedding-4B - Albanian retrieval adaptation, dataset curation, fine-tuning, evaluation, packaging, and release: Kushtrim Visoka
- Model card and ongoing maintenance: Kushtrim Visoka
Acknowledgements
This work builds on Qwen3-Embedding-4B and the work of its original authors. The upstream architecture and base weights remain the work of their respective creators. This repository documents the task-specific adaptation and release work carried out by Kushtrim Visoka and does not claim authorship of the original model. Dataset creators and tool authors referenced elsewhere in this card should also be cited according to their licenses and documentation.
Citation
If you use this fine-tuned model, please cite this repository and the original upstream model.
@misc{visoka_qwen3_embedding_4b_shqip_2026,
author = {Visoka, Kushtrim},
title = {Qwen3 Embedding 4B Shqip},
year = {2026},
publisher = {Hugging Face},
url = {https://huggingface.co/Kushtrim/Qwen3-Embedding-4B-Shqip},
note = {Fine-tuned derivative of Qwen3-Embedding-4B}
}