akdeniz/multilingual-e5-large-rag-instruct-turkish

This is a sentence-transformers model finetuned from [infloat/multilingual-e5-large] on the [akdeniz27/rag_instruct_turkish] dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Type: Sentence Transformer
Base model: intfloat/multilingual-e5-large
Maximum Sequence Length: 512 tokens
Output Dimensionality: 1024 dimensions
Similarity Function: Cosine Similarity
Training Dataset:
- json
Language: en
License: apache-2.0

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("akdeniz27/multilingual-e5-large-rag-instruct-turkish")
# Run inference
sentences = [
    'Minsky makinesinin sınırlı bir talimat seti ile Turing tamlığı nasıl gösterdiğini açıklayın. ',
    ' durum-trajectörü, bu "kopya" makinesi için geçerli değildir, çünkü değişken giriş "parametreleri" ile sağlanabilir. "Hesaplamanın ilerlemesi" diyagramı, üç durumlu "busy beaver"ın hesaplaması boyunca başlangıçtan sona kadar "durum" (talimat) ilerlemesini gösterir. En sağda, her adımda Turing "tam yapılandırması" (Kleene "durum", Hopcroft-Ullman "anlık tanım") bulunmaktadır. Eğer makine durdurulup hem "durum kaydedici" hem de tüm bant boşaltılacak olursa, bu "yapılandırmalar" hesaplamanın ilerlemesinde herhangi bir yerden yeniden ateşlenmesi için kullanılabilir (bkz. Turing (1936) "Karar Verilemez", s. 139-140). Basit evrensel bir Turing makinesinden daha fazla hesaplama kapasitesine sahip olduğu düşünülen birçok makinenin aslında daha fazla güce sahip olmadığı gösterilebilir (Hopcroft ve Ullman s. 159, bkz. Minsky (1967)). Belki daha hızlı hesaplayabilirler ya da daha az bellek kullanabilirler ya da talimat setleri daha küçük olabilir, ancak daha güçlü hesaplayamazlar (yani daha fazla matematiksel fonksiyon). (Church–Turing tezini hatırlayın: bu durumun herhangi bir tür makine için geçerli olduğunu "hipotez eder": "hesaplanabilir" olan her şey bazı Turing makineleri tarafından hesaplanabilir.) Bir Turing makinesi, daha esnek ve kısa hale getirilmiş tek yığın itme otomatonuna (PDA) eşdeğerdir ve bu, köşegen numaraların 1\'lerini ve 0\'larını sonsuza dek yazmaya devam eden tatmin edici, dairesel olmayan bir hesaplama makinesi ile elde edilmiştir. (N 1\'e sıfırlanır ve R 0\'a sıfırlanırsa aynı şeyi göreceğiz.) Okuyucu bunu inanmıyorsa, karar makinesi D için bir "stub" yazabilir (stub "D" "tatmin edici" dönecektir) ve ardından kendileri makine H\'nin kendi numarası ile karşılaştığı anın ne olduğunu görebilirler. Bir sayfadan kısa olan girişten sonuca geçiş belirsizdir. Turing "reductio ad absurdum" ile ilerler. Bir E makinesinin varlığını öne sürer, bu makine verilirse o zaman, kendisi bu gözlemi yapmıştır: Wang, makalesinin "iki yaklaşımı birbirine bağlayacağını" umuyordu. Gerçekten de, Minsky bunu doğruluyor: "Turing makinesi teorisinin ilk formülasyonunun bilgisayar benzeri modellere Wang (1957)’de yer aldığı" (Minsky 1967:200). Minsky, bir sayıcı makinesinin Turing eşdeğerliğini göstermeye devam eder. Bilgisayarların basit Turing eşdeğer modellere indirgenmesi (ve tersine) ile ilgili olarak, Minsky\'nin Wang\'ı "ilk formülasyonu yapan" olarak nitelendirmesi tartışmaya açıktır. Hem Minsky\'nin 1961 tarihli makalesi hem de Wang\'ın 1957 tarihli makalesi Shepherdson ve Sturgis (1963) tarafından alıntılanmakta olup, devam eden çizgileri de alıntılar ve özetler. Bu, 1981\'de Elaine Avner tarafından yayınlanan "TUTOR Komutları ve Sistem Değişkenleri (10. baskı)" sayfa S5\'ten alınan aşağıdaki örnekle gösterilmektedir: Aynı sözdizimi, geleneksel programlama dillerindeki while döngüleriyle karşılaştırılabilir bir anlam ile codice_31, codice_32 blokları için kullanılmıştır. Bu, 1981\'de Elaine Avner tarafından yayınlanan "TUTOR Komutları ve Sistem Değişkenleri (10. baskı)" sayfa S6\'dan alınan aşağıdaki örnekle gösterilmektedir: codice_33 ve codice_34 komutları, C temelli dillerin codice_35 ve codice_36 ifadelerine benzer, ancak sağ kenarda indente oturması gerekir. Sol uçları işaretlemek için əə sembollerini sağladı. Sonlu sayıdaki bant sembollerin herhangi biri izin verilmiştir. Talimatlar (eğer evrensel bir makineyse) ve "giriş" ve "çıkış" yalnızca "F-kareler" üzerine yazılmış ve işaretlerin "E-kareler" üzerine çıkması beklenmiştir. Temelde, makinesini her zaman beraber hareket eden iki banda ayırmıştır. Talimatlar, "5-tuple" adı verilen bir tablo biçiminde ortaya çıkmış ve sıralı olarak yürütülmemiştir. Aşağıdaki modeller, tek bant Turing makineleridir ancak (i) sınırlı bant sembolleri {işaret, boş} ve/veya (ii) sıralı, bilgisayar benzeri talimatlar ve/veya (iii) makine-eşlemleri tamamen atomize edilmiş şekilde kısıtlanmıştır. Emil Post, 0 ile değiştirilmiştir: L ← 0), SUCCESSOR (örneğin, L ← L + 1) ve DECREMENT (örneğin, L ← L − 1). Nadir de olsa, bir programcının bu kadar sınırlı bir talimat seti ile "kod" yazması gerekir. Ancak Minsky (Melzak ve Lambek gibi) yalnızca dört genel "tip" talimat ile makinesinin Turing tam olduğunu göstermektedir: koşullu GOTO, koşulsuz GOTO, atama/değiştirme/yerine geçirme ve HALT. "Bir algoritmanın simülasyonu: bilgisayar (computor) dili": Knuth okuyucuya "en iyi yolu öğrenmenin, bir algoritmayı denemek olduğunu... hemen kalem ve kağıt alıp bir örnek üzerinde çalışmayı" tavsiye eder. Ancak 0\'ların ilk n\'ini "0-bar" (0) olarak ardışık olarak dönüştüren bir simülasyon Mn hakkında ne dersiniz? Detayları göstermeden, bu makine F\'nin gerçekten inşa edilebilir olduğunu iddia ediyor. Birkaç şey gerçekleşebilir. F, 0\'ların bulunduğu makinelerin tükenmesi ya da "sonsuz" makineler oluşturması gerekebilir "sıfırları iptal etmek için". Turing şimdi makineler E ve F\'yi bir bileşik makine G\'ye birleştiriyor. G, orijinal M ile başlar, ardından F\'yi kullanarak tüm ardışık makineleri M1, M2, ..., Mn oluşturur. Sonra G, M ile başlayan her makineyi test etmek için E\'yi kullanır. Hem Minsky (1967) s. 21 hem de Boolos-Burgess-Jeffrey (2002) s. 60-61, μ operatörünün soyut bir makine olarak tanımlarını sağlamaktadır; alternatif tanımlar için dipnotu görünüz. Aşağıdaki gösterim, dipnotta bahsedilen "özellik" olmaksızın Minsky\'yi takip eder. Gösterim, Peano Aksiyomları ve ilkel rekürsif fonksiyonlarla yakından ilgili bir "ardıl" sayıcı makine modeli kullanacaktır. Model, (i) bir TALİMATLAR tablosu bulunan sonlu durumlu bir makine ve yeniden adlandıracağımız bir "durum kaydedici" (IR), (ii) her biri yalnızca bir doğal sayı tutabilen birkaç "kaydedici" ve pratikte hesaplama için: gerçek dünya bilgisayarları, Turing makinelerinden farklı tasarımlara dayanmaktadır ve rastgele erişim belleği kullanmaktadır. Turing tamlığı, bir talimatlar sisteminin bir Turing makinesini simüle etme yeteneğidir. Turing tam bir programlama dili teorik olarak bilgisayarlar tarafından gerçekleştirilebilecek tüm görevleri ifade etme yeteneğine sahiptir; sonlu bellek kısıtlamaları görmezden gelinirse hemen hemen tüm programlama dilleri Turing tamdır. Bir Turing makinesi, bir bilgisayar tarafından yapılan tüm veri manipülasyonunu kontrol eden bir CPU\'nun genel bir örneğidir ve kanonik makine, verileri depolamak için sıralı bellek kullanmaktadır. Daha spesifik olarak, bu bir makinedir.',
    ' "boşluk kullanımı"—bu terim, 20. yüzyılın sonuna kadar, tek boşluk cümle aralığı ile eşanlamlıydı. 19. yüzyılın sonlarında daktilonun icadıyla, daktilocular geleneksel dizgi ustalarının kullandığı tarzı taklit etmek için cümleler arasında iki boşluk bırakıyordu. Geniş cümle aralığı 20. yüzyılın ortalarında baskı endüstrisinde azalırken, bu uygulama daktilolarda ve daha sonra bilgisayarlarda devam etti. Muhtemelen bu nedenle, birçok modern kaynak, geniş aralığın daktilo için yaratıldığını yanlış bir şekilde iddia etmektedir. Arzulanan veya doğru cümle aralığı genellikle tartışma konusudur, ancak birçok kaynak artık ek boşluğun gerekli veya istenebilir olmadığını söylemektedir. İkinci biri, bir cümledeki atlamalar (üç nokta kullanarak: . . .) ile cümleler arasındaki atlamalar (bir nokta ve ardından, üç nokta ile bir boşluk kullanarak: . ...) arasındaki farkı belirtmektedir. Modern Dil Derneği (MLA) bir ellipsin tüm kullanımlarında her nokta öncesi ve sonrası boşluklar içermesi gerektiğini belirtirdi. Eğer bir ellips bir atlamayı temsil ediyorsa, ellipsin etrafında köşeli parantezler kullanılmalıdır; bu, alıntının orijinalinde bir duraklama olmadığını netleştirmek içindir: [ . . . ]. Şu anda, MLA stil kılavuzlarından köşeli parantez gerekliliğini kaldırmıştır. Ancak, bazıları parantez kullanımının hala doğru olduğunu savunmaktadır, çünkü bu belirsizliği ortadan kaldırmaktadır. MLA şimdi bir alıntı içinde bir cümleden malzeme çıkarma amacıyla üç noktalı, boşluklu ellips ( . . . ) kullanılmasını belirtmektedir. Cümleler arasında geçiş yaparken (atlanan metin bir nokta içeriyorsa, cümlenin sonunu atlamak da sayılacaktır), dört noktalı, boşluklu (ilk noktanın öncesi hariç) ellips (. . . . ) kullanılmalıdır. Orijinal metinde ellips noktaları varsa, orijinal metinde yer almayan ellips noktaları ayırt edilmelidir. 1950\'lerin ortalarına kadar hem Amerikan hem de İngiliz stil kılavuzları, noktalama ile metin arasında boşlukların eklenmesi gerektiğini belirtmiştir. MacKellar kılavuzu bunları \'saç aralıkları\' olarak tanımladı, ancak kendisi o dönemde yaygın olarak kabul edilen saç aralığından çok daha geniş bir aralık kullandı. Kelimelerin veya noktalamanın ardından gelen boşluklar satır sonlarına tabi tutuluyordu ve kelimeler ile yakın ilişkilendirilmiş noktalama arasındaki boşluklar, kesilmeyen boşluklardı. Ayrıca, satırları justify ederken, boşluklar (elle ilk olarak, sonra makinelerle, şimdi genellikle yazılımla) "oranlı" olarak farklılık göstermekteydi. Geleneksel dizgi ile modern yaygın baskı standartları arasındaki aralık farklılıkları metin içinde kolayca gözlemlenebilir; ancak diğer noktalama ile birleştiğinde, öncelikli boşluk kaybolur ve diğer noktalama devam eder. Bu, dizgi uygulamasında yaygın bir pratiktir. Yazar aşağıdaki örnekleri sunmaktadır: Amerika Birleşik Devletleri\'ndeki hukuki yazımda, "Bluebook" alıntı kılavuzundaki Kural 5.3, ellipslerin kullanımını yönetir ve ilk noktanın öncesinde ve sonraki iki nokta arasında boşluk gerektirir. Eğer bir ellips cümleyi bitiriyorsa, o zaman her biri bir boşlukla ayrılmış üç nokta var; ardından son noktalama gelir (örneğin, Hah . . . ?). Bazı hukuki yazımlarda, bir ellips üç nokta olarak yazılır; bu, "kelime aralığı"ndan daha fazlasıdır. Bazı modern dokunmatik ekran platformlarında, Android ve iOS dahil, ardışık olarak iki boşluk yazmak otomatik olarak cümlenin sonu anlamında yorumlanır ve bir nokta otomatik olarak eklenir. Ancak yalnızca bir boşluk korunur. Birden fazla boşluk, cümleler ile ilişkili olup olmadıkları fark etmeksizin, çoğu Dünya Çapında Ağ içeriğinde varsayılan olarak ortadan kaldırılır. Boşluğun korunması için, CSS beyaz boşluk özelliği ve <pre> etiketi gibi seçenekler mevcuttur. Twitter, kullanıcı girişi üzerindeki extra boşlukları web sitesinde korur. HTML ayrıca, her cümleyi ayrı bir elemente (örneğin, bir span) ayırarak ve CSS kullanarak cümle aralığını ince bir şekilde kontrol ederek çoğaltılmayan birkaç diğer boşluk varlığı içerir. Bu pratikte nadiren uygulanmakta. ASCII ve benzeri erken karakter kodlamaları yalnızca tek bir boşluk sağlar, bu kesilen ve sabit genişliktedir (belirli genişlik, ilgili font tarafından belirtilmiştir). EBCDIC, ASCII\'den daha eski olmasına rağmen, kesilen sabit genişlikte boşluk ("SP"), kesilmeyen sabit genişlikte boşluk ("RSP": "Required SPace") ve sabit genişlikte (ancak mutlaka em genişliğinde olmayan) rakamlar ile sayısal listelerde kullanılması için tasarlanmış alternatif genişlikte kesilmeyen sabit genişlikte boşluk ("NSP": "Numeric SPace") sağladı. HTML ve Unicode, yazarların yazıcı kılavuzlarından ayrışmaya başladığı ve yazarların cümleler arasında çift boşluk bırakması gerektiğini belirttiği yineleyen kayıtları sistemlerde bulunmaktadır. Bu, metin yaratmanın birincil yolu olarak daktilonun yerini almaya başladığı 20. yüzyılın çoğunluğu boyunca geçerliliğini korudu. 1990\'larda stil kılavuzları cümleler arasında tek boşluk önerisine geri döndü. Ancak, biraz daha geniş bir cümle aralığı yerine, stil kılavuzları sadece standart bir kelime aralığı belirtti. Bu artık yayıncılar için gelenek haline gelmiştir. Stil kılavuzları, "neredeyse tüm profesyonel editörlerin bir yazım çalışmasını yayın için düzenlerken onlardan birisi ile yakından çalıştıkları" için yazarlar için önemlidir. Kapsamlı stil kılavuzları, örneğin mevcut metin içinde imleci yerleştirir. Sanal klavye 21 dili destekleyebilir, buna Çince karakter tanıma da dahildir. Vurgu ile alternatif karakterler (örneğin, diğer dillerin alfabalarından harfler) ve emoji, tuşa iki saniye basarak ve açılan pencereden alternatif karakteri seçerek klavyeden yazılabilir. 3.0 güncellemesi, metin kesme, kopyalama veya yapıştırma desteği yanı sıra daha fazla uygulamada yatay klavye desteği de getirdi. iPhone 4S ve üzerindeki cihazlarda, Siri dikte imkanı sağlamaktadır. iOS 8\'den itibaren, App Store aracılığıyla dağıtılan üçüncü taraf klavyelere izin verilmiştir. Öncesinde, yazarların da "Eğer metin justine edilmiş kenarlara sahip olacaksa yalnızca bir boşluk kullanın." ve "Eğer el yazması, her cümleden sonra iki boşlukla zaten yazıldıysa, tüm metinde iki boşluğu bir boşluğa dönüştürmek için Değiştir işlevini kullanın." Yazar, bazı durumlarda yazarın cümleler arasında iki boşluk kullanma isteyebileceği konusunda uyarıyor. Verilen örnekler, bir boşluğun "cümleler arasında belirgin bir görsel ayrım sağlamaması" durumunu içerir; eğer cümlenin sonunda bir kısaltma kullanılıyorsa veya bazı çok küçük orantılı yazı tipleri (10 punto Times gibi) kullanılıyorsa geçerli olabilir.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

Datasets: dim_768, dim_512 and dim_256
Evaluated with InformationRetrievalEvaluator

Metric	dim_768	dim_512	dim_256
cosine_accuracy@1	0.4828	0.4816	0.4611
cosine_accuracy@3	0.6428	0.6355	0.6138
cosine_accuracy@5	0.689	0.6861	0.6653
cosine_accuracy@10	0.7446	0.7414	0.7183
cosine_precision@1	0.4828	0.4816	0.4611
cosine_precision@3	0.2143	0.2118	0.2046
cosine_precision@5	0.1378	0.1372	0.1331
cosine_precision@10	0.0745	0.0741	0.0718
cosine_recall@1	0.4828	0.4816	0.4611
cosine_recall@3	0.6428	0.6355	0.6138
cosine_recall@5	0.689	0.6861	0.6653
cosine_recall@10	0.7446	0.7414	0.7183
cosine_ndcg@10	0.6141	0.6114	0.5893
cosine_mrr@10	0.5723	0.5699	0.548
cosine_map@100	0.5777	0.5752	0.5543

Training Details

Training Dataset

json

Dataset: json
Size: 31,110 training samples
Columns: anchor and positive
Approximate statistics based on the first 1000 samples:
anchor positive
type string string
details
min: 2 tokens
mean: 34.22 tokens
max: 129 tokens

min: 2 tokens
mean: 509.32 tokens
max: 512 tokens

	anchor	positive
type	string	string
details	min: 2 tokens mean: 34.22 tokens max: 129 tokens	min: 2 tokens mean: 509.32 tokens max: 512 tokens

Samples:

anchor	positive
`Öğrenme ortamında bir desen eşleştirme sisteminin bir öğrenci yanıtının doğruluğunu nasıl belirleyebileceğini açıklayın.`	Bu teori, bir dizi ilgili uyarana maruz kalmanın, ortak özelliklerine dayanan "tipik" bir prototipin yaratılmasına yol açtığını öne sürmektedir. Bu, depolanan şablon sayısını standart bir temsil içine eriterek azaltır. Prototip, algısal esnekliği destekler, çünkü şablon eşleştirmeden farklı olarak, yeni uyarıların tanınmasında değişkenlik olmasına izin verir. Örneğin, bir çocuk daha önce hiç bir bahçe sandalyesi görmemişse, yine de bunun bir sandalye olduğunu, dört bacak ve bir oturak özelliklerini anladığı için tanıyabilir. Ancak, bu fikir, olabildiğince deyimsel dizilerin tespiti gecikmeli kalmayı, daha az etkilenmiş talimat sıralamalarının sonraki aşamalarına sınırlamaktadır. Örneğin, bir derleyicinin talimat takvimi aşaması, bir deyimsel dizinin içine başka talimatlar ekleyebilir veya dizideki talimatların sıralamasını değiştirebilir. Bozma aşamasındaki bir desen eşleştirme süreci, muhtemelen değiştirilen deseni tanımlamaz. Daha sonraki aşamalar talimat ifadelerini daha karmaşık i...
`Derin öğrenme mimarileri hangi alanlarda uygulanmıştır?`	Kullanılan ana istatistiksel analiz araçları türleri: denetimli ve denetimsiz. Her iki durumda da, şüpheli taleplerin belirlenmesi, talep hakkında verilerin beklenen değerlerle karşılaştırılması yoluyla yapılır. İki yöntem arasındaki ana fark, beklenen değerlerin nasıl elde edildiğidir. Denetimli bir yöntemde, beklenen değerler hem dolandırıcı hem de dolandırıcılık yapmayan taleplerin kayıtlarını analiz ederek elde edilir. Londra'daki Imperial College'dan Richard J. Bolton ve David B. Hand'e göre, bu yöntem dolandırıcılık yapıyor ya da yapmıyor olduğu kesin olarak bilinen taleplerin analiz edilmesini gerektirdiği için bazı dezavantajlara sahiptir ve yalnızca bunlar açık olduğunda kullanılabilir. Makine öğrenimi görevleri birkaç geniş kategoriye ayrılmaktadır. Denetimli öğrenmede, algoritma hem girdileri hem de istenen çıktıları içeren bir veri kümesinin matematiksel modelini oluşturur. Örneğin, bir görüntünün belirli bir nesne içerip içermediğini belirlemek amacıyla eğer görev bu olsa...
`Loews Portofino Bay Hotel, Hard Rock Hotel ve Loews Royal Pacific Resort'ta konaklayan misafirlerin Volcano Bay'de geçerli olmayan hangi ayrıcalığı vardır?`	Universal CityWalk'ta Fransız Mahallesi'nde bir after party gerçekleşmektedir. Bu, park girişine dahildir. "Harry Potter Kutlaması", J.K. Rowling'in yazdığı Harry Potter kitaplarının ve bu kitaplara dayanan film serisinin hayranlığını kutlayan, her yıl Ocak ayının son haftasında düzenlenen üç günlük bir etkinliktir. Etkinlik, Universal Parks & Resorts, Warner Bros. Entertainment ve Scholastic iş birliğiyle gerçekleştirilmektedir. 24-26 Ocak 2014 tarihindeki hafta sonu başlayan etkinlik, film yeteneklerinin soru-cevap oturumlarını, panelleri, özel gösterimleri, fotoğraf fırsatlarını, Pottermore sergilerini içermektedir. Ayrıca "Super Silly Fun Land" adlı büyük bir açık alanda kuru ve ıslak oyun alanı ile "The Silly Swirly" adlı bir dönme dolap bulunmaktadır. Alandaki temalı yemek yerleri "Gru'nun Laboratuvar Kafe" ve "Despicable Delights"tır. "DreamWorks Tiyatrosu", DreamWorks Animasyon temalıdır. "Springfield", "The Simpsons" televizyon programına temalıdır. Bu alanda, "The Simpsons R...

Loss: MatryoshkaLoss with these parameters:

{
    "loss": "MultipleNegativesRankingLoss",
    "matryoshka_dims": [
        768,
        512,
        256
    ],
    "matryoshka_weights": [
        1,
        1,
        1
    ],
    "n_dims_per_step": -1
}

Training Hyperparameters

Non-Default Hyperparameters

eval_strategy: epoch
gradient_accumulation_steps: 16
learning_rate: 2e-05
num_train_epochs: 4
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: True
tf32: True
load_best_model_at_end: True
optim: adamw_torch_fused
batch_sampler: no_duplicates

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: epoch
prediction_loss_only: True
per_device_train_batch_size: 8
per_device_eval_batch_size: 8
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 16
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 2e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1.0
num_train_epochs: 4
max_steps: -1
lr_scheduler_type: cosine
lr_scheduler_kwargs: {}
warmup_ratio: 0.1
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: True
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: True
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: True
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch_fused
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: no_duplicates
multi_dataset_batch_sampler: proportional

Training Logs