nyt_ingredients-tagger-paraphrase-MiniLM-L3-v2
This model is a fine-tuned version of sentence-transformers/paraphrase-MiniLM-L3-v2 on the nyt_ingredients dataset. It achieves the following results on the evaluation set:
- Loss: 0.4826
- Comment: {'precision': 0.641354292623942, 'recall': 0.7546955036994878, 'f1': 0.6934239769904563, 'number': 7028}
- Name: {'precision': 0.7884535655058044, 'recall': 0.8198965294244449, 'f1': 0.8038676952340695, 'number': 9278}
- Qty: {'precision': 0.9891548736939558, 'recall': 0.9878483687755911, 'f1': 0.9885011895321174, 'number': 7571}
- Range End: {'precision': 0.813953488372093, 'recall': 0.7526881720430108, 'f1': 0.782122905027933, 'number': 93}
- Unit: {'precision': 0.9268482490272374, 'recall': 0.9833223249669749, 'f1': 0.9542504607002644, 'number': 6056}
- Overall Precision: 0.8257
- Overall Recall: 0.8797
- Overall F1: 0.8519
- Overall Accuracy: 0.8289
Model description
More information needed
Intended uses & limitations
More information needed
Training and evaluation data
More information needed
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 32
- eval_batch_size: 32
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 10
Training results
| Training Loss | Epoch | Step | Validation Loss | Comment | Name | Qty | Range End | Unit | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0.7174 | 0.2 | 1000 | 0.6566 | {'precision': 0.5088729580444236, 'recall': 0.6345252051582649, 'f1': 0.5647948868453662, 'number': 6824} | {'precision': 0.7654784240150094, 'recall': 0.7879132114052028, 'f1': 0.7765338110165697, 'number': 8803} | {'precision': 0.9619699042407661, 'recall': 0.9810267857142857, 'f1': 0.9714048901782015, 'number': 7168} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 82} | {'precision': 0.9151633349585568, 'recall': 0.9784535186794092, 'f1': 0.945750755794424, 'number': 5755} | 0.7711 | 0.8357 | 0.8021 | 0.7841 |
| 0.6076 | 0.4 | 2000 | 0.5845 | {'precision': 0.5363414634146342, 'recall': 0.6444900351699883, 'f1': 0.5854632587859425, 'number': 6824} | {'precision': 0.7547189819724284, 'recall': 0.8084743837328183, 'f1': 0.7806724071738058, 'number': 8803} | {'precision': 0.974110480409802, 'recall': 0.9815848214285714, 'f1': 0.9778333680772705, 'number': 7168} | {'precision': 0.6, 'recall': 0.14634146341463414, 'f1': 0.23529411764705882, 'number': 82} | {'precision': 0.9114658925979681, 'recall': 0.9821025195482189, 'f1': 0.9454667112746737, 'number': 5755} | 0.7793 | 0.8457 | 0.8111 | 0.7988 |
| 0.5777 | 0.59 | 3000 | 0.5503 | {'precision': 0.55049786628734, 'recall': 0.6805392731535757, 'f1': 0.6086500655307995, 'number': 6824} | {'precision': 0.7717766278568349, 'recall': 0.8132454844939225, 'f1': 0.7919685823330935, 'number': 8803} | {'precision': 0.9715620277510647, 'recall': 0.9866071428571429, 'f1': 0.9790267875683533, 'number': 7168} | {'precision': 0.45714285714285713, 'recall': 0.5853658536585366, 'f1': 0.5133689839572192, 'number': 82} | {'precision': 0.9229885057471264, 'recall': 0.9767158992180712, 'f1': 0.9490924440692275, 'number': 5755} | 0.7870 | 0.8572 | 0.8206 | 0.8056 |
| 0.553 | 0.79 | 4000 | 0.5343 | {'precision': 0.5713428537141486, 'recall': 0.6976846424384525, 'f1': 0.6282245827010623, 'number': 6824} | {'precision': 0.7823947512301804, 'recall': 0.812791093945246, 'f1': 0.7973033207042568, 'number': 8803} | {'precision': 0.9756500206355757, 'recall': 0.9893973214285714, 'f1': 0.9824755835699939, 'number': 7168} | {'precision': 0.5465116279069767, 'recall': 0.573170731707317, 'f1': 0.5595238095238095, 'number': 82} | {'precision': 0.9150137074665377, 'recall': 0.9859252823631625, 'f1': 0.9491468718634996, 'number': 5755} | 0.7968 | 0.8637 | 0.8289 | 0.8122 |
| 0.5407 | 0.99 | 5000 | 0.5183 | {'precision': 0.5958625785001848, 'recall': 0.7091148886283705, 'f1': 0.6475744396119103, 'number': 6824} | {'precision': 0.787269129287599, 'recall': 0.8134726797682609, 'f1': 0.8001564333202973, 'number': 8803} | {'precision': 0.9823488533703961, 'recall': 0.9860491071428571, 'f1': 0.9841955023323818, 'number': 7168} | {'precision': 0.5294117647058824, 'recall': 0.7682926829268293, 'f1': 0.626865671641791, 'number': 82} | {'precision': 0.9231271421576628, 'recall': 0.9827975673327541, 'f1': 0.9520282780676653, 'number': 5755} | 0.8085 | 0.8657 | 0.8361 | 0.8186 |
| 0.5109 | 1.19 | 6000 | 0.5210 | {'precision': 0.611145206824598, 'recall': 0.729630715123095, 'f1': 0.6651526284149355, 'number': 6824} | {'precision': 0.788943623426382, 'recall': 0.8186981710780415, 'f1': 0.803545545768759, 'number': 8803} | {'precision': 0.9822370247016375, 'recall': 0.9874441964285714, 'f1': 0.9848337275636566, 'number': 7168} | {'precision': 0.5614035087719298, 'recall': 0.7804878048780488, 'f1': 0.653061224489796, 'number': 82} | {'precision': 0.924762839385018, 'recall': 0.9824500434404866, 'f1': 0.9527340129749768, 'number': 5755} | 0.8133 | 0.8725 | 0.8419 | 0.8201 |
| 0.5125 | 1.39 | 7000 | 0.5072 | {'precision': 0.607906114885732, 'recall': 0.7211313012895663, 'f1': 0.6596956900596554, 'number': 6824} | {'precision': 0.7913407513495648, 'recall': 0.8159718277859821, 'f1': 0.8034675615212529, 'number': 8803} | {'precision': 0.983300862788756, 'recall': 0.9857700892857143, 'f1': 0.9845339278249966, 'number': 7168} | {'precision': 0.5714285714285714, 'recall': 0.7317073170731707, 'f1': 0.641711229946524, 'number': 82} | {'precision': 0.9279947273026857, 'recall': 0.978627280625543, 'f1': 0.952638700947226, 'number': 5755} | 0.8143 | 0.8683 | 0.8404 | 0.8215 |
| 0.4967 | 1.58 | 8000 | 0.5088 | {'precision': 0.6126803996546195, 'recall': 0.7278722157092614, 'f1': 0.6653271716562856, 'number': 6824} | {'precision': 0.7949600355239786, 'recall': 0.8134726797682609, 'f1': 0.8041098197742967, 'number': 8803} | {'precision': 0.9813148788927336, 'recall': 0.9891183035714286, 'f1': 0.9852011394427846, 'number': 7168} | {'precision': 0.503448275862069, 'recall': 0.8902439024390244, 'f1': 0.6431718061674009, 'number': 82} | {'precision': 0.9266295447101212, 'recall': 0.9831450912250217, 'f1': 0.9540510918135063, 'number': 5755} | 0.8156 | 0.8714 | 0.8425 | 0.8218 |
| 0.5121 | 1.78 | 9000 | 0.5022 | {'precision': 0.6241911398705824, 'recall': 0.735052754982415, 'f1': 0.6751009421265142, 'number': 6824} | {'precision': 0.7883291443558081, 'recall': 0.8194933545382256, 'f1': 0.803609223571349, 'number': 8803} | {'precision': 0.9850642099385818, 'recall': 0.9845145089285714, 'f1': 0.9847892827239743, 'number': 7168} | {'precision': 0.5238095238095238, 'recall': 0.8048780487804879, 'f1': 0.6346153846153846, 'number': 82} | {'precision': 0.9253999347045381, 'recall': 0.9850564726324935, 'f1': 0.9542967763656258, 'number': 5755} | 0.8176 | 0.8739 | 0.8448 | 0.8248 |
| 0.5008 | 1.98 | 10000 | 0.4998 | {'precision': 0.6337506387327542, 'recall': 0.7269929660023446, 'f1': 0.6771771771771772, 'number': 6824} | {'precision': 0.7910726036411494, 'recall': 0.8193797569010565, 'f1': 0.8049774008146867, 'number': 8803} | {'precision': 0.9698246567894522, 'recall': 0.9953962053571429, 'f1': 0.9824440619621343, 'number': 7168} | {'precision': 0.47468354430379744, 'recall': 0.9146341463414634, 'f1': 0.625, 'number': 82} | {'precision': 0.9263984298331698, 'recall': 0.9841876629018245, 'f1': 0.9544190749010025, 'number': 5755} | 0.8192 | 0.8748 | 0.8461 | 0.8250 |
| 0.4863 | 2.18 | 11000 | 0.4954 | {'precision': 0.6343217665615142, 'recall': 0.736664712778429, 'f1': 0.6816733337853415, 'number': 6824} | {'precision': 0.7913881888901063, 'recall': 0.820515733272748, 'f1': 0.8056887897378694, 'number': 8803} | {'precision': 0.9850787895690978, 'recall': 0.9854910714285714, 'f1': 0.9852848873701096, 'number': 7168} | {'precision': 0.6122448979591837, 'recall': 0.7317073170731707, 'f1': 0.6666666666666666, 'number': 82} | {'precision': 0.9250367466927977, 'recall': 0.9841876629018245, 'f1': 0.9536959084020878, 'number': 5755} | 0.8224 | 0.8745 | 0.8477 | 0.8273 |
| 0.4893 | 2.38 | 12000 | 0.4947 | {'precision': 0.6325136612021858, 'recall': 0.7463364595545134, 'f1': 0.6847270771712826, 'number': 6824} | {'precision': 0.7868191721132898, 'recall': 0.820515733272748, 'f1': 0.8033142412278262, 'number': 8803} | {'precision': 0.9809207797594359, 'recall': 0.9898158482142857, 'f1': 0.9853482397055761, 'number': 7168} | {'precision': 0.5068493150684932, 'recall': 0.9024390243902439, 'f1': 0.6491228070175438, 'number': 82} | {'precision': 0.9245928338762215, 'recall': 0.9864465682015638, 'f1': 0.9545187053383775, 'number': 5755} | 0.8182 | 0.8788 | 0.8474 | 0.8257 |
| 0.489 | 2.57 | 13000 | 0.4869 | {'precision': 0.635054931178179, 'recall': 0.736957796014068, 'f1': 0.6822220714915552, 'number': 6824} | {'precision': 0.7892552959161389, 'recall': 0.8210837214585937, 'f1': 0.8048549635320973, 'number': 8803} | {'precision': 0.9829498197948433, 'recall': 0.9892578125, 'f1': 0.9860937282714505, 'number': 7168} | {'precision': 0.5298507462686567, 'recall': 0.8658536585365854, 'f1': 0.6574074074074074, 'number': 82} | {'precision': 0.9235896602178507, 'recall': 0.9871416159860991, 'f1': 0.9543087518898035, 'number': 5755} | 0.8209 | 0.8766 | 0.8479 | 0.8272 |
| 0.4691 | 2.77 | 14000 | 0.4905 | {'precision': 0.6450718427022939, 'recall': 0.75, 'f1': 0.6935899173329719, 'number': 6824} | {'precision': 0.7925502692011867, 'recall': 0.8193797569010565, 'f1': 0.8057417336907953, 'number': 8803} | {'precision': 0.9818584683561834, 'recall': 0.9891183035714286, 'f1': 0.9854750156369451, 'number': 7168} | {'precision': 0.5481481481481482, 'recall': 0.9024390243902439, 'f1': 0.6820276497695853, 'number': 82} | {'precision': 0.9296515450361604, 'recall': 0.9827975673327541, 'f1': 0.9554861052453754, 'number': 5755} | 0.8253 | 0.8784 | 0.8510 | 0.8283 |
| 0.4781 | 2.97 | 15000 | 0.4878 | {'precision': 0.6444919517102615, 'recall': 0.7510257913247362, 'f1': 0.6936924742826204, 'number': 6824} | {'precision': 0.7942146942366916, 'recall': 0.8202885379984096, 'f1': 0.8070410729253981, 'number': 8803} | {'precision': 0.98375, 'recall': 0.9881417410714286, 'f1': 0.9859409799554566, 'number': 7168} | {'precision': 0.5433070866141733, 'recall': 0.8414634146341463, 'f1': 0.6602870813397129, 'number': 82} | {'precision': 0.9268651832460733, 'recall': 0.9843614248479583, 'f1': 0.9547484621218505, 'number': 5755} | 0.8255 | 0.8788 | 0.8513 | 0.8293 |
| 0.4599 | 3.17 | 16000 | 0.4852 | {'precision': 0.6450299096347206, 'recall': 0.742672919109027, 'f1': 0.6904161841836387, 'number': 6824} | {'precision': 0.7944048272078991, 'recall': 0.8225604907417926, 'f1': 0.8082375265096551, 'number': 8803} | {'precision': 0.983072013320383, 'recall': 0.9884207589285714, 'f1': 0.9857391304347826, 'number': 7168} | {'precision': 0.5289855072463768, 'recall': 0.8902439024390244, 'f1': 0.6636363636363637, 'number': 82} | {'precision': 0.9331015068719987, 'recall': 0.9791485664639444, 'f1': 0.9555706291334577, 'number': 5755} | 0.8269 | 0.8767 | 0.8511 | 0.8306 |
| 0.4636 | 3.37 | 17000 | 0.4889 | {'precision': 0.6520854526958291, 'recall': 0.7514654161781946, 'f1': 0.6982570806100218, 'number': 6824} | {'precision': 0.7879774305555556, 'recall': 0.8249460411223447, 'f1': 0.8060380709251347, 'number': 8803} | {'precision': 0.9818785447503112, 'recall': 0.990234375, 'f1': 0.9860387580745988, 'number': 7168} | {'precision': 0.46875, 'recall': 0.9146341463414634, 'f1': 0.6198347107438017, 'number': 82} | {'precision': 0.9251711770459733, 'recall': 0.9860990443092963, 'f1': 0.9546639751030365, 'number': 5755} | 0.8247 | 0.8815 | 0.8521 | 0.8303 |
| 0.4688 | 3.56 | 18000 | 0.4901 | {'precision': 0.6491074772188241, 'recall': 0.7620164126611958, 'f1': 0.7010448264239973, 'number': 6824} | {'precision': 0.7955320787938813, 'recall': 0.8211973190957628, 'f1': 0.8081609837898266, 'number': 8803} | {'precision': 0.9829474559822543, 'recall': 0.9891183035714286, 'f1': 0.9860232250886588, 'number': 7168} | {'precision': 0.5526315789473685, 'recall': 0.7682926829268293, 'f1': 0.6428571428571429, 'number': 82} | {'precision': 0.9250325945241199, 'recall': 0.98627280625543, 'f1': 0.9546716003700276, 'number': 5755} | 0.8265 | 0.8822 | 0.8534 | 0.8319 |
| 0.4584 | 3.76 | 19000 | 0.4824 | {'precision': 0.65155342258146, 'recall': 0.7560082063305978, 'f1': 0.6999050332383666, 'number': 6824} | {'precision': 0.7932665859830564, 'recall': 0.819038963989549, 'f1': 0.8059467918622849, 'number': 8803} | {'precision': 0.981740213030848, 'recall': 0.9900948660714286, 'f1': 0.9858998402444954, 'number': 7168} | {'precision': 0.5289855072463768, 'recall': 0.8902439024390244, 'f1': 0.6636363636363637, 'number': 82} | {'precision': 0.9315113598946329, 'recall': 0.9831450912250217, 'f1': 0.956632006086736, 'number': 5755} | 0.8275 | 0.8800 | 0.8530 | 0.8307 |
| 0.4701 | 3.96 | 20000 | 0.4806 | {'precision': 0.6606470053267507, 'recall': 0.7451641266119577, 'f1': 0.7003649886371462, 'number': 6824} | {'precision': 0.7948661693725319, 'recall': 0.8231284789276383, 'f1': 0.8087504883084994, 'number': 8803} | {'precision': 0.9844357976653697, 'recall': 0.98828125, 'f1': 0.98635477582846, 'number': 7168} | {'precision': 0.5384615384615384, 'recall': 0.8536585365853658, 'f1': 0.660377358490566, 'number': 82} | {'precision': 0.9314549349151425, 'recall': 0.9822762814943528, 'f1': 0.956190798376184, 'number': 5755} | 0.8322 | 0.8780 | 0.8545 | 0.8329 |
| 0.4441 | 4.16 | 21000 | 0.4863 | {'precision': 0.6520674996779595, 'recall': 0.7417936694021102, 'f1': 0.6940426407074792, 'number': 6824} | {'precision': 0.7900534409423056, 'recall': 0.8229012836533001, 'f1': 0.8061428889383486, 'number': 8803} | {'precision': 0.9831851028349082, 'recall': 0.9870256696428571, 'f1': 0.9851016429963798, 'number': 7168} | {'precision': 0.5882352941176471, 'recall': 0.7317073170731707, 'f1': 0.6521739130434783, 'number': 82} | {'precision': 0.9332010582010583, 'recall': 0.9807124239791486, 'f1': 0.9563670253325427, 'number': 5755} | 0.8285 | 0.8761 | 0.8516 | 0.8310 |
| 0.4375 | 4.36 | 22000 | 0.4853 | {'precision': 0.6539783577339274, 'recall': 0.7527842907385698, 'f1': 0.699911438108863, 'number': 6824} | {'precision': 0.7924075488164066, 'recall': 0.8251732363966829, 'f1': 0.8084585420144685, 'number': 8803} | {'precision': 0.9818735298187353, 'recall': 0.9899553571428571, 'f1': 0.985897881208753, 'number': 7168} | {'precision': 0.5103448275862069, 'recall': 0.9024390243902439, 'f1': 0.6519823788546256, 'number': 82} | {'precision': 0.9296490652673007, 'recall': 0.9850564726324935, 'f1': 0.9565510841137266, 'number': 5755} | 0.8278 | 0.8815 | 0.8538 | 0.8326 |
| 0.4566 | 4.55 | 23000 | 0.4807 | {'precision': 0.6580237358101135, 'recall': 0.7475087924970691, 'f1': 0.6999176728869374, 'number': 6824} | {'precision': 0.7963125548726954, 'recall': 0.8242644552993298, 'f1': 0.8100474462740721, 'number': 8803} | {'precision': 0.9836270292770917, 'recall': 0.9889787946428571, 'f1': 0.9862956521739129, 'number': 7168} | {'precision': 0.6090909090909091, 'recall': 0.8170731707317073, 'f1': 0.6979166666666666, 'number': 82} | {'precision': 0.9343936381709742, 'recall': 0.9800173761946134, 'f1': 0.9566618607412434, 'number': 5755} | 0.8324 | 0.8785 | 0.8548 | 0.8325 |
| 0.4546 | 4.75 | 24000 | 0.4797 | {'precision': 0.6631361405321622, 'recall': 0.7523446658851114, 'f1': 0.7049292873815736, 'number': 6824} | {'precision': 0.7910382513661203, 'recall': 0.8222196978302851, 'f1': 0.8063276332646355, 'number': 8803} | {'precision': 0.985369931726348, 'recall': 0.9866071428571429, 'f1': 0.9859881491808993, 'number': 7168} | {'precision': 0.651685393258427, 'recall': 0.7073170731707317, 'f1': 0.6783625730994152, 'number': 82} | {'precision': 0.9321222130470685, 'recall': 0.9807124239791486, 'f1': 0.9558001693480102, 'number': 5755} | 0.8323 | 0.8782 | 0.8547 | 0.8324 |
| 0.4462 | 4.95 | 25000 | 0.4855 | {'precision': 0.6583979328165375, 'recall': 0.7467760844079718, 'f1': 0.6998077451249656, 'number': 6824} | {'precision': 0.7887430864331417, 'recall': 0.8261956151312053, 'f1': 0.8070350643586329, 'number': 8803} | {'precision': 0.9822788315104527, 'recall': 0.9898158482142857, 'f1': 0.9860329372524493, 'number': 7168} | {'precision': 0.5390625, 'recall': 0.8414634146341463, 'f1': 0.6571428571428573, 'number': 82} | {'precision': 0.9290873276428102, 'recall': 0.9834926151172894, 'f1': 0.9555161644298135, 'number': 5755} | 0.8286 | 0.8799 | 0.8535 | 0.8325 |
| 0.433 | 5.15 | 26000 | 0.4934 | {'precision': 0.656934306569343, 'recall': 0.7517584994138335, 'f1': 0.7011549238023645, 'number': 6824} | {'precision': 0.7907638432917488, 'recall': 0.8208565261842554, 'f1': 0.805529234713784, 'number': 8803} | {'precision': 0.9852367688022284, 'recall': 0.9868861607142857, 'f1': 0.9860607750209088, 'number': 7168} | {'precision': 0.5172413793103449, 'recall': 0.9146341463414634, 'f1': 0.6607929515418502, 'number': 82} | {'precision': 0.935024034477043, 'recall': 0.9801911381407472, 'f1': 0.9570749915167968, 'number': 5755} | 0.8298 | 0.8782 | 0.8533 | 0.8298 |
| 0.442 | 5.35 | 27000 | 0.4850 | {'precision': 0.6560364464692483, 'recall': 0.7596717467760844, 'f1': 0.7040608447643624, 'number': 6824} | {'precision': 0.7970520294797052, 'recall': 0.8231284789276383, 'f1': 0.8098804068402817, 'number': 8803} | {'precision': 0.9842902822188239, 'recall': 0.9877232142857143, 'f1': 0.9860037601838312, 'number': 7168} | {'precision': 0.5407407407407407, 'recall': 0.8902439024390244, 'f1': 0.6728110599078342, 'number': 82} | {'precision': 0.9294735115630638, 'recall': 0.9847089487402259, 'f1': 0.956294296321296, 'number': 5755} | 0.8301 | 0.8819 | 0.8552 | 0.8333 |
| 0.4348 | 5.54 | 28000 | 0.4909 | {'precision': 0.6646636185499674, 'recall': 0.7456037514654161, 'f1': 0.7028109676082602, 'number': 6824} | {'precision': 0.7959763831183031, 'recall': 0.8269907985913894, 'f1': 0.8111872527717422, 'number': 8803} | {'precision': 0.982281284606866, 'recall': 0.9899553571428571, 'f1': 0.9861033907726514, 'number': 7168} | {'precision': 0.5867768595041323, 'recall': 0.8658536585365854, 'f1': 0.6995073891625616, 'number': 82} | {'precision': 0.9282555282555283, 'recall': 0.9847089487402259, 'f1': 0.9556492411467116, 'number': 5755} | 0.8331 | 0.8802 | 0.8560 | 0.8320 |
| 0.4324 | 5.74 | 29000 | 0.4822 | {'precision': 0.6659320715582059, 'recall': 0.7527842907385698, 'f1': 0.7066996835878389, 'number': 6824} | {'precision': 0.7957977675640184, 'recall': 0.8260820174940361, 'f1': 0.8106571540047935, 'number': 8803} | {'precision': 0.9828278631768453, 'recall': 0.9900948660714286, 'f1': 0.9864479810966712, 'number': 7168} | {'precision': 0.5982905982905983, 'recall': 0.8536585365853658, 'f1': 0.7035175879396985, 'number': 82} | {'precision': 0.9346850589995014, 'recall': 0.9772371850564726, 'f1': 0.9554875976894326, 'number': 5755} | 0.8342 | 0.8801 | 0.8566 | 0.8341 |
| 0.4375 | 5.94 | 30000 | 0.4843 | {'precision': 0.6641568220173958, 'recall': 0.7497069167643611, 'f1': 0.70434363598816, 'number': 6824} | {'precision': 0.7948914711686034, 'recall': 0.823696467113484, 'f1': 0.8090376569037656, 'number': 8803} | {'precision': 0.9834836918806384, 'recall': 0.9885602678571429, 'f1': 0.9860154456272177, 'number': 7168} | {'precision': 0.5352112676056338, 'recall': 0.926829268292683, 'f1': 0.6785714285714285, 'number': 82} | {'precision': 0.9328703703703703, 'recall': 0.9803649000868809, 'f1': 0.9560281284419215, 'number': 5755} | 0.8329 | 0.8791 | 0.8554 | 0.8328 |
| 0.4226 | 6.14 | 31000 | 0.4878 | {'precision': 0.6603463531791177, 'recall': 0.7655334114888629, 'f1': 0.7090600610790635, 'number': 6824} | {'precision': 0.7907611663208475, 'recall': 0.8225604907417926, 'f1': 0.806347438752784, 'number': 8803} | {'precision': 0.9829356270810211, 'recall': 0.9884207589285714, 'f1': 0.9856705620478576, 'number': 7168} | {'precision': 0.5241379310344828, 'recall': 0.926829268292683, 'f1': 0.669603524229075, 'number': 82} | {'precision': 0.9298015417418403, 'recall': 0.9850564726324935, 'f1': 0.9566317921025986, 'number': 5755} | 0.8289 | 0.8835 | 0.8553 | 0.8336 |
| 0.4305 | 6.34 | 32000 | 0.4837 | {'precision': 0.6565505182964906, 'recall': 0.770369284876905, 'f1': 0.7089205043489988, 'number': 6824} | {'precision': 0.8005732554293904, 'recall': 0.8249460411223447, 'f1': 0.8125769273805529, 'number': 8803} | {'precision': 0.985369931726348, 'recall': 0.9866071428571429, 'f1': 0.9859881491808993, 'number': 7168} | {'precision': 0.5528455284552846, 'recall': 0.8292682926829268, 'f1': 0.6634146341463415, 'number': 82} | {'precision': 0.9309437684972048, 'recall': 0.9838401390095569, 'f1': 0.956661316211878, 'number': 5755} | 0.8313 | 0.8844 | 0.8570 | 0.8342 |
| 0.4142 | 6.53 | 33000 | 0.4862 | {'precision': 0.6611656843483955, 'recall': 0.7397420867526378, 'f1': 0.6982502247734974, 'number': 6824} | {'precision': 0.7957059918939643, 'recall': 0.8251732363966829, 'f1': 0.8101717599821548, 'number': 8803} | {'precision': 0.9761611179613646, 'recall': 0.9940011160714286, 'f1': 0.9850003456141564, 'number': 7168} | {'precision': 0.5323741007194245, 'recall': 0.9024390243902439, 'f1': 0.669683257918552, 'number': 82} | {'precision': 0.9326843755155915, 'recall': 0.9822762814943528, 'f1': 0.9568381855111713, 'number': 5755} | 0.8315 | 0.8789 | 0.8545 | 0.8332 |
| 0.4327 | 6.73 | 34000 | 0.4835 | {'precision': 0.6665352260778128, 'recall': 0.7431125439624854, 'f1': 0.7027439024390244, 'number': 6824} | {'precision': 0.7882020026121027, 'recall': 0.8226740883789617, 'f1': 0.8050692012673003, 'number': 8803} | {'precision': 0.9820317899101589, 'recall': 0.9912109375, 'f1': 0.9866000138859959, 'number': 7168} | {'precision': 0.5833333333333334, 'recall': 0.8536585365853658, 'f1': 0.6930693069306931, 'number': 82} | {'precision': 0.9306035191580332, 'recall': 0.9833188531711555, 'f1': 0.9562352145995269, 'number': 5755} | 0.8318 | 0.8783 | 0.8544 | 0.8330 |
| 0.4299 | 6.93 | 35000 | 0.4833 | {'precision': 0.660639246147969, 'recall': 0.7602579132473622, 'f1': 0.706956462492335, 'number': 6824} | {'precision': 0.7949644225506295, 'recall': 0.8249460411223447, 'f1': 0.8096777790166128, 'number': 8803} | {'precision': 0.9836133870295792, 'recall': 0.9881417410714286, 'f1': 0.9858723641171967, 'number': 7168} | {'precision': 0.5401459854014599, 'recall': 0.9024390243902439, 'f1': 0.6757990867579909, 'number': 82} | {'precision': 0.9348582794629537, 'recall': 0.9800173761946134, 'f1': 0.9569053274516457, 'number': 5755} | 0.8316 | 0.8818 | 0.8560 | 0.8333 |
| 0.4165 | 7.13 | 36000 | 0.4871 | {'precision': 0.6667525441195414, 'recall': 0.7584994138335287, 'f1': 0.7096729965037363, 'number': 6824} | {'precision': 0.7905082536924414, 'recall': 0.8268772009542201, 'f1': 0.8082838265504414, 'number': 8803} | {'precision': 0.9828278631768453, 'recall': 0.9900948660714286, 'f1': 0.9864479810966712, 'number': 7168} | {'precision': 0.5303030303030303, 'recall': 0.8536585365853658, 'f1': 0.6542056074766355, 'number': 82} | {'precision': 0.930909689093601, 'recall': 0.9833188531711555, 'f1': 0.9563968227142133, 'number': 5755} | 0.8315 | 0.8830 | 0.8565 | 0.8348 |
| 0.4213 | 7.33 | 37000 | 0.4882 | {'precision': 0.667705088265836, 'recall': 0.753810082063306, 'f1': 0.7081497797356828, 'number': 6824} | {'precision': 0.7934001306904814, 'recall': 0.827558786777235, 'f1': 0.8101195440644984, 'number': 8803} | {'precision': 0.983754512635379, 'recall': 0.9884207589285714, 'f1': 0.9860821155184412, 'number': 7168} | {'precision': 0.5333333333333333, 'recall': 0.8780487804878049, 'f1': 0.663594470046083, 'number': 82} | {'precision': 0.9285831285831286, 'recall': 0.9850564726324935, 'f1': 0.9559865092748736, 'number': 5755} | 0.8327 | 0.8821 | 0.8567 | 0.8333 |
| 0.4122 | 7.52 | 38000 | 0.4914 | {'precision': 0.660262119862578, 'recall': 0.7604044548651817, 'f1': 0.7068037866920929, 'number': 6824} | {'precision': 0.7921752397558849, 'recall': 0.8257412245825286, 'f1': 0.8086100450525612, 'number': 8803} | {'precision': 0.9839090026355944, 'recall': 0.9895368303571429, 'f1': 0.9867148918411351, 'number': 7168} | {'precision': 0.5714285714285714, 'recall': 0.8292682926829268, 'f1': 0.6766169154228855, 'number': 82} | {'precision': 0.9313693219223174, 'recall': 0.9833188531711555, 'f1': 0.9566393373341222, 'number': 5755} | 0.8304 | 0.8829 | 0.8559 | 0.8337 |
| 0.4034 | 7.72 | 39000 | 0.4884 | {'precision': 0.6667092815136794, 'recall': 0.7642145369284877, 'f1': 0.7121398334016114, 'number': 6824} | {'precision': 0.7976099111939481, 'recall': 0.8264228104055436, 'f1': 0.8117607676857844, 'number': 8803} | {'precision': 0.984309913912802, 'recall': 0.9889787946428571, 'f1': 0.9866388308977034, 'number': 7168} | {'precision': 0.568, 'recall': 0.8658536585365854, 'f1': 0.6859903381642511, 'number': 82} | {'precision': 0.9304733727810651, 'recall': 0.9836663770634231, 'f1': 0.9563307711799983, 'number': 5755} | 0.8339 | 0.8840 | 0.8582 | 0.8344 |
| 0.4209 | 7.92 | 40000 | 0.4910 | {'precision': 0.6634454322896534, 'recall': 0.7545427901524033, 'f1': 0.706067877956805, 'number': 6824} | {'precision': 0.7984163642362256, 'recall': 0.8247188458480064, 'f1': 0.81135449262405, 'number': 8803} | {'precision': 0.9832317073170732, 'recall': 0.9898158482142857, 'f1': 0.9865127919911012, 'number': 7168} | {'precision': 0.5413533834586466, 'recall': 0.8780487804878049, 'f1': 0.6697674418604651, 'number': 82} | {'precision': 0.9315789473684211, 'recall': 0.9841876629018245, 'f1': 0.9571609632446134, 'number': 5755} | 0.8335 | 0.8815 | 0.8568 | 0.8327 |
| 0.4078 | 8.12 | 41000 | 0.4923 | {'precision': 0.6621812123542228, 'recall': 0.7571805392731535, 'f1': 0.7065016749846176, 'number': 6824} | {'precision': 0.7941208611080757, 'recall': 0.8255140293081904, 'f1': 0.8095132004010249, 'number': 8803} | {'precision': 0.9834882752879145, 'recall': 0.9888392857142857, 'f1': 0.9861565217391305, 'number': 7168} | {'precision': 0.5581395348837209, 'recall': 0.8780487804878049, 'f1': 0.6824644549763034, 'number': 82} | {'precision': 0.9316534914361001, 'recall': 0.982971329278888, 'f1': 0.9566246723598546, 'number': 5755} | 0.8317 | 0.8819 | 0.8561 | 0.8335 |
| 0.4098 | 8.32 | 42000 | 0.4903 | {'precision': 0.6613067891781521, 'recall': 0.7593786635404455, 'f1': 0.7069577080491133, 'number': 6824} | {'precision': 0.7961356899769458, 'recall': 0.8238100647506532, 'f1': 0.8097364895042429, 'number': 8803} | {'precision': 0.9838888888888889, 'recall': 0.98828125, 'f1': 0.9860801781737194, 'number': 7168} | {'precision': 0.5669291338582677, 'recall': 0.8780487804878049, 'f1': 0.6889952153110047, 'number': 82} | {'precision': 0.9302478253733792, 'recall': 0.9848827106863597, 'f1': 0.9567859554355165, 'number': 5755} | 0.8318 | 0.8822 | 0.8562 | 0.8344 |
| 0.4009 | 8.51 | 43000 | 0.4936 | {'precision': 0.6647553516819572, 'recall': 0.7645076201641267, 'f1': 0.7111504907306434, 'number': 6824} | {'precision': 0.7969554265688314, 'recall': 0.8266500056798819, 'f1': 0.8115311698449873, 'number': 8803} | {'precision': 0.9840366463076069, 'recall': 0.9889787946428571, 'f1': 0.9865015307542444, 'number': 7168} | {'precision': 0.5689655172413793, 'recall': 0.8048780487804879, 'f1': 0.6666666666666667, 'number': 82} | {'precision': 0.9306605323693723, 'recall': 0.9841876629018245, 'f1': 0.9566759564225994, 'number': 5755} | 0.8331 | 0.8841 | 0.8578 | 0.8348 |
| 0.41 | 8.71 | 44000 | 0.4894 | {'precision': 0.6659480025364616, 'recall': 0.7694900351699883, 'f1': 0.7139846352573254, 'number': 6824} | {'precision': 0.8019158775600088, 'recall': 0.8273315915028967, 'f1': 0.8144254962258876, 'number': 8803} | {'precision': 0.9834974344751075, 'recall': 0.9893973214285714, 'f1': 0.9864385562278323, 'number': 7168} | {'precision': 0.5407407407407407, 'recall': 0.8902439024390244, 'f1': 0.6728110599078342, 'number': 82} | {'precision': 0.9306946953522746, 'recall': 0.9847089487402259, 'f1': 0.9569402228976698, 'number': 5755} | 0.8344 | 0.8859 | 0.8594 | 0.8359 |
| 0.4177 | 8.91 | 45000 | 0.4894 | {'precision': 0.6695323694151362, 'recall': 0.7532239155920282, 'f1': 0.7089166264395559, 'number': 6824} | {'precision': 0.7959273045763083, 'recall': 0.8258548222196979, 'f1': 0.810614930032893, 'number': 8803} | {'precision': 0.9836270292770917, 'recall': 0.9889787946428571, 'f1': 0.9862956521739129, 'number': 7168} | {'precision': 0.5772357723577236, 'recall': 0.8658536585365854, 'f1': 0.6926829268292684, 'number': 82} | {'precision': 0.9314370272936534, 'recall': 0.9843614248479583, 'f1': 0.9571682014023823, 'number': 5755} | 0.8350 | 0.8814 | 0.8575 | 0.8339 |
| 0.399 | 9.11 | 46000 | 0.4909 | {'precision': 0.6659901052898642, 'recall': 0.7693434935521688, 'f1': 0.7139457401237506, 'number': 6824} | {'precision': 0.7953452797202797, 'recall': 0.8268772009542201, 'f1': 0.8108047897521581, 'number': 8803} | {'precision': 0.9826725810923205, 'recall': 0.9889787946428571, 'f1': 0.9858156028368794, 'number': 7168} | {'precision': 0.5488721804511278, 'recall': 0.8902439024390244, 'f1': 0.6790697674418604, 'number': 82} | {'precision': 0.9298820445609436, 'recall': 0.98627280625543, 'f1': 0.9572476600050595, 'number': 5755} | 0.8321 | 0.8860 | 0.8582 | 0.8356 |
| 0.4066 | 9.31 | 47000 | 0.4892 | {'precision': 0.6655544147843943, 'recall': 0.7599648300117233, 'f1': 0.7096332785987959, 'number': 6824} | {'precision': 0.7964563053702286, 'recall': 0.8272179938657276, 'f1': 0.8115457483561797, 'number': 8803} | {'precision': 0.9824075356697604, 'recall': 0.9893973214285714, 'f1': 0.9858900396191006, 'number': 7168} | {'precision': 0.5538461538461539, 'recall': 0.8780487804878049, 'f1': 0.6792452830188679, 'number': 82} | {'precision': 0.9298475659727914, 'recall': 0.9857515204170286, 'f1': 0.9569838056680162, 'number': 5755} | 0.8328 | 0.8838 | 0.8575 | 0.8340 |
| 0.397 | 9.5 | 48000 | 0.4918 | {'precision': 0.6680455015511892, 'recall': 0.757327080890973, 'f1': 0.7098901098901098, 'number': 6824} | {'precision': 0.7944098700731521, 'recall': 0.8265364080427127, 'f1': 0.8101547711836098, 'number': 8803} | {'precision': 0.9830884391461048, 'recall': 0.9893973214285714, 'f1': 0.9862327909887358, 'number': 7168} | {'precision': 0.5625, 'recall': 0.8780487804878049, 'f1': 0.6857142857142857, 'number': 82} | {'precision': 0.9305304647725406, 'recall': 0.9845351867940921, 'f1': 0.9567713610266801, 'number': 5755} | 0.8334 | 0.8827 | 0.8574 | 0.8347 |
| 0.3987 | 9.7 | 49000 | 0.4936 | {'precision': 0.6657629744384198, 'recall': 0.7557151230949589, 'f1': 0.7078929306794783, 'number': 6824} | {'precision': 0.7955613862468569, 'recall': 0.8266500056798819, 'f1': 0.8108077994428969, 'number': 8803} | {'precision': 0.9829474559822543, 'recall': 0.9891183035714286, 'f1': 0.9860232250886588, 'number': 7168} | {'precision': 0.5625, 'recall': 0.8780487804878049, 'f1': 0.6857142857142857, 'number': 82} | {'precision': 0.9306605323693723, 'recall': 0.9841876629018245, 'f1': 0.9566759564225994, 'number': 5755} | 0.8331 | 0.8822 | 0.8570 | 0.8339 |
| 0.4109 | 9.9 | 50000 | 0.4929 | {'precision': 0.6672281974860698, 'recall': 0.7545427901524033, 'f1': 0.7082043875937006, 'number': 6824} | {'precision': 0.794249480704056, 'recall': 0.8252868340338521, 'f1': 0.8094707520891365, 'number': 8803} | {'precision': 0.983222407099279, 'recall': 0.9892578125, 'f1': 0.986230876216968, 'number': 7168} | {'precision': 0.5669291338582677, 'recall': 0.8780487804878049, 'f1': 0.6889952153110047, 'number': 82} | {'precision': 0.9305076392311483, 'recall': 0.9841876629018245, 'f1': 0.956595169734842, 'number': 5755} | 0.8333 | 0.8816 | 0.8568 | 0.8339 |
Framework versions
- Transformers 4.34.1
- Pytorch 2.1.0+cu118
- Datasets 2.14.5
- Tokenizers 0.14.1