18-tiny_tobacco3482

This model is a fine-tuned version of WinKawaks/vit-tiny-patch16-224 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.0652
Accuracy: 0.29
Brier Loss: 0.8849
Nll: 4.7897
F1 Micro: 0.29
F1 Macro: 0.1634
Ece: 0.2953
Aurc: 0.5243

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Brier Loss	Nll	F1 Micro	F1 Macro	Ece	Aurc
No log	1.0	25	0.0888	0.1	0.8987	8.8684	0.1000	0.036	0.1707	0.9181
No log	2.0	50	0.0822	0.07	0.8987	7.4095	0.07	0.0264	0.1526	0.9367
No log	3.0	75	0.0815	0.17	0.8985	7.9603	0.17	0.0549	0.2145	0.8165
No log	4.0	100	0.0811	0.175	0.8981	8.1220	0.175	0.0636	0.2224	0.6841
No log	5.0	125	0.0807	0.18	0.8980	8.0205	0.18	0.0595	0.2162	0.6466
No log	6.0	150	0.0802	0.16	0.8979	8.0022	0.16	0.0588	0.2146	0.6987
No log	7.0	175	0.0795	0.16	0.8978	8.1389	0.16	0.1003	0.2087	0.8300
No log	8.0	200	0.0786	0.165	0.8973	7.2103	0.165	0.0840	0.2019	0.7778
No log	9.0	225	0.0777	0.135	0.8971	6.5106	0.135	0.0644	0.2023	0.9632
No log	10.0	250	0.0768	0.12	0.8971	7.0176	0.12	0.0555	0.1928	0.9684
No log	11.0	275	0.0758	0.08	0.8962	6.4528	0.08	0.0356	0.1609	0.9735
No log	12.0	300	0.0747	0.08	0.8954	6.9898	0.08	0.0365	0.1608	0.9594
No log	13.0	325	0.0736	0.14	0.8941	6.5287	0.14	0.0645	0.2064	0.6977
No log	14.0	350	0.0725	0.17	0.8937	7.0519	0.17	0.0891	0.2278	0.6074
No log	15.0	375	0.0712	0.17	0.8919	6.3769	0.17	0.0888	0.2218	0.6154
No log	16.0	400	0.0702	0.18	0.8912	6.2503	0.18	0.1086	0.2297	0.6140
No log	17.0	425	0.0691	0.16	0.8909	6.5096	0.16	0.1064	0.2081	0.6497
No log	18.0	450	0.0686	0.175	0.8904	6.2506	0.175	0.1196	0.2252	0.6744
No log	19.0	475	0.0681	0.16	0.8891	5.3019	0.16	0.1000	0.2185	0.7715
0.0776	20.0	500	0.0678	0.155	0.8887	5.3003	0.155	0.0980	0.2208	0.7213
0.0776	21.0	525	0.0677	0.155	0.8891	5.7776	0.155	0.0944	0.2223	0.7075
0.0776	22.0	550	0.0671	0.185	0.8885	5.4219	0.185	0.0998	0.2333	0.6805
0.0776	23.0	575	0.0669	0.17	0.8887	5.4554	0.17	0.0813	0.2304	0.6676
0.0776	24.0	600	0.0667	0.175	0.8877	5.4877	0.175	0.0791	0.2294	0.6991
0.0776	25.0	625	0.0665	0.18	0.8876	5.3499	0.18	0.0846	0.2342	0.6774
0.0776	26.0	650	0.0665	0.18	0.8870	4.9329	0.18	0.0888	0.2320	0.6823
0.0776	27.0	675	0.0663	0.21	0.8872	4.7787	0.2100	0.1204	0.2521	0.6698
0.0776	28.0	700	0.0665	0.21	0.8870	4.8102	0.2100	0.1177	0.2481	0.6893
0.0776	29.0	725	0.0663	0.2	0.8866	4.8474	0.2000	0.1124	0.2433	0.6616
0.0776	30.0	750	0.0663	0.21	0.8862	4.6460	0.2100	0.1060	0.2514	0.6663
0.0776	31.0	775	0.0661	0.215	0.8874	5.0331	0.2150	0.1219	0.2585	0.6564
0.0776	32.0	800	0.0661	0.23	0.8871	4.9313	0.23	0.1299	0.2600	0.6596
0.0776	33.0	825	0.0661	0.245	0.8870	5.2183	0.245	0.1400	0.2729	0.6216
0.0776	34.0	850	0.0660	0.215	0.8869	5.0987	0.2150	0.1130	0.2473	0.6745
0.0776	35.0	875	0.0659	0.245	0.8872	5.1536	0.245	0.1404	0.2684	0.6753
0.0776	36.0	900	0.0661	0.23	0.8865	5.0364	0.23	0.1219	0.2603	0.7257
0.0776	37.0	925	0.0659	0.25	0.8866	5.0315	0.25	0.1289	0.2709	0.6743
0.0776	38.0	950	0.0658	0.245	0.8865	5.1304	0.245	0.1348	0.2708	0.6383
0.0776	39.0	975	0.0659	0.255	0.8865	4.8854	0.255	0.1343	0.2762	0.6336
0.0623	40.0	1000	0.0658	0.245	0.8866	4.8705	0.245	0.1287	0.2709	0.6663
0.0623	41.0	1025	0.0656	0.245	0.8872	5.2534	0.245	0.1307	0.2662	0.6369
0.0623	42.0	1050	0.0658	0.235	0.8866	5.1467	0.235	0.1220	0.2630	0.6834
0.0623	43.0	1075	0.0656	0.235	0.8868	5.2909	0.235	0.1201	0.2629	0.6663
0.0623	44.0	1100	0.0655	0.24	0.8870	5.3291	0.24	0.1315	0.2600	0.5948
0.0623	45.0	1125	0.0656	0.25	0.8867	5.0194	0.25	0.1397	0.2663	0.6091
0.0623	46.0	1150	0.0656	0.255	0.8863	5.0523	0.255	0.1303	0.2729	0.5687
0.0623	47.0	1175	0.0655	0.25	0.8863	4.9527	0.25	0.1293	0.2679	0.5724
0.0623	48.0	1200	0.0654	0.25	0.8863	5.0401	0.25	0.1307	0.2588	0.5783
0.0623	49.0	1225	0.0655	0.25	0.8862	5.0198	0.25	0.1301	0.2781	0.6005
0.0623	50.0	1250	0.0653	0.255	0.8858	5.0534	0.255	0.1311	0.2732	0.5601
0.0623	51.0	1275	0.0653	0.26	0.8861	4.9558	0.26	0.1329	0.2779	0.5458
0.0623	52.0	1300	0.0653	0.275	0.8855	4.8780	0.275	0.1497	0.2863	0.5410
0.0623	53.0	1325	0.0653	0.27	0.8854	4.8854	0.27	0.1453	0.2857	0.5276
0.0623	54.0	1350	0.0652	0.26	0.8853	4.9379	0.26	0.1322	0.2803	0.5457
0.0623	55.0	1375	0.0653	0.26	0.8852	4.9101	0.26	0.1388	0.2778	0.5414
0.0623	56.0	1400	0.0653	0.275	0.8849	4.8107	0.275	0.1541	0.2881	0.5204
0.0623	57.0	1425	0.0652	0.26	0.8850	4.7712	0.26	0.1402	0.2709	0.5323
0.0623	58.0	1450	0.0652	0.275	0.8850	4.8164	0.275	0.1618	0.2885	0.5288
0.0623	59.0	1475	0.0652	0.27	0.8848	4.7627	0.27	0.1402	0.2830	0.5194
0.0599	60.0	1500	0.0652	0.28	0.8851	4.8057	0.28	0.1624	0.2889	0.5304
0.0599	61.0	1525	0.0652	0.26	0.8851	4.8892	0.26	0.1351	0.2823	0.5372
0.0599	62.0	1550	0.0651	0.28	0.8852	4.8944	0.28	0.1625	0.2889	0.5320
0.0599	63.0	1575	0.0652	0.275	0.8849	4.8180	0.275	0.1484	0.2858	0.5207
0.0599	64.0	1600	0.0652	0.265	0.8849	4.8034	0.265	0.1366	0.2807	0.5431
0.0599	65.0	1625	0.0651	0.28	0.8852	4.7696	0.28	0.1587	0.2888	0.5327
0.0599	66.0	1650	0.0652	0.28	0.8850	4.8120	0.28	0.1561	0.2886	0.5134
0.0599	67.0	1675	0.0651	0.28	0.8850	4.7193	0.28	0.1623	0.2867	0.5339
0.0599	68.0	1700	0.0652	0.255	0.8848	4.7659	0.255	0.1287	0.2726	0.5406
0.0599	69.0	1725	0.0651	0.275	0.8849	4.7354	0.275	0.1479	0.2880	0.5181
0.0599	70.0	1750	0.0651	0.275	0.8850	4.8271	0.275	0.1543	0.2893	0.5313
0.0599	71.0	1775	0.0651	0.275	0.8849	4.7387	0.275	0.1549	0.2839	0.5454
0.0599	72.0	1800	0.0652	0.275	0.8851	4.7695	0.275	0.1475	0.2849	0.5313
0.0599	73.0	1825	0.0652	0.275	0.8848	4.7794	0.275	0.1418	0.2845	0.5159
0.0599	74.0	1850	0.0652	0.265	0.8848	4.7832	0.265	0.1334	0.2827	0.5350
0.0599	75.0	1875	0.0652	0.27	0.8849	4.7822	0.27	0.1388	0.2822	0.5478
0.0599	76.0	1900	0.0652	0.26	0.8850	4.7813	0.26	0.1293	0.2720	0.5386
0.0599	77.0	1925	0.0652	0.265	0.8849	4.7949	0.265	0.1365	0.2818	0.5456
0.0599	78.0	1950	0.0652	0.28	0.8850	4.7960	0.28	0.1509	0.2878	0.5361
0.0599	79.0	1975	0.0652	0.265	0.8849	4.7800	0.265	0.1353	0.2803	0.5407
0.059	80.0	2000	0.0652	0.265	0.8849	4.8926	0.265	0.1429	0.2782	0.5381
0.059	81.0	2025	0.0653	0.27	0.8850	4.7975	0.27	0.1388	0.2847	0.5436
0.059	82.0	2050	0.0652	0.275	0.8849	4.7902	0.275	0.1505	0.2849	0.5342
0.059	83.0	2075	0.0652	0.265	0.8850	4.7813	0.265	0.1435	0.2805	0.5388
0.059	84.0	2100	0.0652	0.265	0.8849	4.7866	0.265	0.1457	0.2873	0.5358
0.059	85.0	2125	0.0652	0.275	0.8850	4.7877	0.275	0.1514	0.2872	0.5395
0.059	86.0	2150	0.0652	0.265	0.8849	4.7870	0.265	0.1453	0.2862	0.5424
0.059	87.0	2175	0.0652	0.275	0.8849	4.7887	0.275	0.1517	0.2926	0.5312
0.059	88.0	2200	0.0652	0.27	0.8849	4.7862	0.27	0.1494	0.2809	0.5357
0.059	89.0	2225	0.0652	0.275	0.8849	4.7911	0.275	0.1515	0.2871	0.5317
0.059	90.0	2250	0.0652	0.28	0.8849	4.7825	0.28	0.1540	0.2887	0.5305
0.059	91.0	2275	0.0652	0.28	0.8849	4.7892	0.28	0.1547	0.2900	0.5339
0.059	92.0	2300	0.0652	0.29	0.8848	4.7848	0.29	0.1642	0.2932	0.5252
0.059	93.0	2325	0.0652	0.29	0.8848	4.7823	0.29	0.1634	0.2953	0.5243
0.059	94.0	2350	0.0652	0.29	0.8849	4.7869	0.29	0.1631	0.2932	0.5239
0.059	95.0	2375	0.0652	0.285	0.8849	4.7902	0.285	0.1615	0.2893	0.5254
0.059	96.0	2400	0.0652	0.29	0.8849	4.7894	0.29	0.1634	0.2909	0.5256
0.059	97.0	2425	0.0652	0.29	0.8849	4.7915	0.29	0.1642	0.2932	0.5244
0.059	98.0	2450	0.0652	0.29	0.8849	4.7902	0.29	0.1642	0.2909	0.5244
0.059	99.0	2475	0.0652	0.29	0.8849	4.7889	0.29	0.1634	0.2953	0.5241
0.0586	100.0	2500	0.0652	0.29	0.8849	4.7897	0.29	0.1634	0.2953	0.5243

Framework versions

Transformers 4.26.1
Pytorch 1.13.1.post200
Datasets 2.9.0
Tokenizers 0.13.2

jordyvl/18-tiny_tobacco3482

18-tiny_tobacco3482

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions