vit-tiny_tobacco3482_dualsimkd_

This model is a fine-tuned version of WinKawaks/vit-tiny-patch16-224 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1401
Accuracy: 0.385
Brier Loss: 0.8709
Nll: 8.8462
F1 Micro: 0.3850
F1 Macro: 0.1979
Ece: 0.3606
Aurc: 0.3874

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Brier Loss	Nll	F1 Micro	F1 Macro	Ece	Aurc
No log	1.0	100	0.5117	0.04	0.9009	19.1664	0.04	0.0077	0.1344	0.9445
No log	2.0	200	0.3168	0.05	0.8997	15.0313	0.0500	0.0095	0.1344	0.8364
No log	3.0	300	0.2703	0.18	0.8978	9.6860	0.18	0.0305	0.2180	0.7731
No log	4.0	400	0.2266	0.18	0.8952	12.0957	0.18	0.0305	0.2223	0.7993
1.1219	5.0	500	0.1687	0.18	0.8951	12.7136	0.18	0.0305	0.2215	0.7713
1.1219	6.0	600	0.1331	0.165	0.8956	12.6737	0.165	0.0284	0.2044	0.7829
1.1219	7.0	700	0.1139	0.18	0.8960	12.6380	0.18	0.0305	0.2283	0.7875
1.1219	8.0	800	0.1143	0.18	0.8963	12.6385	0.18	0.0306	0.2183	0.7703
1.1219	9.0	900	0.1246	0.18	0.8966	12.5389	0.18	0.0305	0.2223	0.7726
0.0694	10.0	1000	0.1262	0.18	0.8961	12.6316	0.18	0.0305	0.2271	0.7894
0.0694	11.0	1100	0.1186	0.155	0.8961	12.6309	0.155	0.0268	0.2169	0.6418
0.0694	12.0	1200	0.1290	0.18	0.8960	12.6360	0.18	0.0305	0.2272	0.8014
0.0694	13.0	1300	0.1202	0.18	0.8959	12.6644	0.18	0.0305	0.2274	0.7910
0.0694	14.0	1400	0.1341	0.18	0.8960	12.6667	0.18	0.0305	0.2273	0.7916
0.0505	15.0	1500	0.1234	0.18	0.8961	12.6653	0.18	0.0305	0.2261	0.7819
0.0505	16.0	1600	0.1375	0.18	0.8960	12.6951	0.18	0.0305	0.2283	0.7929
0.0505	17.0	1700	0.1249	0.18	0.8959	12.7041	0.18	0.0305	0.2262	0.7820
0.0505	18.0	1800	0.1263	0.18	0.8964	12.6096	0.18	0.0305	0.2228	0.7900
0.0505	19.0	1900	0.1243	0.18	0.8961	12.6667	0.18	0.0305	0.2229	0.7896
0.0483	20.0	2000	0.1246	0.18	0.8960	12.6285	0.18	0.0305	0.2172	0.7913
0.0483	21.0	2100	0.1218	0.18	0.8961	12.6375	0.18	0.0305	0.2250	0.8003
0.0483	22.0	2200	0.1228	0.18	0.8964	12.5765	0.18	0.0305	0.2258	0.7938
0.0483	23.0	2300	0.1270	0.18	0.8963	12.6332	0.18	0.0305	0.2239	0.8055
0.0483	24.0	2400	0.1303	0.18	0.8963	12.5914	0.18	0.0305	0.2270	0.8006
0.0484	25.0	2500	0.1234	0.18	0.8960	12.6429	0.18	0.0305	0.2208	0.7990
0.0484	26.0	2600	0.1313	0.18	0.8965	12.5721	0.18	0.0305	0.2205	0.8069
0.0484	27.0	2700	0.1314	0.18	0.8963	12.5982	0.18	0.0305	0.2247	0.8110
0.0484	28.0	2800	0.1326	0.18	0.8962	12.6539	0.18	0.0305	0.2143	0.8083
0.0484	29.0	2900	0.1337	0.18	0.8964	12.5814	0.18	0.0305	0.2225	0.8106
0.0473	30.0	3000	0.1369	0.18	0.8962	12.6021	0.18	0.0305	0.2258	0.8095
0.0473	31.0	3100	0.1295	0.18	0.8958	12.6587	0.18	0.0305	0.2273	0.8104
0.0473	32.0	3200	0.1343	0.18	0.8959	12.6740	0.18	0.0305	0.2220	0.8119
0.0473	33.0	3300	0.1359	0.18	0.8960	12.6790	0.18	0.0305	0.2273	0.8134
0.0473	34.0	3400	0.1367	0.18	0.8961	12.6336	0.18	0.0305	0.2228	0.8159
0.0476	35.0	3500	0.1378	0.18	0.8963	12.6119	0.18	0.0305	0.2270	0.8172
0.0476	36.0	3600	0.1286	0.18	0.8961	12.6340	0.18	0.0305	0.2218	0.8148
0.0476	37.0	3700	0.1333	0.18	0.8960	12.6328	0.18	0.0305	0.2207	0.8164
0.0476	38.0	3800	0.1328	0.18	0.8963	12.6294	0.18	0.0305	0.2196	0.8180
0.0476	39.0	3900	0.1344	0.18	0.8961	12.6417	0.18	0.0305	0.2207	0.8209
0.0474	40.0	4000	0.1362	0.18	0.8959	12.6775	0.18	0.0305	0.2187	0.8198
0.0474	41.0	4100	0.1340	0.18	0.8961	12.6746	0.18	0.0305	0.2249	0.8215
0.0474	42.0	4200	0.1308	0.18	0.8958	12.6621	0.18	0.0305	0.2208	0.8215
0.0474	43.0	4300	0.1372	0.18	0.8960	12.6133	0.18	0.0305	0.2249	0.8204
0.0474	44.0	4400	0.1436	0.18	0.8963	12.6014	0.18	0.0305	0.2280	0.8201
0.0472	45.0	4500	0.1374	0.18	0.8960	12.6316	0.18	0.0305	0.2228	0.8193
0.0472	46.0	4600	0.1261	0.18	0.8957	12.6840	0.18	0.0305	0.2251	0.8220
0.0472	47.0	4700	0.1340	0.18	0.8956	12.6704	0.18	0.0305	0.2251	0.8221
0.0472	48.0	4800	0.1320	0.18	0.8959	12.6111	0.18	0.0305	0.2227	0.8203
0.0472	49.0	4900	0.1336	0.18	0.8956	12.6838	0.18	0.0305	0.2294	0.8209
0.0474	50.0	5000	0.1342	0.18	0.8959	12.3426	0.18	0.0305	0.2292	0.8218
0.0474	51.0	5100	0.1362	0.18	0.8957	12.3611	0.18	0.0305	0.2261	0.8224
0.0474	52.0	5200	0.1368	0.18	0.8958	11.5617	0.18	0.0305	0.2205	0.8222
0.0474	53.0	5300	0.1391	0.18	0.8955	11.5519	0.18	0.0305	0.2312	0.8225
0.0474	54.0	5400	0.1366	0.18	0.8947	12.2068	0.18	0.0305	0.2231	0.8231
0.047	55.0	5500	0.1355	0.19	0.8943	11.5922	0.19	0.0641	0.2299	0.8248
0.047	56.0	5600	0.1386	0.17	0.8930	11.8204	0.17	0.0705	0.2240	0.5968
0.047	57.0	5700	0.1364	0.33	0.8936	11.0092	0.33	0.1878	0.3195	0.4381
0.047	58.0	5800	0.1368	0.27	0.8923	11.0463	0.27	0.1541	0.2874	0.5187
0.047	59.0	5900	0.1328	0.325	0.8915	10.5269	0.325	0.1702	0.3247	0.4469
0.0469	60.0	6000	0.1402	0.235	0.8945	9.2940	0.235	0.1141	0.2558	0.6612
0.0469	61.0	6100	0.1387	0.345	0.8913	9.2678	0.345	0.1657	0.3422	0.4100
0.0469	62.0	6200	0.1386	0.31	0.8891	10.1100	0.31	0.1637	0.3134	0.4609
0.0469	63.0	6300	0.1379	0.34	0.8892	9.1965	0.34	0.1582	0.3388	0.4344
0.0469	64.0	6400	0.1375	0.335	0.8876	9.2252	0.335	0.1624	0.3356	0.4239
0.0469	65.0	6500	0.1357	0.345	0.8868	9.1887	0.345	0.1659	0.3361	0.4061
0.0469	66.0	6600	0.1394	0.345	0.8850	9.1819	0.345	0.1641	0.3398	0.4265
0.0469	67.0	6700	0.1410	0.34	0.8850	9.1158	0.34	0.1590	0.3328	0.4302
0.0469	68.0	6800	0.1387	0.295	0.8814	9.2693	0.295	0.1374	0.3039	0.4572
0.0469	69.0	6900	0.1385	0.335	0.8814	9.1526	0.335	0.1668	0.3324	0.4205
0.0463	70.0	7000	0.1392	0.34	0.8814	9.1159	0.34	0.1546	0.3405	0.4263
0.0463	71.0	7100	0.1418	0.35	0.8820	9.1363	0.35	0.1692	0.3436	0.4019
0.0463	72.0	7200	0.1379	0.35	0.8791	9.0483	0.35	0.1726	0.3402	0.4226
0.0463	73.0	7300	0.1405	0.33	0.8760	9.3563	0.33	0.1731	0.3207	0.4307
0.0463	74.0	7400	0.1401	0.31	0.8769	9.4413	0.31	0.1676	0.3099	0.4383
0.0458	75.0	7500	0.1393	0.38	0.8778	9.0788	0.38	0.1985	0.3518	0.3976
0.0458	76.0	7600	0.1384	0.39	0.8779	9.0233	0.39	0.2027	0.3673	0.4144
0.0458	77.0	7700	0.1403	0.365	0.8818	9.1567	0.3650	0.1953	0.3518	0.4181
0.0458	78.0	7800	0.1400	0.27	0.8725	11.0592	0.27	0.1627	0.2896	0.4809
0.0458	79.0	7900	0.1402	0.375	0.8739	9.1158	0.375	0.1961	0.3540	0.3929
0.0455	80.0	8000	0.1401	0.315	0.8722	9.9114	0.315	0.1771	0.3220	0.4443
0.0455	81.0	8100	0.1378	0.39	0.8761	9.0128	0.39	0.2048	0.3642	0.4020
0.0455	82.0	8200	0.1401	0.38	0.8729	9.1624	0.38	0.2006	0.3612	0.3924
0.0455	83.0	8300	0.1391	0.38	0.8742	8.8982	0.38	0.2048	0.3561	0.3991
0.0455	84.0	8400	0.1381	0.375	0.8734	9.0598	0.375	0.1901	0.3567	0.4010
0.0453	85.0	8500	0.1398	0.39	0.8718	9.1407	0.39	0.2057	0.3693	0.3892
0.0453	86.0	8600	0.1389	0.37	0.8721	9.3494	0.37	0.2006	0.3505	0.3914
0.0453	87.0	8700	0.1390	0.395	0.8743	8.7444	0.395	0.2113	0.3724	0.3854
0.0453	88.0	8800	0.1404	0.395	0.8739	8.7654	0.395	0.2134	0.3657	0.3925
0.0453	89.0	8900	0.1409	0.385	0.8726	8.7763	0.3850	0.2032	0.3643	0.3963
0.0451	90.0	9000	0.1403	0.39	0.8717	8.8363	0.39	0.2055	0.3668	0.3926
0.0451	91.0	9100	0.1388	0.39	0.8719	9.2985	0.39	0.2099	0.3662	0.3847
0.0451	92.0	9200	0.1397	0.385	0.8702	9.4449	0.3850	0.2050	0.3535	0.3877
0.0451	93.0	9300	0.1403	0.385	0.8709	8.9790	0.3850	0.1989	0.3473	0.3887
0.0451	94.0	9400	0.1400	0.39	0.8705	9.1647	0.39	0.2053	0.3569	0.3865
0.045	95.0	9500	0.1404	0.395	0.8712	9.1707	0.395	0.2087	0.3688	0.3815
0.045	96.0	9600	0.1404	0.385	0.8711	8.6711	0.3850	0.1980	0.3566	0.3867
0.045	97.0	9700	0.1399	0.39	0.8706	9.1288	0.39	0.2035	0.3610	0.3845
0.045	98.0	9800	0.1400	0.385	0.8708	9.1302	0.3850	0.1982	0.3538	0.3870
0.045	99.0	9900	0.1398	0.39	0.8712	8.8257	0.39	0.2002	0.3660	0.3825
0.0449	100.0	10000	0.1401	0.385	0.8709	8.8462	0.3850	0.1979	0.3606	0.3874

Framework versions

Transformers 4.28.0.dev0
Pytorch 1.12.1+cu113
Datasets 2.12.0
Tokenizers 0.12.1

jordyvl/vit-tiny_tobacco3482_dualsimkd_

vit-tiny_tobacco3482_dualsimkd_

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions