vit-base_tobacco_bs_16_lr_2e-4_e_200_wr_0.01_wd_0.2

This model is a fine-tuned version of jordyvl/vit-base_tobacco on the None dataset. It achieves the following results on the evaluation set:

Loss: 1.0644
Accuracy: 0.86
Brier Loss: 0.2705
Nll: 1.3085
F1 Micro: 0.8600
F1 Macro: 0.8552
Ece: 0.1378
Aurc: 0.0461

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0002
train_batch_size: 4
eval_batch_size: 4
seed: 42
gradient_accumulation_steps: 16
total_train_batch_size: 64
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.01
num_epochs: 200

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Brier Loss	Nll	F1 Micro	F1 Macro	Ece	Aurc
No log	0.96	12	0.7869	0.78	0.3223	1.3413	0.78	0.7402	0.2269	0.0782
No log	2.0	25	0.9889	0.715	0.4300	1.9648	0.715	0.6881	0.2669	0.1397
No log	2.96	37	0.7053	0.82	0.2995	1.2578	0.82	0.8270	0.2253	0.0758
No log	4.0	50	0.7535	0.78	0.3225	1.3427	0.78	0.7395	0.2159	0.0616
No log	4.96	62	0.8538	0.775	0.3634	1.5684	0.775	0.7523	0.2181	0.1149
No log	6.0	75	0.7825	0.77	0.3557	1.3406	0.7700	0.7663	0.2136	0.0625
No log	6.96	87	1.0777	0.67	0.4896	1.5465	0.67	0.6728	0.2540	0.1106
No log	8.0	100	1.1030	0.73	0.4453	2.5744	0.7300	0.6939	0.2294	0.1423
No log	8.96	112	1.0215	0.725	0.4339	2.0485	0.7250	0.7012	0.2348	0.1278
No log	10.0	125	0.7940	0.795	0.3378	1.3057	0.795	0.7911	0.1828	0.0750
No log	10.96	137	0.7648	0.82	0.2963	1.3907	0.82	0.8022	0.1597	0.0744
No log	12.0	150	1.0755	0.74	0.4383	2.1271	0.74	0.7182	0.2281	0.0847
No log	12.96	162	1.0091	0.775	0.3856	1.7383	0.775	0.7339	0.1969	0.1029
No log	14.0	175	1.0531	0.77	0.4027	1.5532	0.7700	0.7592	0.2152	0.0888
No log	14.96	187	1.0221	0.77	0.4027	1.5199	0.7700	0.7259	0.2059	0.1031
No log	16.0	200	1.1795	0.735	0.4435	2.0739	0.735	0.7063	0.2262	0.1305
No log	16.96	212	1.1560	0.745	0.4379	2.0155	0.745	0.7240	0.2207	0.1273
No log	18.0	225	1.0635	0.76	0.4159	1.5491	0.76	0.7508	0.2124	0.0879
No log	18.96	237	1.2639	0.73	0.4649	1.9828	0.7300	0.7276	0.2298	0.1079
No log	20.0	250	1.0598	0.78	0.3866	1.5139	0.78	0.7676	0.1885	0.0914
No log	20.96	262	0.8900	0.81	0.3241	1.8355	0.81	0.7925	0.1691	0.0648
No log	22.0	275	1.0617	0.79	0.3788	1.8951	0.79	0.7783	0.1893	0.0676
No log	22.96	287	1.0362	0.785	0.3646	1.9399	0.785	0.7653	0.1914	0.0816
No log	24.0	300	1.1701	0.775	0.4060	2.1593	0.775	0.7718	0.2114	0.0842
No log	24.96	312	1.0841	0.79	0.3799	1.8773	0.79	0.7795	0.2016	0.0775
No log	26.0	325	1.0064	0.785	0.3650	1.7371	0.785	0.7674	0.1915	0.0813
No log	26.96	337	0.8886	0.825	0.3114	1.4858	0.825	0.8116	0.1609	0.0636
No log	28.0	350	1.1174	0.8	0.3751	1.9584	0.8000	0.7869	0.1928	0.0930
No log	28.96	362	1.0922	0.8	0.3672	1.8702	0.8000	0.7673	0.1954	0.0771
No log	30.0	375	1.0281	0.805	0.3506	1.6105	0.805	0.7809	0.1773	0.0936
No log	30.96	387	0.9041	0.82	0.3210	1.3323	0.82	0.8148	0.1627	0.0651
No log	32.0	400	1.1018	0.79	0.3804	1.9928	0.79	0.7962	0.1859	0.0574
No log	32.96	412	1.1973	0.765	0.4156	1.4304	0.765	0.7682	0.2147	0.0760
No log	34.0	425	1.0216	0.805	0.3605	1.4476	0.805	0.7864	0.1830	0.0633
No log	34.96	437	1.2356	0.755	0.4237	1.9897	0.755	0.7350	0.2214	0.0890
No log	36.0	450	1.0881	0.8	0.3757	1.3848	0.8000	0.7810	0.1960	0.0703
No log	36.96	462	1.1133	0.795	0.3687	2.0286	0.795	0.7707	0.1790	0.0652
No log	38.0	475	1.1243	0.78	0.3839	1.5683	0.78	0.7699	0.1905	0.0704
No log	38.96	487	1.1351	0.785	0.3983	1.4970	0.785	0.7647	0.1969	0.0666
0.0934	40.0	500	1.2551	0.775	0.4089	2.0438	0.775	0.7688	0.2082	0.1007
0.0934	40.96	512	1.1739	0.775	0.4003	1.3286	0.775	0.7654	0.2056	0.0819
0.0934	42.0	525	1.0007	0.83	0.3207	1.2576	0.83	0.8345	0.1579	0.0677
0.0934	42.96	537	1.0509	0.805	0.3580	1.2330	0.805	0.7933	0.1884	0.0716
0.0934	44.0	550	1.0830	0.805	0.3537	1.7652	0.805	0.7871	0.1740	0.0688
0.0934	44.96	562	0.8544	0.83	0.2957	1.4716	0.83	0.8039	0.1560	0.0532
0.0934	46.0	575	1.0803	0.815	0.3549	1.5802	0.815	0.7951	0.1840	0.0691
0.0934	46.96	587	0.9441	0.815	0.3318	1.2883	0.815	0.7924	0.1709	0.0514
0.0934	48.0	600	0.9007	0.845	0.2765	1.3443	0.845	0.8353	0.1402	0.0539
0.0934	48.96	612	0.9601	0.84	0.2952	1.4755	0.8400	0.8306	0.1499	0.0565
0.0934	50.0	625	0.9801	0.84	0.2992	1.4646	0.8400	0.8306	0.1529	0.0559
0.0934	50.96	637	0.9747	0.845	0.2950	1.4544	0.845	0.8338	0.1526	0.0546
0.0934	52.0	650	0.9651	0.845	0.2895	1.4442	0.845	0.8338	0.1469	0.0537
0.0934	52.96	662	0.9583	0.85	0.2848	1.4367	0.85	0.8370	0.1465	0.0525
0.0934	54.0	675	0.9534	0.85	0.2805	1.4300	0.85	0.8370	0.1455	0.0514
0.0934	54.96	687	0.9503	0.855	0.2776	1.4252	0.855	0.8425	0.1408	0.0510
0.0934	56.0	700	0.9480	0.855	0.2754	1.4207	0.855	0.8425	0.1407	0.0506
0.0934	56.96	712	0.9471	0.855	0.2739	1.4175	0.855	0.8425	0.1442	0.0504
0.0934	58.0	725	0.9471	0.855	0.2729	1.4147	0.855	0.8442	0.1435	0.0501
0.0934	58.96	737	0.9474	0.855	0.2720	1.4125	0.855	0.8442	0.1432	0.0497
0.0934	60.0	750	0.9482	0.855	0.2713	1.4101	0.855	0.8442	0.1420	0.0497
0.0934	60.96	762	0.9490	0.855	0.2708	1.4082	0.855	0.8442	0.1421	0.0493
0.0934	62.0	775	0.9500	0.86	0.2703	1.4063	0.8600	0.8534	0.1411	0.0493
0.0934	62.96	787	0.9512	0.86	0.2702	1.4046	0.8600	0.8534	0.1410	0.0492
0.0934	64.0	800	0.9528	0.86	0.2699	1.4032	0.8600	0.8534	0.1408	0.0489
0.0934	64.96	812	0.9541	0.86	0.2697	1.3472	0.8600	0.8534	0.1349	0.0487
0.0934	66.0	825	0.9558	0.86	0.2696	1.3431	0.8600	0.8534	0.1408	0.0487
0.0934	66.96	837	0.9574	0.86	0.2697	1.3403	0.8600	0.8534	0.1405	0.0486
0.0934	68.0	850	0.9591	0.86	0.2698	1.3375	0.8600	0.8534	0.1402	0.0486
0.0934	68.96	862	0.9605	0.86	0.2698	1.3355	0.8600	0.8552	0.1394	0.0486
0.0934	70.0	875	0.9624	0.86	0.2698	1.3338	0.8600	0.8552	0.1394	0.0486
0.0934	70.96	887	0.9638	0.86	0.2700	1.3322	0.8600	0.8552	0.1397	0.0485
0.0934	72.0	900	0.9657	0.86	0.2701	1.3310	0.8600	0.8552	0.1397	0.0485
0.0934	72.96	912	0.9673	0.86	0.2702	1.3299	0.8600	0.8552	0.1397	0.0484
0.0934	74.0	925	0.9691	0.86	0.2703	1.3289	0.8600	0.8552	0.1397	0.0484
0.0934	74.96	937	0.9708	0.86	0.2704	1.3280	0.8600	0.8552	0.1398	0.0485
0.0934	76.0	950	0.9725	0.86	0.2706	1.3271	0.8600	0.8552	0.1398	0.0485
0.0934	76.96	962	0.9740	0.86	0.2707	1.3263	0.8600	0.8552	0.1398	0.0485
0.0934	78.0	975	0.9757	0.86	0.2707	1.3256	0.8600	0.8552	0.1383	0.0485
0.0934	78.96	987	0.9772	0.86	0.2708	1.3248	0.8600	0.8552	0.1357	0.0484
0.0038	80.0	1000	0.9789	0.86	0.2709	1.3243	0.8600	0.8552	0.1359	0.0485
0.0038	80.96	1012	0.9806	0.86	0.2710	1.3238	0.8600	0.8552	0.1360	0.0484
0.0038	82.0	1025	0.9820	0.86	0.2711	1.3232	0.8600	0.8552	0.1361	0.0482
0.0038	82.96	1037	0.9837	0.86	0.2712	1.3227	0.8600	0.8552	0.1361	0.0481
0.0038	84.0	1050	0.9853	0.86	0.2713	1.3222	0.8600	0.8552	0.1362	0.0480
0.0038	84.96	1062	0.9867	0.86	0.2713	1.3216	0.8600	0.8552	0.1363	0.0481
0.0038	86.0	1075	0.9883	0.86	0.2714	1.3212	0.8600	0.8552	0.1364	0.0479
0.0038	86.96	1087	0.9896	0.86	0.2714	1.3208	0.8600	0.8552	0.1365	0.0477
0.0038	88.0	1100	0.9911	0.86	0.2715	1.3203	0.8600	0.8552	0.1366	0.0478
0.0038	88.96	1112	0.9925	0.86	0.2715	1.3200	0.8600	0.8552	0.1369	0.0478
0.0038	90.0	1125	0.9940	0.86	0.2715	1.3196	0.8600	0.8552	0.1369	0.0477
0.0038	90.96	1137	0.9954	0.86	0.2715	1.3194	0.8600	0.8552	0.1369	0.0476
0.0038	92.0	1150	0.9968	0.86	0.2716	1.3190	0.8600	0.8552	0.1368	0.0476
0.0038	92.96	1162	0.9983	0.86	0.2716	1.3187	0.8600	0.8552	0.1368	0.0476
0.0038	94.0	1175	0.9996	0.86	0.2716	1.3184	0.8600	0.8552	0.1394	0.0476
0.0038	94.96	1187	1.0009	0.86	0.2716	1.3182	0.8600	0.8552	0.1393	0.0475
0.0038	96.0	1200	1.0023	0.86	0.2717	1.3179	0.8600	0.8552	0.1392	0.0475
0.0038	96.96	1212	1.0035	0.86	0.2717	1.3176	0.8600	0.8552	0.1391	0.0475
0.0038	98.0	1225	1.0049	0.86	0.2717	1.3175	0.8600	0.8552	0.1391	0.0474
0.0038	98.96	1237	1.0062	0.86	0.2717	1.3172	0.8600	0.8552	0.1391	0.0475
0.0038	100.0	1250	1.0075	0.86	0.2717	1.3169	0.8600	0.8552	0.1367	0.0475
0.0038	100.96	1262	1.0087	0.86	0.2717	1.3167	0.8600	0.8552	0.1368	0.0475
0.0038	102.0	1275	1.0099	0.86	0.2717	1.3164	0.8600	0.8552	0.1375	0.0474
0.0038	102.96	1287	1.0111	0.86	0.2717	1.3162	0.8600	0.8552	0.1376	0.0473
0.0038	104.0	1300	1.0122	0.86	0.2717	1.3159	0.8600	0.8552	0.1378	0.0471
0.0038	104.96	1312	1.0134	0.86	0.2716	1.3158	0.8600	0.8552	0.1378	0.0473
0.0038	106.0	1325	1.0146	0.86	0.2717	1.3155	0.8600	0.8552	0.1379	0.0472
0.0038	106.96	1337	1.0158	0.86	0.2717	1.3153	0.8600	0.8552	0.1379	0.0471
0.0038	108.0	1350	1.0169	0.86	0.2716	1.3151	0.8600	0.8552	0.1380	0.0471
0.0038	108.96	1362	1.0180	0.86	0.2716	1.3149	0.8600	0.8552	0.1381	0.0471
0.0038	110.0	1375	1.0191	0.86	0.2716	1.3146	0.8600	0.8552	0.1381	0.0471
0.0038	110.96	1387	1.0201	0.86	0.2716	1.3144	0.8600	0.8552	0.1382	0.0471
0.0038	112.0	1400	1.0211	0.86	0.2716	1.3142	0.8600	0.8552	0.1382	0.0470
0.0038	112.96	1412	1.0222	0.86	0.2716	1.3141	0.8600	0.8552	0.1382	0.0471
0.0038	114.0	1425	1.0233	0.86	0.2715	1.3139	0.8600	0.8552	0.1383	0.0470
0.0038	114.96	1437	1.0242	0.86	0.2715	1.3138	0.8600	0.8552	0.1383	0.0470
0.0038	116.0	1450	1.0253	0.86	0.2715	1.3136	0.8600	0.8552	0.1383	0.0469
0.0038	116.96	1462	1.0263	0.86	0.2715	1.3134	0.8600	0.8552	0.1383	0.0470
0.0038	118.0	1475	1.0273	0.86	0.2715	1.3133	0.8600	0.8552	0.1384	0.0470
0.0038	118.96	1487	1.0282	0.86	0.2714	1.3131	0.8600	0.8552	0.1384	0.0468
0.0006	120.0	1500	1.0292	0.86	0.2714	1.3130	0.8600	0.8552	0.1385	0.0468
0.0006	120.96	1512	1.0301	0.86	0.2714	1.3128	0.8600	0.8552	0.1385	0.0468
0.0006	122.0	1525	1.0311	0.86	0.2714	1.3127	0.8600	0.8552	0.1386	0.0467
0.0006	122.96	1537	1.0319	0.86	0.2714	1.3126	0.8600	0.8552	0.1386	0.0467
0.0006	124.0	1550	1.0329	0.86	0.2714	1.3124	0.8600	0.8552	0.1387	0.0467
0.0006	124.96	1562	1.0337	0.86	0.2713	1.3123	0.8600	0.8552	0.1393	0.0467
0.0006	126.0	1575	1.0346	0.86	0.2713	1.3122	0.8600	0.8552	0.1374	0.0466
0.0006	126.96	1587	1.0354	0.86	0.2713	1.3120	0.8600	0.8552	0.1375	0.0466
0.0006	128.0	1600	1.0363	0.86	0.2713	1.3119	0.8600	0.8552	0.1375	0.0467
0.0006	128.96	1612	1.0372	0.86	0.2713	1.3118	0.8600	0.8552	0.1375	0.0466
0.0006	130.0	1625	1.0380	0.86	0.2712	1.3117	0.8600	0.8552	0.1375	0.0466
0.0006	130.96	1637	1.0388	0.86	0.2712	1.3116	0.8600	0.8552	0.1375	0.0467
0.0006	132.0	1650	1.0396	0.86	0.2712	1.3115	0.8600	0.8552	0.1375	0.0465
0.0006	132.96	1662	1.0403	0.86	0.2712	1.3113	0.8600	0.8552	0.1375	0.0466
0.0006	134.0	1675	1.0411	0.86	0.2712	1.3113	0.8600	0.8552	0.1376	0.0466
0.0006	134.96	1687	1.0419	0.86	0.2711	1.3112	0.8600	0.8552	0.1376	0.0466
0.0006	136.0	1700	1.0426	0.86	0.2711	1.3111	0.8600	0.8552	0.1376	0.0465
0.0006	136.96	1712	1.0433	0.86	0.2711	1.3110	0.8600	0.8552	0.1376	0.0465
0.0006	138.0	1725	1.0441	0.86	0.2711	1.3109	0.8600	0.8552	0.1376	0.0465
0.0006	138.96	1737	1.0448	0.86	0.2711	1.3108	0.8600	0.8552	0.1376	0.0465
0.0006	140.0	1750	1.0455	0.86	0.2710	1.3107	0.8600	0.8552	0.1377	0.0465
0.0006	140.96	1762	1.0461	0.86	0.2710	1.3106	0.8600	0.8552	0.1377	0.0465
0.0006	142.0	1775	1.0468	0.86	0.2710	1.3106	0.8600	0.8552	0.1377	0.0465
0.0006	142.96	1787	1.0474	0.86	0.2710	1.3105	0.8600	0.8552	0.1377	0.0465
0.0006	144.0	1800	1.0481	0.86	0.2710	1.3104	0.8600	0.8552	0.1377	0.0465
0.0006	144.96	1812	1.0487	0.86	0.2710	1.3103	0.8600	0.8552	0.1378	0.0465
0.0006	146.0	1825	1.0494	0.86	0.2709	1.3102	0.8600	0.8552	0.1378	0.0465
0.0006	146.96	1837	1.0500	0.86	0.2709	1.3102	0.8600	0.8552	0.1378	0.0465
0.0006	148.0	1850	1.0506	0.86	0.2709	1.3101	0.8600	0.8552	0.1378	0.0465
0.0006	148.96	1862	1.0511	0.86	0.2709	1.3100	0.8600	0.8552	0.1378	0.0464
0.0006	150.0	1875	1.0517	0.86	0.2709	1.3099	0.8600	0.8552	0.1378	0.0464
0.0006	150.96	1887	1.0523	0.86	0.2709	1.3099	0.8600	0.8552	0.1378	0.0464
0.0006	152.0	1900	1.0529	0.86	0.2708	1.3098	0.8600	0.8552	0.1378	0.0464
0.0006	152.96	1912	1.0534	0.86	0.2708	1.3097	0.8600	0.8552	0.1378	0.0464
0.0006	154.0	1925	1.0539	0.86	0.2708	1.3096	0.8600	0.8552	0.1378	0.0464
0.0006	154.96	1937	1.0544	0.86	0.2708	1.3096	0.8600	0.8552	0.1378	0.0464
0.0006	156.0	1950	1.0550	0.86	0.2708	1.3095	0.8600	0.8552	0.1378	0.0464
0.0006	156.96	1962	1.0554	0.86	0.2708	1.3094	0.8600	0.8552	0.1378	0.0464
0.0006	158.0	1975	1.0559	0.86	0.2707	1.3094	0.8600	0.8552	0.1378	0.0464
0.0006	158.96	1987	1.0563	0.86	0.2707	1.3093	0.8600	0.8552	0.1378	0.0463
0.0004	160.0	2000	1.0568	0.86	0.2707	1.3093	0.8600	0.8552	0.1378	0.0463
0.0004	160.96	2012	1.0573	0.86	0.2707	1.3092	0.8600	0.8552	0.1378	0.0463
0.0004	162.0	2025	1.0577	0.86	0.2707	1.3092	0.8600	0.8552	0.1378	0.0463
0.0004	162.96	2037	1.0581	0.86	0.2707	1.3091	0.8600	0.8552	0.1378	0.0463
0.0004	164.0	2050	1.0585	0.86	0.2707	1.3091	0.8600	0.8552	0.1378	0.0463
0.0004	164.96	2062	1.0589	0.86	0.2707	1.3090	0.8600	0.8552	0.1378	0.0463
0.0004	166.0	2075	1.0593	0.86	0.2707	1.3090	0.8600	0.8552	0.1378	0.0463
0.0004	166.96	2087	1.0597	0.86	0.2706	1.3089	0.8600	0.8552	0.1378	0.0463
0.0004	168.0	2100	1.0600	0.86	0.2706	1.3089	0.8600	0.8552	0.1378	0.0463
0.0004	168.96	2112	1.0603	0.86	0.2706	1.3089	0.8600	0.8552	0.1378	0.0463
0.0004	170.0	2125	1.0607	0.86	0.2706	1.3088	0.8600	0.8552	0.1378	0.0463
0.0004	170.96	2137	1.0610	0.86	0.2706	1.3088	0.8600	0.8552	0.1378	0.0463
0.0004	172.0	2150	1.0613	0.86	0.2706	1.3088	0.8600	0.8552	0.1378	0.0462
0.0004	172.96	2162	1.0616	0.86	0.2706	1.3087	0.8600	0.8552	0.1378	0.0462
0.0004	174.0	2175	1.0619	0.86	0.2706	1.3087	0.8600	0.8552	0.1378	0.0463
0.0004	174.96	2187	1.0621	0.86	0.2706	1.3087	0.8600	0.8552	0.1378	0.0462
0.0004	176.0	2200	1.0624	0.86	0.2706	1.3087	0.8600	0.8552	0.1378	0.0462
0.0004	176.96	2212	1.0626	0.86	0.2706	1.3086	0.8600	0.8552	0.1378	0.0462
0.0004	178.0	2225	1.0629	0.86	0.2706	1.3086	0.8600	0.8552	0.1378	0.0462
0.0004	178.96	2237	1.0630	0.86	0.2706	1.3086	0.8600	0.8552	0.1378	0.0462
0.0004	180.0	2250	1.0632	0.86	0.2706	1.3086	0.8600	0.8552	0.1378	0.0462
0.0004	180.96	2262	1.0634	0.86	0.2706	1.3086	0.8600	0.8552	0.1378	0.0463
0.0004	182.0	2275	1.0636	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0462
0.0004	182.96	2287	1.0637	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0462
0.0004	184.0	2300	1.0639	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0462
0.0004	184.96	2312	1.0640	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0462
0.0004	186.0	2325	1.0641	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0462
0.0004	186.96	2337	1.0642	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0462
0.0004	188.0	2350	1.0643	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0461
0.0004	188.96	2362	1.0643	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0461
0.0004	190.0	2375	1.0644	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0461
0.0004	190.96	2387	1.0644	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0461
0.0004	192.0	2400	1.0644	0.86	0.2705	1.3085	0.8600	0.8552	0.1378	0.0461

Framework versions

Transformers 4.30.2
Pytorch 1.13.1
Datasets 2.13.1
Tokenizers 0.13.3

ayanban011/vit-base_tobacco_bs_16_lr_2e-4_e_200_wr_0.01_wd_0.2

vit-base_tobacco_bs_16_lr_2e-4_e_200_wr_0.01_wd_0.2

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

为此模型做种