vit-base_tobacco_lr5e-6_e_200

This model is a fine-tuned version of jordyvl/vit-base_tobacco on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.7893
Accuracy: 0.78
Brier Loss: 0.3364
Nll: 1.4430
F1 Micro: 0.78
F1 Macro: 0.7488
Ece: 0.1922
Aurc: 0.1018

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-06
train_batch_size: 4
eval_batch_size: 4
seed: 42
gradient_accumulation_steps: 16
total_train_batch_size: 64
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 200

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Brier Loss	Nll	F1 Micro	F1 Macro	Ece	Aurc
No log	0.96	12	0.7450	0.815	0.3079	1.1882	0.815	0.7942	0.2383	0.0734
No log	2.0	25	0.7440	0.815	0.3074	1.1877	0.815	0.7922	0.2303	0.0734
No log	2.96	37	0.7429	0.81	0.3071	1.1883	0.81	0.7914	0.2367	0.0714
No log	4.0	50	0.7463	0.815	0.3083	1.1912	0.815	0.7942	0.2334	0.0768
No log	4.96	62	0.7453	0.815	0.3080	1.1927	0.815	0.7922	0.2224	0.0751
No log	6.0	75	0.7416	0.81	0.3067	1.1870	0.81	0.7914	0.2232	0.0716
No log	6.96	87	0.7420	0.81	0.3070	1.1858	0.81	0.7914	0.2309	0.0730
No log	8.0	100	0.7409	0.81	0.3062	1.1879	0.81	0.7871	0.2186	0.0749
No log	8.96	112	0.7444	0.815	0.3079	1.1984	0.815	0.8059	0.2342	0.0766
No log	10.0	125	0.7445	0.81	0.3079	1.1918	0.81	0.7894	0.2353	0.0775
No log	10.96	137	0.7451	0.81	0.3085	1.1888	0.81	0.7871	0.2319	0.0784
No log	12.0	150	0.7411	0.805	0.3060	1.1914	0.805	0.7829	0.2186	0.0779
No log	12.96	162	0.7406	0.815	0.3075	1.1967	0.815	0.8057	0.2472	0.0746
No log	14.0	175	0.7360	0.805	0.3048	1.2494	0.805	0.7841	0.2383	0.0770
No log	14.96	187	0.7331	0.81	0.3037	1.1896	0.81	0.7912	0.2306	0.0721
No log	16.0	200	0.7345	0.81	0.3042	1.2488	0.81	0.7956	0.2064	0.0794
No log	16.96	212	0.7329	0.815	0.3018	1.2595	0.815	0.8043	0.2331	0.0797
No log	18.0	225	0.7354	0.795	0.3055	1.1743	0.795	0.7765	0.2154	0.0742
No log	18.96	237	0.7282	0.805	0.3001	1.1920	0.805	0.7844	0.2444	0.0748
No log	20.0	250	0.7225	0.805	0.2981	1.1804	0.805	0.7874	0.2041	0.0744
No log	20.96	262	0.7250	0.81	0.3000	1.2516	0.81	0.7900	0.2148	0.0761
No log	22.0	275	0.7252	0.81	0.3009	1.3033	0.81	0.7954	0.2375	0.0782
No log	22.96	287	0.7293	0.8	0.3016	1.2557	0.8000	0.7796	0.2243	0.0810
No log	24.0	300	0.7344	0.805	0.3057	1.3122	0.805	0.7853	0.2096	0.0815
No log	24.96	312	0.7314	0.81	0.3044	1.2501	0.81	0.7909	0.2068	0.0808
No log	26.0	325	0.7293	0.81	0.3036	1.3066	0.81	0.7909	0.2015	0.0804
No log	26.96	337	0.7323	0.805	0.3042	1.3147	0.805	0.7853	0.2242	0.0827
No log	28.0	350	0.7288	0.805	0.3029	1.3109	0.805	0.7853	0.1976	0.0826
No log	28.96	362	0.7343	0.805	0.3058	1.3108	0.805	0.7853	0.2128	0.0851
No log	30.0	375	0.7351	0.8	0.3062	1.3129	0.8000	0.7733	0.2088	0.0845
No log	30.96	387	0.7301	0.8	0.3044	1.2452	0.8000	0.7733	0.2272	0.0836
No log	32.0	400	0.7340	0.8	0.3055	1.3769	0.8000	0.7806	0.2207	0.0855
No log	32.96	412	0.7322	0.805	0.3052	1.3132	0.805	0.7784	0.2470	0.0865
No log	34.0	425	0.7301	0.8	0.3045	1.2543	0.8000	0.7733	0.2021	0.0863
No log	34.96	437	0.7297	0.8	0.3046	1.3056	0.8000	0.7731	0.1886	0.0836
No log	36.0	450	0.7326	0.805	0.3056	1.3102	0.805	0.7784	0.2256	0.0892
No log	36.96	462	0.7311	0.8	0.3046	1.3681	0.8000	0.7733	0.2065	0.0880
No log	38.0	475	0.7356	0.8	0.3077	1.3666	0.8000	0.7733	0.2034	0.0895
No log	38.96	487	0.7302	0.8	0.3042	1.3114	0.8000	0.7733	0.1996	0.0894
0.1528	40.0	500	0.7289	0.805	0.3035	1.3669	0.805	0.7797	0.1951	0.0874
0.1528	40.96	512	0.7292	0.8	0.3037	1.3685	0.8000	0.7737	0.2103	0.0878
0.1528	42.0	525	0.7347	0.805	0.3077	1.3640	0.805	0.7784	0.2005	0.0894
0.1528	42.96	537	0.7343	0.805	0.3063	1.3684	0.805	0.7784	0.2055	0.0899
0.1528	44.0	550	0.7283	0.805	0.3038	1.3660	0.805	0.7797	0.2142	0.0881
0.1528	44.96	562	0.7325	0.805	0.3061	1.3658	0.805	0.7784	0.1967	0.0896
0.1528	46.0	575	0.7303	0.81	0.3049	1.3659	0.81	0.7844	0.1985	0.0883
0.1528	46.96	587	0.7321	0.805	0.3054	1.3657	0.805	0.7797	0.1925	0.0888
0.1528	48.0	600	0.7322	0.8	0.3054	1.3680	0.8000	0.7704	0.1837	0.0903
0.1528	48.96	612	0.7368	0.8	0.3079	1.3234	0.8000	0.7704	0.2111	0.0905
0.1528	50.0	625	0.7358	0.8	0.3074	1.3682	0.8000	0.7704	0.1971	0.0899
0.1528	50.96	637	0.7318	0.8	0.3054	1.3661	0.8000	0.7704	0.2111	0.0889
0.1528	52.0	650	0.7473	0.795	0.3133	1.3707	0.795	0.7660	0.2032	0.0954
0.1528	52.96	662	0.7299	0.805	0.3050	1.3631	0.805	0.7797	0.1977	0.0891
0.1528	54.0	675	0.7427	0.795	0.3116	1.3673	0.795	0.7644	0.2181	0.0923
0.1528	54.96	687	0.7371	0.8	0.3087	1.3648	0.8000	0.7704	0.1984	0.0902
0.1528	56.0	700	0.7399	0.8	0.3100	1.3671	0.8000	0.7704	0.2178	0.0920
0.1528	56.96	712	0.7420	0.8	0.3114	1.3671	0.8000	0.7689	0.2035	0.0925
0.1528	58.0	725	0.7380	0.8	0.3088	1.3646	0.8000	0.7704	0.2016	0.0916
0.1528	58.96	737	0.7390	0.8	0.3091	1.3671	0.8000	0.7704	0.2005	0.0921
0.1528	60.0	750	0.7370	0.8	0.3085	1.3651	0.8000	0.7704	0.1891	0.0908
0.1528	60.96	762	0.7388	0.8	0.3097	1.3622	0.8000	0.7704	0.2010	0.0906
0.1528	62.0	775	0.7403	0.795	0.3102	1.3691	0.795	0.7654	0.2142	0.0910
0.1528	62.96	787	0.7390	0.8	0.3088	1.3950	0.8000	0.7684	0.2058	0.0910
0.1528	64.0	800	0.7431	0.795	0.3110	1.3722	0.795	0.7656	0.1959	0.0914
0.1528	64.96	812	0.7429	0.8	0.3117	1.3673	0.8000	0.7704	0.1933	0.0925
0.1528	66.0	825	0.7419	0.8	0.3115	1.3663	0.8000	0.7704	0.1986	0.0913
0.1528	66.96	837	0.7434	0.8	0.3120	1.3672	0.8000	0.7704	0.1929	0.0927
0.1528	68.0	850	0.7414	0.8	0.3115	1.3649	0.8000	0.7704	0.1988	0.0923
0.1528	68.96	862	0.7448	0.8	0.3129	1.3685	0.8000	0.7704	0.2251	0.0928
0.1528	70.0	875	0.7450	0.8	0.3130	1.3657	0.8000	0.7704	0.1969	0.0934
0.1528	70.96	887	0.7464	0.8	0.3132	1.3686	0.8000	0.7704	0.1988	0.0946
0.1528	72.0	900	0.7465	0.8	0.3138	1.3682	0.8000	0.7707	0.2015	0.0935
0.1528	72.96	912	0.7471	0.8	0.3142	1.3685	0.8000	0.7696	0.2093	0.0936
0.1528	74.0	925	0.7476	0.8	0.3145	1.3685	0.8000	0.7704	0.2120	0.0942
0.1528	74.96	937	0.7433	0.8	0.3126	1.3655	0.8000	0.7696	0.1907	0.0918
0.1528	76.0	950	0.7519	0.8	0.3166	1.3683	0.8000	0.7704	0.2111	0.0949
0.1528	76.96	962	0.7485	0.8	0.3152	1.3679	0.8000	0.7696	0.2035	0.0942
0.1528	78.0	975	0.7496	0.8	0.3155	1.3716	0.8000	0.7704	0.1931	0.0940
0.1528	78.96	987	0.7513	0.8	0.3163	1.3684	0.8000	0.7704	0.1888	0.0952
0.1059	80.0	1000	0.7490	0.8	0.3157	1.3707	0.8000	0.7691	0.2118	0.0943
0.1059	80.96	1012	0.7482	0.8	0.3151	1.3687	0.8000	0.7696	0.2060	0.0945
0.1059	82.0	1025	0.7516	0.8	0.3163	1.3682	0.8000	0.7704	0.2248	0.0950
0.1059	82.96	1037	0.7527	0.8	0.3174	1.3660	0.8000	0.7707	0.2204	0.0948
0.1059	84.0	1050	0.7495	0.8	0.3156	1.3663	0.8000	0.7704	0.2067	0.0939
0.1059	84.96	1062	0.7506	0.8	0.3161	1.3659	0.8000	0.7707	0.2086	0.0947
0.1059	86.0	1075	0.7537	0.8	0.3179	1.3687	0.8000	0.7698	0.2001	0.0955
0.1059	86.96	1087	0.7525	0.8	0.3172	1.3693	0.8000	0.7696	0.2096	0.0947
0.1059	88.0	1100	0.7535	0.8	0.3175	1.3675	0.8000	0.7704	0.2091	0.0951
0.1059	88.96	1112	0.7525	0.8	0.3172	1.3680	0.8000	0.7696	0.2009	0.0946
0.1059	90.0	1125	0.7566	0.8	0.3190	1.3725	0.8000	0.7698	0.1881	0.0964
0.1059	90.96	1137	0.7578	0.8	0.3195	1.3726	0.8000	0.7704	0.1880	0.0968
0.1059	92.0	1150	0.7560	0.8	0.3186	1.3715	0.8000	0.7707	0.2095	0.0969
0.1059	92.96	1162	0.7623	0.795	0.3219	1.3765	0.795	0.7681	0.1907	0.0979
0.1059	94.0	1175	0.7567	0.8	0.3192	1.3709	0.8000	0.7698	0.2000	0.0953
0.1059	94.96	1187	0.7538	0.8	0.3181	1.3708	0.8000	0.7691	0.1986	0.0958
0.1059	96.0	1200	0.7530	0.8	0.3175	1.3725	0.8000	0.7693	0.2122	0.0958
0.1059	96.96	1212	0.7607	0.8	0.3207	1.3730	0.8000	0.7709	0.1906	0.0972
0.1059	98.0	1225	0.7647	0.79	0.3229	1.3411	0.79	0.7633	0.1889	0.0984
0.1059	98.96	1237	0.7568	0.79	0.3191	1.4425	0.79	0.7644	0.1911	0.0976
0.1059	100.0	1250	0.7586	0.8	0.3200	1.4486	0.8000	0.7696	0.2009	0.0952
0.1059	100.96	1262	0.7552	0.8	0.3192	1.3728	0.8000	0.7696	0.1962	0.0953
0.1059	102.0	1275	0.7601	0.8	0.3217	1.4309	0.8000	0.7691	0.2071	0.0969
0.1059	102.96	1287	0.7608	0.795	0.3213	1.3702	0.795	0.7668	0.2068	0.0967
0.1059	104.0	1300	0.7590	0.795	0.3202	1.3748	0.795	0.7668	0.1922	0.0967
0.1059	104.96	1312	0.7626	0.795	0.3222	1.3775	0.795	0.7673	0.1917	0.0974
0.1059	106.0	1325	0.7632	0.795	0.3228	1.3765	0.795	0.7664	0.2072	0.0977
0.1059	106.96	1337	0.7612	0.795	0.3223	1.3764	0.795	0.7666	0.2011	0.0974
0.1059	108.0	1350	0.7669	0.79	0.3246	1.3777	0.79	0.7639	0.2005	0.0981
0.1059	108.96	1362	0.7658	0.795	0.3238	1.3782	0.795	0.7673	0.2099	0.0983
0.1059	110.0	1375	0.7632	0.79	0.3232	1.3766	0.79	0.7639	0.2002	0.0978
0.1059	110.96	1387	0.7651	0.79	0.3236	1.3758	0.79	0.7580	0.2134	0.0980
0.1059	112.0	1400	0.7649	0.79	0.3235	1.3765	0.79	0.7583	0.1975	0.0982
0.1059	112.96	1412	0.7683	0.79	0.3253	1.3759	0.79	0.7639	0.1913	0.0986
0.1059	114.0	1425	0.7682	0.795	0.3253	1.3778	0.795	0.7668	0.1986	0.0984
0.1059	114.96	1437	0.7666	0.79	0.3245	1.3771	0.79	0.7639	0.1838	0.0976
0.1059	116.0	1450	0.7685	0.79	0.3255	1.3802	0.79	0.7639	0.1962	0.0988
0.1059	116.96	1462	0.7676	0.785	0.3249	1.3783	0.785	0.7554	0.2011	0.0991
0.1059	118.0	1475	0.7704	0.785	0.3262	1.3789	0.785	0.7516	0.2098	0.0995
0.1059	118.96	1487	0.7701	0.785	0.3262	1.3806	0.785	0.7554	0.2167	0.0991
0.0842	120.0	1500	0.7708	0.79	0.3267	1.3815	0.79	0.7639	0.1934	0.0990
0.0842	120.96	1512	0.7710	0.785	0.3265	1.3790	0.785	0.7516	0.1928	0.0995
0.0842	122.0	1525	0.7728	0.79	0.3274	1.3830	0.79	0.7639	0.1917	0.0996
0.0842	122.96	1537	0.7708	0.785	0.3267	1.3826	0.785	0.7554	0.2057	0.0992
0.0842	124.0	1550	0.7698	0.785	0.3262	1.3777	0.785	0.7554	0.2021	0.0996
0.0842	124.96	1562	0.7706	0.785	0.3267	1.3825	0.785	0.7554	0.1949	0.0994
0.0842	126.0	1575	0.7751	0.79	0.3290	1.3827	0.79	0.7639	0.1945	0.1002
0.0842	126.96	1587	0.7734	0.79	0.3282	1.3855	0.79	0.7639	0.1882	0.0998
0.0842	128.0	1600	0.7753	0.785	0.3290	1.3842	0.785	0.7554	0.1926	0.1006
0.0842	128.96	1612	0.7731	0.78	0.3278	1.3808	0.78	0.7488	0.2115	0.0994
0.0842	130.0	1625	0.7723	0.78	0.3276	1.3830	0.78	0.7486	0.2005	0.0994
0.0842	130.96	1637	0.7746	0.78	0.3287	1.3810	0.78	0.7488	0.2103	0.0999
0.0842	132.0	1650	0.7758	0.78	0.3291	1.3848	0.78	0.7488	0.2138	0.1004
0.0842	132.96	1662	0.7771	0.78	0.3299	1.3833	0.78	0.7488	0.2080	0.1007
0.0842	134.0	1675	0.7757	0.78	0.3295	1.3837	0.78	0.7488	0.2060	0.0999
0.0842	134.96	1687	0.7754	0.78	0.3292	1.3836	0.78	0.7488	0.2070	0.1001
0.0842	136.0	1700	0.7755	0.78	0.3294	1.3834	0.78	0.7488	0.2057	0.0999
0.0842	136.96	1712	0.7755	0.78	0.3295	1.3874	0.78	0.7488	0.1999	0.0998
0.0842	138.0	1725	0.7759	0.78	0.3296	1.4380	0.78	0.7488	0.2007	0.1002
0.0842	138.96	1737	0.7776	0.78	0.3303	1.3868	0.78	0.7488	0.2091	0.1002
0.0842	140.0	1750	0.7780	0.78	0.3304	1.3868	0.78	0.7488	0.2086	0.1005
0.0842	140.96	1762	0.7780	0.78	0.3306	1.3855	0.78	0.7488	0.2065	0.1001
0.0842	142.0	1775	0.7789	0.78	0.3311	1.3855	0.78	0.7488	0.2067	0.1003
0.0842	142.96	1787	0.7798	0.78	0.3314	1.3856	0.78	0.7488	0.2083	0.1010
0.0842	144.0	1800	0.7799	0.78	0.3315	1.3914	0.78	0.7488	0.2161	0.1004
0.0842	144.96	1812	0.7806	0.78	0.3317	1.3857	0.78	0.7488	0.2024	0.1008
0.0842	146.0	1825	0.7817	0.78	0.3322	1.3947	0.78	0.7488	0.2043	0.1009
0.0842	146.96	1837	0.7815	0.78	0.3324	1.3898	0.78	0.7488	0.2118	0.1006
0.0842	148.0	1850	0.7820	0.78	0.3326	1.3874	0.78	0.7488	0.2114	0.1008
0.0842	148.96	1862	0.7821	0.78	0.3327	1.4391	0.78	0.7488	0.2087	0.1006
0.0842	150.0	1875	0.7816	0.78	0.3324	1.4410	0.78	0.7488	0.2160	0.1006
0.0842	150.96	1887	0.7826	0.78	0.3328	1.3927	0.78	0.7488	0.2011	0.1007
0.0842	152.0	1900	0.7834	0.78	0.3332	1.4411	0.78	0.7488	0.1994	0.1009
0.0842	152.96	1912	0.7830	0.78	0.3331	1.4409	0.78	0.7488	0.1967	0.1008
0.0842	154.0	1925	0.7825	0.78	0.3329	1.4412	0.78	0.7488	0.2070	0.1008
0.0842	154.96	1937	0.7827	0.78	0.3332	1.4399	0.78	0.7488	0.2097	0.1007
0.0842	156.0	1950	0.7822	0.78	0.3329	1.4391	0.78	0.7488	0.1986	0.1006
0.0842	156.96	1962	0.7838	0.78	0.3335	1.4414	0.78	0.7488	0.1967	0.1007
0.0842	158.0	1975	0.7845	0.78	0.3337	1.3899	0.78	0.7488	0.2087	0.1008
0.0842	158.96	1987	0.7846	0.78	0.3340	1.4419	0.78	0.7488	0.2002	0.1007
0.0731	160.0	2000	0.7853	0.78	0.3343	1.4419	0.78	0.7488	0.1967	0.1010
0.0731	160.96	2012	0.7853	0.78	0.3343	1.4425	0.78	0.7488	0.1963	0.1012
0.0731	162.0	2025	0.7846	0.78	0.3341	1.4411	0.78	0.7488	0.1998	0.1008
0.0731	162.96	2037	0.7856	0.78	0.3345	1.4419	0.78	0.7488	0.2000	0.1011
0.0731	164.0	2050	0.7863	0.78	0.3348	1.4425	0.78	0.7488	0.1991	0.1014
0.0731	164.96	2062	0.7863	0.78	0.3349	1.4414	0.78	0.7488	0.1969	0.1013
0.0731	166.0	2075	0.7865	0.78	0.3349	1.4425	0.78	0.7488	0.1994	0.1015
0.0731	166.96	2087	0.7863	0.78	0.3349	1.4412	0.78	0.7488	0.1966	0.1015
0.0731	168.0	2100	0.7870	0.78	0.3352	1.4431	0.78	0.7488	0.1944	0.1016
0.0731	168.96	2112	0.7868	0.78	0.3351	1.4425	0.78	0.7488	0.1919	0.1017
0.0731	170.0	2125	0.7873	0.78	0.3354	1.4424	0.78	0.7488	0.1965	0.1017
0.0731	170.96	2137	0.7870	0.78	0.3352	1.4418	0.78	0.7488	0.2081	0.1014
0.0731	172.0	2150	0.7879	0.78	0.3356	1.4431	0.78	0.7488	0.1922	0.1017
0.0731	172.96	2162	0.7874	0.78	0.3355	1.4421	0.78	0.7488	0.1967	0.1015
0.0731	174.0	2175	0.7872	0.78	0.3355	1.4418	0.78	0.7488	0.1965	0.1016
0.0731	174.96	2187	0.7882	0.78	0.3358	1.4433	0.78	0.7488	0.1945	0.1017
0.0731	176.0	2200	0.7882	0.78	0.3358	1.4423	0.78	0.7488	0.1969	0.1016
0.0731	176.96	2212	0.7885	0.78	0.3361	1.4431	0.78	0.7488	0.1948	0.1017
0.0731	178.0	2225	0.7883	0.78	0.3359	1.4428	0.78	0.7488	0.1946	0.1017
0.0731	178.96	2237	0.7882	0.78	0.3359	1.4426	0.78	0.7488	0.1920	0.1017
0.0731	180.0	2250	0.7884	0.78	0.3360	1.4425	0.78	0.7488	0.2000	0.1016
0.0731	180.96	2262	0.7886	0.78	0.3361	1.4431	0.78	0.7488	0.1946	0.1017
0.0731	182.0	2275	0.7888	0.78	0.3362	1.4428	0.78	0.7488	0.1977	0.1016
0.0731	182.96	2287	0.7889	0.78	0.3362	1.4428	0.78	0.7488	0.1922	0.1017
0.0731	184.0	2300	0.7889	0.78	0.3362	1.4431	0.78	0.7488	0.1946	0.1017
0.0731	184.96	2312	0.7889	0.78	0.3362	1.4427	0.78	0.7488	0.1946	0.1017
0.0731	186.0	2325	0.7889	0.78	0.3362	1.4431	0.78	0.7488	0.1922	0.1018
0.0731	186.96	2337	0.7892	0.78	0.3364	1.4432	0.78	0.7488	0.1921	0.1017
0.0731	188.0	2350	0.7890	0.78	0.3363	1.4427	0.78	0.7488	0.1921	0.1017
0.0731	188.96	2362	0.7892	0.78	0.3364	1.4429	0.78	0.7488	0.1922	0.1017
0.0731	190.0	2375	0.7893	0.78	0.3364	1.4433	0.78	0.7488	0.1945	0.1017
0.0731	190.96	2387	0.7893	0.78	0.3364	1.4430	0.78	0.7488	0.1921	0.1017
0.0731	192.0	2400	0.7893	0.78	0.3364	1.4430	0.78	0.7488	0.1922	0.1018

Framework versions

Transformers 4.30.2
Pytorch 1.13.1
Datasets 2.13.1
Tokenizers 0.13.3

ayanban011/vit-base_tobacco_lr5e-6_e_200

vit-base_tobacco_lr5e-6_e_200

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions

Seed this model