vit-small_tobacco3482_kd_CEKD_t5.0_a0.7

This model is a fine-tuned version of WinKawaks/vit-small-patch16-224 on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.4918
Accuracy: 0.85
Brier Loss: 0.2583
Nll: 1.0894
F1 Micro: 0.85
F1 Macro: 0.8374
Ece: 0.1917
Aurc: 0.0470

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 0.0001
train_batch_size: 128
eval_batch_size: 128
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
num_epochs: 100

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Brier Loss	Nll	F1 Micro	F1 Macro	Ece	Aurc
No log	1.0	7	1.8329	0.225	0.8761	5.2731	0.225	0.1384	0.2607	0.6977
No log	2.0	14	1.4785	0.405	0.7460	3.4067	0.405	0.2289	0.3097	0.4085
No log	3.0	21	1.0406	0.6	0.5725	1.8722	0.6	0.5345	0.3050	0.2010
No log	4.0	28	0.8087	0.725	0.4192	1.6096	0.7250	0.6767	0.2345	0.1149
No log	5.0	35	0.7666	0.735	0.3731	1.6189	0.735	0.7350	0.2377	0.1011
No log	6.0	42	0.6960	0.78	0.3413	1.5230	0.78	0.7592	0.2295	0.0868
No log	7.0	49	0.6490	0.805	0.3110	1.4861	0.805	0.7864	0.2138	0.0785
No log	8.0	56	0.6238	0.795	0.3069	1.2098	0.795	0.7816	0.2065	0.0698
No log	9.0	63	0.5755	0.83	0.2866	1.1943	0.83	0.8117	0.1937	0.0694
No log	10.0	70	0.6360	0.77	0.3164	1.2608	0.7700	0.7550	0.1785	0.0677
No log	11.0	77	0.6548	0.785	0.3335	1.4895	0.785	0.7707	0.2281	0.0885
No log	12.0	84	0.5847	0.805	0.3002	1.4317	0.805	0.7807	0.2264	0.0756
No log	13.0	91	0.5956	0.81	0.3040	1.2590	0.81	0.7928	0.2241	0.0556
No log	14.0	98	0.5692	0.81	0.3025	1.2119	0.81	0.8043	0.2235	0.0665
No log	15.0	105	0.5223	0.83	0.2762	1.1162	0.83	0.8221	0.1798	0.0552
No log	16.0	112	0.4981	0.84	0.2523	1.0864	0.8400	0.8372	0.1868	0.0396
No log	17.0	119	0.5207	0.805	0.2741	1.0416	0.805	0.7897	0.1960	0.0551
No log	18.0	126	0.5165	0.84	0.2723	1.1596	0.8400	0.8325	0.1942	0.0506
No log	19.0	133	0.4979	0.845	0.2573	1.2329	0.845	0.8297	0.1825	0.0444
No log	20.0	140	0.4953	0.855	0.2565	1.1213	0.855	0.8442	0.1844	0.0474
No log	21.0	147	0.5296	0.82	0.2792	1.0000	0.82	0.8218	0.1768	0.0523
No log	22.0	154	0.5027	0.835	0.2625	0.9926	0.835	0.8238	0.2035	0.0481
No log	23.0	161	0.5027	0.84	0.2642	1.0500	0.8400	0.8299	0.1616	0.0482
No log	24.0	168	0.5017	0.84	0.2616	1.0560	0.8400	0.8314	0.1819	0.0497
No log	25.0	175	0.4942	0.85	0.2594	1.1003	0.85	0.8407	0.1793	0.0483
No log	26.0	182	0.4943	0.83	0.2586	1.0436	0.83	0.8140	0.1869	0.0518
No log	27.0	189	0.4950	0.835	0.2613	1.0817	0.835	0.8224	0.2039	0.0504
No log	28.0	196	0.4957	0.85	0.2599	1.1109	0.85	0.8309	0.2058	0.0485
No log	29.0	203	0.4956	0.845	0.2599	1.0914	0.845	0.8304	0.1916	0.0492
No log	30.0	210	0.4893	0.84	0.2561	1.0890	0.8400	0.8214	0.2071	0.0482
No log	31.0	217	0.4920	0.835	0.2587	1.0907	0.835	0.8270	0.2031	0.0482
No log	32.0	224	0.4927	0.83	0.2601	1.0879	0.83	0.8157	0.2093	0.0500
No log	33.0	231	0.4925	0.835	0.2593	1.0886	0.835	0.8270	0.1810	0.0484
No log	34.0	238	0.4909	0.845	0.2578	1.0871	0.845	0.8304	0.1916	0.0478
No log	35.0	245	0.4927	0.845	0.2591	1.0866	0.845	0.8378	0.1943	0.0473
No log	36.0	252	0.4919	0.85	0.2581	1.0891	0.85	0.8342	0.2193	0.0475
No log	37.0	259	0.4908	0.845	0.2579	1.0867	0.845	0.8346	0.2215	0.0474
No log	38.0	266	0.4929	0.85	0.2590	1.0873	0.85	0.8407	0.1884	0.0471
No log	39.0	273	0.4913	0.85	0.2584	1.0861	0.85	0.8374	0.1944	0.0474
No log	40.0	280	0.4933	0.835	0.2595	1.0871	0.835	0.8248	0.1893	0.0491
No log	41.0	287	0.4936	0.84	0.2599	1.0863	0.8400	0.8276	0.1860	0.0486
No log	42.0	294	0.4911	0.85	0.2580	1.0861	0.85	0.8374	0.2186	0.0474
No log	43.0	301	0.4915	0.85	0.2581	1.0860	0.85	0.8374	0.2023	0.0475
No log	44.0	308	0.4921	0.85	0.2586	1.0874	0.85	0.8374	0.2013	0.0477
No log	45.0	315	0.4915	0.85	0.2583	1.0862	0.85	0.8374	0.1941	0.0475
No log	46.0	322	0.4918	0.85	0.2584	1.0878	0.85	0.8374	0.1852	0.0473
No log	47.0	329	0.4916	0.85	0.2583	1.0873	0.85	0.8374	0.2089	0.0473
No log	48.0	336	0.4921	0.85	0.2586	1.0879	0.85	0.8374	0.2026	0.0477
No log	49.0	343	0.4918	0.845	0.2584	1.0884	0.845	0.8282	0.1963	0.0478
No log	50.0	350	0.4922	0.85	0.2587	1.0871	0.85	0.8374	0.2102	0.0474
No log	51.0	357	0.4920	0.85	0.2585	1.0879	0.85	0.8374	0.2095	0.0474
No log	52.0	364	0.4926	0.85	0.2589	1.0878	0.85	0.8374	0.2022	0.0477
No log	53.0	371	0.4920	0.85	0.2586	1.0888	0.85	0.8374	0.2027	0.0475
No log	54.0	378	0.4921	0.85	0.2586	1.0886	0.85	0.8374	0.2020	0.0474
No log	55.0	385	0.4921	0.85	0.2587	1.0890	0.85	0.8374	0.1929	0.0471
No log	56.0	392	0.4925	0.85	0.2589	1.0881	0.85	0.8374	0.1946	0.0473
No log	57.0	399	0.4917	0.85	0.2583	1.0893	0.85	0.8374	0.1932	0.0472
No log	58.0	406	0.4921	0.85	0.2586	1.0877	0.85	0.8374	0.1948	0.0476
No log	59.0	413	0.4917	0.85	0.2583	1.0883	0.85	0.8374	0.1931	0.0472
No log	60.0	420	0.4918	0.85	0.2583	1.0882	0.85	0.8374	0.1945	0.0475
No log	61.0	427	0.4916	0.85	0.2582	1.0883	0.85	0.8374	0.1936	0.0472
No log	62.0	434	0.4920	0.85	0.2586	1.0882	0.85	0.8374	0.1942	0.0473
No log	63.0	441	0.4922	0.85	0.2587	1.0889	0.85	0.8374	0.1935	0.0473
No log	64.0	448	0.4921	0.85	0.2586	1.0885	0.85	0.8374	0.1848	0.0473
No log	65.0	455	0.4916	0.85	0.2582	1.0887	0.85	0.8374	0.1848	0.0474
No log	66.0	462	0.4917	0.85	0.2583	1.0883	0.85	0.8374	0.1849	0.0472
No log	67.0	469	0.4917	0.85	0.2584	1.0887	0.85	0.8374	0.1848	0.0472
No log	68.0	476	0.4920	0.85	0.2585	1.0888	0.85	0.8374	0.2011	0.0471
No log	69.0	483	0.4918	0.85	0.2584	1.0889	0.85	0.8374	0.2007	0.0471
No log	70.0	490	0.4919	0.85	0.2584	1.0886	0.85	0.8374	0.1848	0.0474
No log	71.0	497	0.4920	0.85	0.2585	1.0888	0.85	0.8374	0.1940	0.0474
0.1824	72.0	504	0.4919	0.85	0.2584	1.0889	0.85	0.8374	0.2011	0.0471
0.1824	73.0	511	0.4917	0.85	0.2583	1.0887	0.85	0.8374	0.1848	0.0472
0.1824	74.0	518	0.4920	0.85	0.2585	1.0890	0.85	0.8374	0.1848	0.0472
0.1824	75.0	525	0.4920	0.85	0.2585	1.0892	0.85	0.8374	0.1846	0.0472
0.1824	76.0	532	0.4918	0.85	0.2583	1.0889	0.85	0.8374	0.1930	0.0472
0.1824	77.0	539	0.4917	0.85	0.2582	1.0891	0.85	0.8374	0.2005	0.0472
0.1824	78.0	546	0.4919	0.85	0.2584	1.0892	0.85	0.8374	0.1928	0.0472
0.1824	79.0	553	0.4920	0.85	0.2585	1.0893	0.85	0.8374	0.1845	0.0473
0.1824	80.0	560	0.4919	0.85	0.2584	1.0890	0.85	0.8374	0.1929	0.0473
0.1824	81.0	567	0.4920	0.85	0.2585	1.0892	0.85	0.8374	0.1925	0.0471
0.1824	82.0	574	0.4920	0.85	0.2585	1.0895	0.85	0.8374	0.1844	0.0471
0.1824	83.0	581	0.4919	0.85	0.2584	1.0892	0.85	0.8374	0.1916	0.0471
0.1824	84.0	588	0.4918	0.85	0.2584	1.0890	0.85	0.8374	0.1926	0.0471
0.1824	85.0	595	0.4918	0.85	0.2584	1.0892	0.85	0.8374	0.1844	0.0471
0.1824	86.0	602	0.4918	0.85	0.2584	1.0893	0.85	0.8374	0.1927	0.0472
0.1824	87.0	609	0.4918	0.85	0.2584	1.0895	0.85	0.8374	0.1844	0.0471
0.1824	88.0	616	0.4918	0.85	0.2584	1.0892	0.85	0.8374	0.1844	0.0471
0.1824	89.0	623	0.4918	0.85	0.2583	1.0895	0.85	0.8374	0.1917	0.0471
0.1824	90.0	630	0.4919	0.85	0.2584	1.0892	0.85	0.8374	0.1998	0.0471
0.1824	91.0	637	0.4919	0.85	0.2584	1.0894	0.85	0.8374	0.1916	0.0471
0.1824	92.0	644	0.4918	0.85	0.2583	1.0895	0.85	0.8374	0.1917	0.0470
0.1824	93.0	651	0.4918	0.85	0.2583	1.0893	0.85	0.8374	0.1917	0.0471
0.1824	94.0	658	0.4918	0.85	0.2583	1.0894	0.85	0.8374	0.1844	0.0471
0.1824	95.0	665	0.4918	0.85	0.2583	1.0894	0.85	0.8374	0.1917	0.0470
0.1824	96.0	672	0.4918	0.85	0.2583	1.0894	0.85	0.8374	0.1917	0.0470
0.1824	97.0	679	0.4918	0.85	0.2583	1.0895	0.85	0.8374	0.1916	0.0471
0.1824	98.0	686	0.4918	0.85	0.2583	1.0895	0.85	0.8374	0.1917	0.0470
0.1824	99.0	693	0.4918	0.85	0.2583	1.0894	0.85	0.8374	0.1917	0.0470
0.1824	100.0	700	0.4918	0.85	0.2583	1.0894	0.85	0.8374	0.1917	0.0470

Framework versions

Transformers 4.26.1
Pytorch 1.13.1.post200
Datasets 2.9.0
Tokenizers 0.13.2

jordyvl/vit-small_tobacco3482_kd_CEKD_t5.0_a0.7

vit-small_tobacco3482_kd_CEKD_t5.0_a0.7

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions