whispertiny_fruit25syl_v7_2

This model is a fine-tuned version of albertuspekerti/whispertiny_fruit25syl_v3_2 on an unknown dataset. It achieves the following results on the evaluation set:

Loss: 0.0405
Wer: 2.34

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 1e-05
train_batch_size: 16
eval_batch_size: 8
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
training_steps: 900000
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
0.0015	0.00	2000	0.1650	13.69
0.0023	0.00	4000	0.4859	26.23
0.0017	0.01	6000	0.3551	23.24
0.0030	0.01	8000	0.1757	18.02
0.0015	0.01	10000	0.2069	18.25
0.0365	1.00	12000	0.7034	41.99
0.0007	1.00	14000	0.2721	20.08
0.0012	1.01	16000	0.1604	14.07
0.0038	1.01	18000	0.5626	28.47
0.0019	1.01	20000	0.2777	23.72
0.0031	1.01	22000	0.2175	17.92
0.0199	2.00	24000	0.2511	17.33
0.0014	2.00	26000	0.1804	16.60
0.0007	2.01	28000	0.1997	15.62
0.0017	2.01	30000	0.1679	13.25
0.0021	2.01	32000	0.6248	29.96
0.0020	2.01	34000	0.2805	22.55
0.0007	3.00	36000	0.1912	15.72
0.0017	3.00	38000	0.6397	24.51
0.0024	3.01	40000	0.1851	13.44
0.0005	3.01	42000	0.2569	21.54
0.0005	3.01	44000	0.5288	28.18
0.0050	4.00	46000	0.2538	15.05
0.0026	4.00	48000	0.0993	10.70
0.0009	4.00	50000	0.5376	23.57
0.0010	4.01	52000	0.4009	21.67
0.0018	4.01	54000	0.2099	14.74
0.0016	4.01	56000	0.1439	13.13
0.0107	5.00	58000	0.0643	7.68
0.0011	5.00	60000	0.1293	11.51
0.0009	5.01	62000	0.0721	8.04
0.0008	5.01	64000	0.3456	24.58
0.0007	5.01	66000	0.1930	16.79
0.0005	5.01	68000	0.1542	12.18
0.0009	6.00	70000	0.1657	13.00
0.0004	6.00	72000	0.1262	11.16
0.0004	6.01	74000	0.2233	12.73
0.0010	6.01	76000	0.1117	11.79
0.0021	6.01	78000	0.3011	24.35
0.0014	6.01	80000	0.1536	14.13
0.0010	7.00	82000	0.0863	7.93
0.0014	7.00	84000	0.2631	16.91
0.0003	7.01	86000	0.1333	10.72
0.0004	7.01	88000	0.1723	16.66
0.0008	7.01	90000	0.2139	19.11
0.0047	8.00	92000	0.0988	8.88
0.0003	8.00	94000	0.0784	7.12
0.0004	8.00	96000	0.2343	17.37
0.0019	8.01	98000	0.2397	18.74
0.0010	8.01	100000	0.1677	12.29
0.0004	8.01	102000	0.1551	14.36
0.0013	9.00	104000	0.1314	11.37
0.0003	9.00	106000	0.1554	9.61
0.0004	9.01	108000	0.0906	9.04
0.0001	9.01	110000	0.6560	34.02
0.0009	9.01	112000	0.2301	17.58
0.0007	9.01	114000	0.2159	14.63
0.0007	10.00	116000	0.1608	10.86
0.0005	10.00	118000	0.0831	8.62
0.0005	10.01	120000	0.1421	9.19
0.0004	10.01	122000	0.1187	10.68
0.0003	10.01	124000	0.4213	25.16
0.0006	10.01	126000	0.2728	16.96
0.0002	11.00	128000	0.0876	9.04
0.0008	11.00	130000	0.1947	16.94
0.0005	11.01	132000	0.0990	8.75
0.0008	11.01	134000	0.1164	8.94
0.0004	11.01	136000	0.1203	12.85
0.0019	12.00	138000	0.0438	4.48
0.0003	12.00	140000	0.1088	8.65
0.0004	12.00	142000	0.1215	9.92
0.0015	12.01	144000	0.2885	21.79
0.0014	12.01	146000	0.1768	12.10
0.0004	12.01	148000	0.1216	10.13
0.0013	13.00	150000	0.1339	10.36
0.0017	13.00	152000	0.1112	8.96
0.0001	13.01	154000	0.0948	7.98
0.0002	13.01	156000	0.3108	20.68
0.0008	13.01	158000	0.1587	15.30
0.0015	13.01	160000	0.1346	10.93
0.0005	14.00	162000	0.1653	13.21
0.0005	14.00	164000	0.1019	11.03
0.0006	14.01	166000	0.1058	8.35
0.0002	14.01	168000	0.1135	10.51
0.0002	14.01	170000	0.2589	21.16
0.0010	15.00	172000	0.0872	7.39
0.0002	15.00	174000	0.0600	6.66
0.0007	15.00	176000	0.4865	31.15
0.0011	15.01	178000	0.2016	15.32
0.0005	15.01	180000	0.1639	10.70
0.0006	15.01	182000	0.1186	12.50
0.0006	16.00	184000	0.1166	9.92
0.0005	16.00	186000	0.1155	7.33
0.0004	16.01	188000	0.0656	6.72
0.0008	16.01	190000	0.2959	17.06
0.0002	16.01	192000	0.1560	12.60
0.0005	16.01	194000	0.2069	12.79
0.0015	17.00	196000	0.1045	8.83
0.0002	17.00	198000	0.1018	8.73
0.0003	17.01	200000	0.1292	7.20
0.0009	17.01	202000	0.0931	9.25
0.0019	17.01	204000	0.1964	17.42
0.0013	17.01	206000	0.0973	7.10
0.0007	18.00	208000	0.0941	7.79
0.0003	18.00	210000	0.1350	11.12
0.0001	18.01	212000	0.1246	8.33
0.0002	18.01	214000	0.1008	10.11
0.0001	18.01	216000	0.1457	12.60
0.0013	19.00	218000	0.0435	4.33
0.0002	19.00	220000	0.0605	5.19
0.0003	19.00	222000	0.2734	18.36
0.0003	19.01	224000	0.2369	15.24
0.0001	19.01	226000	0.0959	6.91
0.0003	19.01	228000	0.0936	7.28
0.0008	20.00	230000	0.0783	6.45
0.0002	20.00	232000	0.1215	9.19
0.0002	20.01	234000	0.0851	8.71
0.0001	20.01	236000	0.3519	22.84
0.0003	20.01	238000	0.1444	12.20
0.0005	20.01	240000	0.1581	9.67
0.0003	21.00	242000	0.1343	9.57
0.0003	21.00	244000	0.1086	7.72
0.0002	21.01	246000	0.1358	7.54
0.0002	21.01	248000	0.0717	6.30
0.0004	21.01	250000	0.1298	10.74
0.0001	21.01	252000	0.1443	9.32
0.0003	22.00	254000	0.0451	4.10
0.0002	22.00	256000	0.1284	10.82
0.0001	22.01	258000	0.1014	7.26
0.0005	22.01	260000	0.1175	7.58
0.0002	22.01	262000	0.0875	7.64
0.0006	23.00	264000	0.0402	3.81
0.0001	23.00	266000	0.0462	5.05
0.0002	23.00	268000	0.0650	7.98
0.0007	23.01	270000	0.1429	12.75
0.0002	23.01	272000	0.0977	7.75
0.0001	23.01	274000	0.0982	8.52
0.0005	24.00	276000	0.0998	7.05
0.0002	24.00	278000	0.1020	7.75
0.0001	24.01	280000	0.0735	6.64
0.0002	24.01	282000	0.3529	19.78
0.0003	24.01	284000	0.1658	14.15
0.0001	24.01	286000	0.1560	11.45
0.0002	25.00	288000	0.1662	10.49
0.0004	25.00	290000	0.1091	10.30
0.0001	25.01	292000	0.1403	9.94
0.0002	25.01	294000	0.1119	8.92
0.0000	25.01	296000	0.3880	22.00
0.0002	26.00	298000	0.0605	4.67
0.0000	26.00	300000	0.0621	4.92
0.0003	26.00	302000	0.2317	13.61
0.0002	26.01	304000	0.0863	6.93
0.0005	26.01	306000	0.0940	6.74
0.0006	26.01	308000	0.0879	8.10
0.0001	27.00	310000	0.0515	4.14
0.0001	27.00	312000	0.0680	4.42
0.0000	27.01	314000	0.0987	8.14
0.0005	27.01	316000	0.3038	16.45
0.0000	27.01	318000	0.0865	6.36
0.0003	27.01	320000	0.1186	7.60
0.0004	28.00	322000	0.1314	8.14
0.0000	28.00	324000	0.0978	6.28
0.0001	28.01	326000	0.1021	7.26
0.0007	28.01	328000	0.1285	10.45
0.0006	28.01	330000	0.1283	10.91
0.0003	28.01	332000	0.1309	9.92
0.0002	29.00	334000	0.1114	9.09
0.0006	29.00	336000	0.1049	9.48
0.0000	29.01	338000	0.0879	7.08
0.0001	29.01	340000	0.0644	5.57
0.0004	29.01	342000	0.1470	10.53
0.0003	30.00	344000	0.0425	3.39
0.0000	30.00	346000	0.0358	3.22
0.0002	30.00	348000	0.2155	13.50
0.0002	30.01	350000	0.1227	10.49
0.0001	30.01	352000	0.1400	7.77
0.0033	30.01	354000	0.1205	10.40
0.0001	31.00	356000	0.0440	3.39
0.0002	31.00	358000	0.0825	5.44
0.0002	31.01	360000	0.0743	7.77
0.0004	31.01	362000	0.2200	15.57
0.0002	31.01	364000	0.1102	8.39
0.0001	31.01	366000	0.1132	7.81
0.0003	32.00	368000	0.1195	8.92
0.0001	32.00	370000	0.0605	4.67
0.0000	32.01	372000	0.0545	4.31
0.0003	32.01	374000	0.1234	10.55
0.0001	32.01	376000	0.0810	8.04
0.0001	32.01	378000	0.1075	7.14
0.0004	33.00	380000	0.0766	6.05
0.0005	33.00	382000	0.0983	8.42
0.0000	33.01	384000	0.0772	5.69
0.0002	33.01	386000	0.0823	6.89
0.0004	33.01	388000	0.0938	8.33
0.0001	34.00	390000	0.0531	3.75
0.0003	34.00	392000	0.0452	3.43
0.0004	34.00	394000	0.1294	11.22
0.0004	34.01	396000	0.1213	10.17
0.0000	34.01	398000	0.1238	8.77
0.0004	34.01	400000	0.0922	6.09
0.0003	35.00	402000	0.0613	4.73
0.0000	35.00	404000	0.0533	3.18
0.0001	35.01	406000	0.0726	6.26
0.0002	35.01	408000	0.2262	13.33
0.0002	35.01	410000	0.0819	7.35
0.0000	35.01	412000	0.0978	6.85
0.0001	36.00	414000	0.1319	8.42
0.0001	36.00	416000	0.0543	4.31
0.0002	36.01	418000	0.0757	5.57
0.0001	36.01	420000	0.0819	7.62
0.0001	36.01	422000	0.1564	10.95
0.0001	37.00	424000	0.0912	6.49
0.0003	37.00	426000	0.0702	5.32
0.0004	37.00	428000	0.1477	9.02
0.0000	37.01	430000	0.0772	6.18
0.0001	37.01	432000	0.0775	6.47
0.0002	37.01	434000	0.0546	5.00
0.0000	38.00	436000	0.0444	3.27
0.0001	38.00	438000	0.0380	2.85
0.0005	38.01	440000	0.1071	8.73
0.0003	38.01	442000	0.1291	10.03
0.0000	38.01	444000	0.0772	6.18
0.0001	38.01	446000	0.0799	6.28
0.0001	39.00	448000	0.0480	3.56
0.0000	57.01	658000	0.0630	3.75
0.0001	57.01	660000	0.0610	3.73
0.0000	57.01	662000	0.0430	2.72
0.0006	57.01	664000	0.0494	2.87
0.0000	58.00	666000	0.0523	2.95
0.0003	58.00	668000	0.0455	2.78
0.0001	58.01	670000	0.0379	2.43
0.0000	58.01	672000	0.0588	3.64
0.0000	58.01	674000	0.0365	2.34
0.0000	58.01	676000	0.0395	2.60
0.0000	59.00	678000	0.0662	3.77
0.0000	59.00	680000	0.0376	2.34
0.0000	59.01	682000	0.0406	2.34
0.0003	59.01	684000	0.0385	2.22
0.0001	59.01	686000	0.0551	3.18
0.0000	60.00	688000	0.0409	2.72
0.0001	60.00	690000	0.0397	2.32
0.0001	60.00	692000	0.0471	3.31
0.0001	60.01	694000	0.0348	2.16
0.0000	60.01	696000	0.0338	2.22
0.0000	60.01	698000	0.0358	2.30
0.0000	61.00	700000	0.0376	2.24
0.0000	61.00	702000	0.0386	2.41
0.0000	61.01	704000	0.0429	2.60
0.0002	61.01	706000	0.0675	3.94
0.0000	61.01	708000	0.0381	2.47
0.0000	61.01	710000	0.0419	2.72
0.0001	62.00	712000	0.0607	3.54
0.0000	62.00	714000	0.0379	2.22
0.0000	62.01	716000	0.0412	2.60
0.0008	62.01	718000	0.0753	4.00
0.0001	62.01	720000	0.0420	2.45
0.0000	63.00	722000	0.0385	2.30
0.0000	63.00	724000	0.0563	2.99
0.0000	63.00	726000	0.0358	2.18
0.0000	63.01	728000	0.0337	2.14
0.0001	63.01	730000	0.0351	2.26
0.0000	63.01	732000	0.0408	2.60
0.0000	64.00	734000	0.0339	2.05
0.0001	64.00	736000	0.0373	2.14
0.0000	64.01	738000	0.0566	3.37
0.0000	64.01	740000	0.0374	2.41
0.0000	64.01	742000	0.0350	2.20
0.0000	64.01	744000	0.0354	2.24
0.0000	65.00	746000	0.0341	2.16
0.0000	65.00	748000	0.0366	2.37
0.0001	65.01	750000	0.0459	2.57
0.0001	65.01	752000	0.0494	2.76
0.0000	65.01	754000	0.0333	1.99
0.0000	65.01	756000	0.0345	1.99
0.0000	66.00	758000	0.0401	2.32
0.0001	66.00	760000	0.0315	1.82
0.0000	66.01	762000	0.0365	1.90
0.0000	66.01	764000	0.0446	2.55
0.0000	66.01	766000	0.0370	2.11
0.0000	67.00	768000	0.0322	1.90
0.0000	67.00	770000	0.0394	2.18
0.0001	67.00	772000	0.0437	2.60
0.0000	67.01	774000	0.0334	1.95
0.0000	67.01	776000	0.0363	2.14
0.0000	67.01	778000	0.0368	2.16
0.0000	68.00	780000	0.0315	1.86
0.0000	68.00	782000	0.0409	2.28
0.0001	68.01	784000	0.0441	2.53
0.0000	68.01	786000	0.0380	2.26
0.0000	68.01	788000	0.0384	2.20
0.0000	68.01	790000	0.0372	2.18
0.0000	69.00	792000	0.0374	2.26
0.0000	69.00	794000	0.0357	2.20
0.0000	69.01	796000	0.0415	2.47
0.0000	69.01	798000	0.0439	2.60
0.0000	69.01	800000	0.0411	2.24
0.0002	69.01	802000	0.0416	2.32
0.0000	70.00	804000	0.0395	2.30
0.0000	70.00	806000	0.0352	2.09
0.0001	70.01	808000	0.0353	2.07
0.0000	70.01	810000	0.0387	2.03
0.0000	70.01	812000	0.0387	2.07
0.0000	71.00	814000	0.0370	2.14
0.0000	71.00	816000	0.0400	2.22
0.0001	71.00	818000	0.0458	2.64
0.0000	71.01	820000	0.0376	2.09
0.0000	71.01	822000	0.0386	2.18
0.0000	71.01	824000	0.0385	2.16
0.0000	72.00	826000	0.0369	2.14
0.0000	72.00	828000	0.0405	2.18
0.0000	72.01	830000	0.0474	2.57
0.0000	72.01	832000	0.0484	2.68
0.0000	72.01	834000	0.0445	2.53
0.0000	72.01	836000	0.0444	2.51
0.0000	73.00	838000	0.0447	2.55
0.0000	73.00	840000	0.0411	2.45
0.0000	73.01	842000	0.0413	2.49
0.0000	73.01	844000	0.0430	2.43
0.0000	73.01	846000	0.0409	2.37
0.0000	74.00	848000	0.0399	2.39
0.0000	74.00	850000	0.0425	2.47
0.0000	74.00	852000	0.0390	2.24
0.0000	74.01	854000	0.0392	2.28
0.0000	74.01	856000	0.0410	2.30
0.0000	74.01	858000	0.0409	2.30
0.0000	75.00	860000	0.0393	2.26
0.0000	75.00	862000	0.0429	2.47
0.0000	75.01	864000	0.0426	2.43
0.0000	75.01	866000	0.0421	2.45
0.0000	75.01	868000	0.0432	2.47
0.0000	75.01	870000	0.0425	2.45
0.0000	76.00	872000	0.0423	2.45
0.0000	76.00	874000	0.0423	2.43
0.0000	76.01	876000	0.0423	2.45
0.0000	76.01	878000	0.0423	2.41
0.0000	76.01	880000	0.0422	2.41
0.0000	76.01	882000	0.0422	2.37
0.0000	77.00	884000	0.0415	2.37
0.0000	77.00	886000	0.0405	2.32
0.0000	77.01	888000	0.0405	2.32
0.0000	77.01	890000	0.0405	2.32
0.0000	77.01	892000	0.0406	2.32
0.0000	78.00	894000	0.0406	2.34
0.0000	78.00	896000	0.0405	2.32
0.0000	78.00	898000	0.0405	2.34
0.0000	78.01	900000	0.0405	2.34

Framework versions

Transformers 4.41.2
Pytorch 2.3.0+cu121
Datasets 2.19.1
Tokenizers 0.19.1

albertuspekerti/whispertiny_fruit25syl_v7_2

whispertiny_fruit25syl_v7_2

Model description

Intended uses & limitations

Training and evaluation data

Training procedure

Training hyperparameters

Training results

Framework versions