Use of deep learning in combination with FT-NIR spectroscopy for the analysis of extra virgin olive oil
Author(s)
Bandiera, Andrea
Date Issued
September 29, 2025
Type
Doctoral Thesis
Abstract
The increasing demand for olive oils, both in terms of quantity and economic value, has led industry to focus on maintaining product quality. Furthermore, consumers are increasingly focusing on the type of oil used, considering its chemical, physical, and nutritional characteristics. In Europe and Italy, extra virgin olive oil (EVOO) is an important product, considering its production methods, quality attributes, and health properties.
This PhD thesis utilized Visible (Vis) and Near-Infrared (NIR) spectrophotometric techniques for oil analysis. These methods are considered non-destructive, economical, rapid, and eco-friendly compared to traditional analytical techniques. Models development using spectral data was performed using two different chemometric approaches: i) classical, employing Partial Least Squares (PLS), and ii) deep learning, utilizing networks such as Artificial Neural Networks (ANNs) or Convolutional Neural Networks (CNNs). Classical chemometrics involved spectral pre-processing steps, including noise reduction, baseline correction, and scatter correction. Neural network models were evaluated both with and without this spectral pre-processing.
Over the three years, an initial study of the state-of-the-art regarding the combination of oil quality, spectroscopy, and deep learning was conducted. Thereafter, scientific activities focused on the development of predictive models using both Vis-NIR (380-900 nm) and FT-NIR (1 000-2 500 nm) spectroscopy. The comparison between classical and deep learning approaches applied to the spectral data aimed at developing models to predict: i) chemical parameters related to shelf-life monitoring of EVOO; ii) chemical parameters across different types of oil (mainly olive) supplied by a refinery; and iii) the presence and amount (quantification) of different types of seed oils used as adulterants in EVOO.
In the shelf-life study, CNN outperformed ANN and performed equally or, in some cases, showed superior results compared to PLS, even when PLS performance was enhanced using data augmentation. Data augmentation was applied to enable a fairer comparison between classical and deep learning models. In particular, the model obtained for peroxide content in EVOO showed very good results, especially when the CNN approach was combined with Vis-NIR spectroscopy, achieving an R2 in prediction (R2P) greater than 0.99 and a root mean square error in prediction (RMSEP) of 2.75 mEqO2/Kg, considering that the peroxide reference values ranged from 7.50 to 163.90 mEqO2/Kg.
In the study involving oils provided by the refinery with their chemical analyses, model development using the deep learning approach (CNN) generally yielded the best performance, regardless of the spectroscopic range studied. The exceptions were PLS models for predicting oleic and linoleic acid content using an augmented dataset. In this study, a robust model was
developed to predict the free acidity value of vegetable oils, with an RMSEP of approximately 0.2 % (w/w). Notably, the mean free acidity value across all samples was 4.4 % (w/w).
In the prediction of adulterants (i.e., peanut, sunflower, corn, and soybean) oil content in EVOO, the predictive models performed differently depending on the type of adulterant, the pre-processing used, and the spectroscopic range considered. However, regardless of the specific spectroscopy or chemometric method employed, discriminating against low concentrations of adulterants (i.e., ≤ 1.5 %) proved challenging. A high degree of similarity was observed between EVOO and peanut oil, probably related to their fatty acid composition. This similarity led to the poorest predictions, especially for FT-NIR models without pre-processing. In PLS models, data augmentation generally improved robustness but not the accuracy of the models obtained. This part of the research also evaluated the effect of applying classical pre-processing methods prior to CNN analysis. The results demonstrated comparable performance for the FT-NIR models and superior performance when using Vis-NIR spectroscopy with pre-processing.
The outcomes demonstrate the potential of using FT-NIR and Vis-NIR spectroscopy in conjunction with deep learning for the analysis of oils. Convolutional neural networks show wide application potential, given their ability to process raw data, potentially reducing the need for extensive pre-processing.
La crescente domanda di oli d'oliva, sia in termini di quantità che di valore economico, ha spinto l'industria a concentrarsi sul mantenimento della qualità del prodotto. Inoltre, i consumatori si stanno sempre più concentrando sul tipo di olio utilizzato, considerando le sue caratteristiche chimiche, fisiche e nutrizionali. In Europa e in Italia, l'olio extra vergine d'oliva (EVOO) è un prodotto molto importante, considerate le sue modalità di produzione, gli attributi di qualità e le proprietà salutari.
Questa tesi di dottorato ha utilizzato le tecniche di spettrofotometria nel visibile (Vis) e nel vicino infrarosso (NIR) per l'analisi dell'olio. Questi metodi sono considerati non distruttivi, economici, rapidi ed ecologici rispetto alle tecniche analitiche tradizionali. Lo sviluppo dei modelli utilizzando i dati spettrali è stato eseguito con due diversi approcci chemometrici: i) classico, che impiega la Partial Least Squares (PLS), e ii) apprendimento profondo, che utilizza reti come le reti neurali artificiali (ANN) o le reti neurali convoluzionali (CNN). La chemometria classica ha riguardato fasi di preelaborazione spettrale, tra cui la riduzione del rumore, la correzione della linea di base e la correzione della dispersione. I modelli di reti neurali sono stati valutati con e senza la preelaborazione spettrale.
Nel corso dei tre anni, è stato condotto uno studio iniziale sullo stato dell'arte che riguarda la combinazione tra qualità dell'olio, spettroscopia e apprendimento profondo. Successivamente, le attività scientifiche si sono concentrate sullo sviluppo di modelli predittivi utilizzando sia la spettroscopia Vis-NIR (380-900 nm) che la FT-NIR (1 000-2 500 nm). Il confronto tra gli approcci di chemometria classica e profonda, applicata ai dati spettrali, aveva l'obiettivo di sviluppare modelli per prevedere: i) parametri chimici legati al monitoraggio della durata di conservazione dell'EVOO; ii) parametri chimici, rilevati per diversi tipi di olio (principalmente d'oliva) forniti da una raffineria; e iii) la presenza e la quantità di diversi tipi di oli di semi usati come adulteranti nell'EVOO.
Nello studio sulla durata di conservazione, la CNN ha superato la ANN e ha ottenuto risultati pari o, in alcuni casi, superiori rispetto alla PLS, anche quando le prestazioni della PLS erano state migliorate con l'aumento dei dati. L'aumento dei dati è stato applicato per consentire un confronto più equo tra i modelli classici e di apprendimento profondo. In particolare, il modello ottenuto per il contenuto di perossidi nell'EVOO ha mostrato risultati molto buoni, specialmente quando l'approccio CNN è stato combinato con la spettroscopia Vis-NIR, raggiungendo un R2 in predizione (R2P) superiore a 0.99 e un errore quadratico medio nella previsione (RMSEP) di 2.75 mEqO2/Kg, considerando che i valori di riferimento dei perossidi variavano da 7.50 a 163.90 mEqO2/Kg.
Nello studio che ha coinvolto gli oli forniti dalla raffineria con le loro analisi chimiche, lo sviluppo del modello utilizzando l'approccio di apprendimento profondo (CNN) ha generalmente prodotto le migliori prestazioni, indipendentemente dall'intervallo spettroscopico studiato. Le eccezioni sono state i modelli PLS per la previsione del contenuto di acido oleico e linoleico dove era stato utilizzato un set di dati aumentato. In questo studio, è stato sviluppato un modello robusto per prevedere il valore dell'acidità libera degli oli vegetali, con un RMSEP di circa 0.2 % (p/p). In particolare, il valore medio di acidità libera su tutti i campioni era del 4.4 % (p/p).
Nella previsione del contenuto di oli adulteranti (cioè arachidi, girasole, mais e soia) nell'EVOO, i modelli predittivi si sono comportati in modo diverso a seconda del tipo di adulterante, dei pretrattamenti utilizzati e dell'intervallo spettroscopico considerato. Tuttavia, indipendentemente dalla spettroscopia o dal metodo chemometrico impiegato, la discriminazione di basse concentrazioni di adulteranti (cioè ≤ 1.5 %) si è rivelata difficile. È stata osservata una notevole somiglianza tra l'EVOO e l'olio di arachidi, probabilmente correlata alla loro composizione in acidi grassi. Questa somiglianza ha prodotto modelli con performance peggiori, soprattutto per i modelli FT-NIR senza pretrattamento. Nei modelli PLS, l'aumento dei dati ha generalmente migliorato la robustezza ma non l'accuratezza dei modelli ottenuti. Questa parte della ricerca ha anche valutato l'effetto dell'applicazione di metodi di pretrattamento prima dell'analisi CNN. I risultati hanno dimostrato che la presenza dei pretrattamenti in congiunzione con chemometria profonda, producevano prestazioni comparabili per i modelli FT-NIR e prestazioni superiori quando si utilizza la spettroscopia Vis-NIR.
I risultati dimostrano il potenziale dell'uso della spettroscopia FT-NIR e Vis-NIR in combinazione con l'apprendimento profondo per l'analisi degli oli. Le reti neurali convoluzionali mostrano un ampio potenziale applicativo, data la loro capacità di elaborare dati grezzi, riducendo potenzialmente la necessità dei pretrattamenti spettrali.
Additional information
Dottorato di ricerca in Scienze, Tecnologie e Biotecnologie per la Sostenibilità
File(s)![Thumbnail Image]()
Name
abandiera_tesid.pdf
Size
7.59 MB
Format
Adobe PDF
Checksum (MD5)
eeba643488bd4c00d9f5d20ccabaf9ec