Compare commits
2 Commits
08.04.26-m
...
19753c530c
| Author | SHA1 | Date | |
|---|---|---|---|
| 19753c530c | |||
| ec87efc815 |
@@ -64,16 +64,6 @@ public class Completion {
|
||||
return mean / i;
|
||||
}
|
||||
|
||||
/**
|
||||
* Permet de remplacer les valeurs inexistantes par les valeurs les plus probables avec une regression linéaire
|
||||
* @param list La liste des données
|
||||
* @param getX Le getter de la valeur en x
|
||||
* @param getY Le getter de la valeur en y
|
||||
* @param setY Le Setter de la valeur en y qui est à compléter
|
||||
* @return Une liste des valeurs compléters
|
||||
* @param <T> Le type des données de la liste
|
||||
* @param <V> Le type des données numériques
|
||||
*/
|
||||
public static <T,V extends Number> HashSet<T> completeColumnsLinear(HashSet<T> list, Function<T,V> getX, Function<T,V> getY, BiConsumer<T,V> setY ){
|
||||
|
||||
double meanX = calculateMean(list, getX);
|
||||
@@ -99,7 +89,7 @@ public class Completion {
|
||||
* @param getY
|
||||
* @param meanX
|
||||
* @param meanY
|
||||
* @return La valeur du a de la formule de regression linéaire
|
||||
* @return
|
||||
* @param <T>
|
||||
* @param <V>
|
||||
*/
|
||||
@@ -123,13 +113,6 @@ public class Completion {
|
||||
return numerateur / denominateur;
|
||||
}
|
||||
|
||||
/**
|
||||
* Permet de calculer b dans une regression linéaire
|
||||
* @param meanX
|
||||
* @param meanY
|
||||
* @param valueA
|
||||
* @return La valeur de b dans la formule de regression linéaire
|
||||
*/
|
||||
public static double calculateLinearB(
|
||||
double meanX,
|
||||
double meanY,
|
||||
|
||||
@@ -68,5 +68,62 @@ public class Nettoyage {
|
||||
return nettoieColumnsMoyenne(list, getValue, setValue, true);
|
||||
}
|
||||
|
||||
/**
|
||||
* Permet de remplacer les valeurs abérrantes d'un paramètre d'un HashSet à l'aide d'une regression linéaire, corrélation entre deux valeurs.
|
||||
* Exemple d'utilisation : T = Poisson, V = Double, getX = Poisson::getWidth, getY = Poisson::getInfes, setY = Poisson::setInfes
|
||||
*
|
||||
* @param list La liste de données cobaye.
|
||||
* @param getX La fonction (Getter) qui permet d'obtenir les données du X de notre regression linéaire.
|
||||
* @param getY La fonction (Getter) qui permet d'obtenir la valeur que l'on veut vérifier
|
||||
* @param setY La fonction (Setter) qui permet de remplacer la valeur si null.
|
||||
* @param allowNegative Savoir si une valeur négative est forcément aberrant.
|
||||
* @return Le HashSet avec les valeurs remplacés.
|
||||
* @param <T> Le type de données cobaye. Exemple : Poisson, Population
|
||||
* @param <V> Le type de la donnée à vérifier, doit être un Wrapper Number. Exemple : Double.
|
||||
*/
|
||||
public static <T,V extends Number> HashSet<T> nettoieColumnsLinear(HashSet<T> list, Function<T,V> getX, Function<T,V> getY, BiConsumer<T,V> setY, boolean allowNegative ){
|
||||
|
||||
double meanX = Completion.calculateMean(list, getX);
|
||||
double meanY = Completion.calculateMean(list, getY);
|
||||
|
||||
double a = Completion.calculateLinearA(list,getX,getY,meanX,meanY);
|
||||
double b = Completion.calculateLinearB(meanX,meanY,a);
|
||||
|
||||
ArrayList<Double> array = new ArrayList<>();
|
||||
for ( T item : list) {
|
||||
if (getY.apply(item)!= null){ //Test des valeurs null pour les Tests Unitaires. Je ne devrais pas en avoir.
|
||||
array.add(getY.apply(item).doubleValue());
|
||||
}
|
||||
}
|
||||
|
||||
Collections.sort(array);
|
||||
|
||||
int quartIndex = array.size()/4;
|
||||
Double firstQuart = array.get(quartIndex);
|
||||
Double thirdQuart = array.get(quartIndex *3);
|
||||
Double IQR = thirdQuart - firstQuart;
|
||||
|
||||
for(T item : list){
|
||||
if( getY.apply(item) == null || getY.apply(item).doubleValue() < firstQuart - (IQR * 1.5) || getY.apply(item).doubleValue() > thirdQuart + (IQR * 1.5) || ( !allowNegative && getY.apply(item).doubleValue() < 0 ) ){
|
||||
Double value = a * getX.apply(item).doubleValue() + b;
|
||||
setY.accept( item, (V) value );
|
||||
}
|
||||
}
|
||||
|
||||
return list;
|
||||
}
|
||||
|
||||
/**
|
||||
* Polymorphisme de la fonction nettoyage de colonne linéaire avec par défaut, l'autorisation des valeurs négatives.
|
||||
* @param list
|
||||
* @param getX
|
||||
* @param getY
|
||||
* @param setY
|
||||
* @return
|
||||
* @param <T>
|
||||
* @param <V>
|
||||
*/
|
||||
public static <T,V extends Number> HashSet<T> nettoieColumnsLinear(HashSet<T> list, Function<T,V> getX, Function<T,V> getY, BiConsumer<T,V> setY){
|
||||
return nettoieColumnsLinear(list, getX, getY, setY, true);
|
||||
}
|
||||
}
|
||||
|
||||
@@ -70,9 +70,9 @@ public class Mackerel extends Poisson implements DataParsing {
|
||||
}
|
||||
|
||||
/**
|
||||
* Implementation de parsePartiePoisson de l'interface DataParsing
|
||||
* @param entry correspond à notre liste temporaire lu dans parse pour chacun des poissons
|
||||
* @return envoie un tableau de partie de Poisson à ajouter à notre poisson
|
||||
*
|
||||
* @param entry
|
||||
* @return
|
||||
*/
|
||||
private static HashSet<PartiePoisson> parsePartiePoisson(HashMap<String,String> entry){
|
||||
|
||||
|
||||
@@ -11,11 +11,6 @@ import java.util.Objects;
|
||||
|
||||
import static java.lang.Double.valueOf;
|
||||
|
||||
|
||||
/**
|
||||
* Classe MackerelSerra créer pour le fichier test2.csv
|
||||
* cette classe existe principalement pour l'évaluation
|
||||
*/
|
||||
public class MackerelSerra extends Poisson implements DataParsing {
|
||||
|
||||
/**
|
||||
@@ -72,9 +67,9 @@ public class MackerelSerra extends Poisson implements DataParsing {
|
||||
}
|
||||
|
||||
/**
|
||||
* Implementation de parsePartiePoisson de l'interface DataParsing
|
||||
* @param entry correspond à notre liste temporaire lu dans parse pour chacun des poissons
|
||||
* @return envoie un tableau de partie de Poisson à ajouter à notre poisson
|
||||
*
|
||||
* @param entry
|
||||
* @return
|
||||
*/
|
||||
private static HashSet<PartiePoisson> parsePartiePoisson(HashMap<String,String> entry){
|
||||
|
||||
|
||||
@@ -37,4 +37,26 @@ class NettoyageTest {
|
||||
System.out.println(testp);
|
||||
}
|
||||
|
||||
@org.junit.jupiter.api.Test
|
||||
void nettoieColumnsLinear() throws InputFileException, RawDataOverflow {
|
||||
|
||||
RawData test = InputFactory.readData("test2.csv", ",");
|
||||
|
||||
HashSet<Poisson> testp = MackerelSerra.parse(test);
|
||||
|
||||
System.out.println(testp);
|
||||
|
||||
Function<Poisson,Double> getLength = Poisson::getLength;
|
||||
Function<Poisson,Double> getInfes = Poisson::getInfestation;
|
||||
BiConsumer<Poisson,Double> setInfes = Poisson::setInfestation;
|
||||
|
||||
testp = Completion.completeColumnsLinear( testp, getLength, getInfes, setInfes );
|
||||
|
||||
System.out.println(testp);
|
||||
|
||||
testp = Nettoyage.nettoieColumnsLinear( testp, getLength, getInfes, setInfes, false );
|
||||
|
||||
System.out.println(testp);
|
||||
}
|
||||
|
||||
}
|
||||
Reference in New Issue
Block a user