1. Introduzione

"What we cannot speak about we must pass over in silence."

Ludwig Wittgenstein (1889-1951), filosofo austriaco

Benchmarking significa misurare la velocità con la quale un computer esegue un processo, in una maniera tale da consentire il confronto tra differenti combinazioni di hardware e software. Ciò non include la facilità, l'estetica, considerazioni ergonomiche o qualsiasi altro giudizio soggettivo.

Il Benchmarking è un processo tedioso e ripetitivo e necessita dell'attenzione ai dettagli. Molto spesso i risultati non sono quelli che ci si aspettava, e sono soggetto di interpretazione (che attualmente può essere la parte più importante di una procedura di benchmarking).

Infine il benchmarking implica fatti e dati, non opinioni e approssimazioni.

1.1 Perché il benchmarking è così importante?

Oltre alle ragioni spiegate nel BogoMips Mini-HOWTO (sezione 7, paragrafo 2), ci si trova a volte a confrontarsi con un budget limitato e un minimo di prestazioni richieste per il suo sistema Linux. In altre parole, quando ci si pongono le seguenti domande:

• Come massimizzo le prestazioni per un dato budget?
• Come riduco i costi per un dato livello minimo di prestazioni?
• Come ottengo il miglior rapporto prezzo/prestazioni (entro un dato budget o una data richiesta di prestazioni?)

Si dovrà esaminare, confrontare e/o produrre benchmark. Minimizzare i costi senza un tetto minimo di prestazioni richiesto di solito implica il mettere assieme una macchina con rimasugli (quel vecchio 386SX-16 che sta da qualche parte nel garage andrà bene) e non richiede benchmark, e massimizzare le prestazioni senza un limite di costi non è una situazione realistica (a meno che non si voglia mettere un sistema Cray nel proprio soggiorno - gli alimentatori rivestiti in pelle attorno sembrerebbero simpatici, no?)

Il benchmarking di per se è senza senso, una perdita di tempo e soldi; ha solo senso quando è parte di un processo di decisione, p.es. se si deve fare una scelta tra due o più alternative.

Di solito un altro parametro nel processo di decisione è il costo, ma potrebbe anche essere la disponibilità, il servizio, la compatibilità, decisioni strategiche o altre caratteristiche misurabili e razionali di un computer. Quando si confrontano, p.es. le prestazioni di differenti versioni del kernel di linux, la stabilità è quasi sempre più importante della velocità.

1.2 Considerazioni non valide per il benchmarking

Spesso si leggono nei newsgroup e nelle mailing list, sfortunatamente:

1. Reputazione del costruttore (non misurabile e senza senso).
2. Quote di mercato del costruttore (senza senso e irrilevanti).
3. Parametri irrazionali (p.es. la superstizione o il pregiudizio: compreresti un processore etichettato 171717ZAP e colorato di rosa?)
4. Valori percepiti (senza senso, non misurabili e irrazionali).
5. Presenza di una forte campagna pubblicitaria: questo è uno dei peggiori, penso. Io personalmente sono cresciuto con i logo "XXX inside" o "kkkkkws compatibile" (ora "aaaaaPowered è entrato a far parte della truppa - chi sarà il prossimo ?). A mio modesto avviso, i miliardi di dollari spesi in queste campagne sarebbero meglio utilizzati dai team di ricerca nel progetto di processori nuovi, più veloci, (economici :-) senza-bug . Nessuna massiccia campagna pubblicitaria potrà rimuovere un bug nel coprocessore in virgola mobile di un nuovo processore che hai appena montato sulla tua scheda madre, ma il cambio con un processore riprogettato lo farebbe.
6. Le opinioni del tipo "Tu hai per quello che paghi" sono solo quello: opinioni. Fornite i fatti per favore.