Benchmark e schede video: cosa è realmente importante?

Benchmark e schede video: cosa è realmente importante?

Chi testa schede video tende ad utilizzare anche troppo frequentemente i benchmark sintetici. Ecco perché questo è un trend da non seguire

di pubblicata il , alle 12:51 nel canale Schede Video
 

Che il mercato delle schede video sia quello che storicamente cattura l'interesse della moggior parte degli appassionati è dinamica ben nota a chi segue questo settore. Tutte le aziende coinvolte, in un verso o nell'altro, nel complesso mondo della grafica 3D ricercano da sempre di dare il più ampio spazio possibile ai propri prodotti, utilizzando tutti gli strumenti disponibili.

L'editoria in generale, sia nella forma della tradizionale carta stampata che in quella dei nuovi media via web, riveste un ruolo indispensabile in questo meccanismo. Quante volte un prodotto ha ottenuto un netto successo di mercato grazie ad una recensione positiva da parte della stampa, magari per propri meriti magari perché, semplicemente, il recensore ha voluto mettere in maggior risalto una caratteristica positiva rispetto ad altre che lo sono di meno.
Questo accade quotidianamente ed è un rischio che molto spesso si corre anche in redazione di Hardware Upgrade; il separare analisi oggettiva dalle preferenze soggettive (o simpatie, chiamatele come meglio preferite) resta una delle sfide più importanti e difficili per chi deve scrivere un articolo, a maggior ragione quando si parla di tecnologia come nel nostro caso.

Come ben noto, negli ultimi 2 giorni sono emerse nuove e aspre polemiche su Futuremark e nVidia: la prima è la software house che ha sviluppato la popolare serie di benchmark 3D Mark, mentre la seconda è al momento la più importante azienda nel settore della grafica 3D.

Futuremark, con una mossa per molti versi inaspettata, ha rilasciato una nuova patch per il benchmark 3D Mark 2003, che stando alla software house corregge alcuni problemi legati ad ottimizzazioni dal lato driver introdotte con alcune schede video. Vari test prestazionali condotti con l'ultima versione di benchmark 3D Mark, versione 3.4.0, rispetto alla precedente revision 3.3.0 hanno evidenziato come le differenze prestazionali siano presenti solo con schede video nVidia.

Le ottimizzazioni verso le quali Futuremark ha puntato l'attezione mirano a migliorare le prestazioni velocistiche della scheda video testata, con un impatto qualitativo rispetto a quello che dovrebbe essere l'output grafico di riferimento generato dal sistema. Per Futuremark questo è non accettabile, in quanto un'ottimizzazione driver deve permettere di ottenere migliori prestazioni velocistiche, ma non a discapito della qualità d'immagine complessiva.

La questione è rimbalzata su nVidia, che ovviamente ha confermato come nei propri driver Detonator 52.16 non sono presenti ottimizzazioni che mirano a ottenere boost prestazionali a scapito della qualità d'immagine complessiva.

In questa sede non voglio approfondire torti o ragioni tra Futuremark e nVidia, in merito a questa specifica versione del benchmark 3D Mark 2003 3.4.0; quello che è evidente agli occhi di tutti gli appassionati è che qualche cosa di poco chiaro e sicuramente discutibile stia avvenendo tra Futuremark e nVidia. E' a mio avviso molto più interessante capire, anche alla luce delle considerazioni che ho fatto in apertura, quale importanza rivesta un punteggio ottenuto in un benchmark sintetico come 3D Mark 2003.

Se gli appassionati hanno iniziato a capire, alla luce degli avvenimenti degli ultimi mesi, che questo tool non deve essere utilizzato per confrontare direttamente le prestazioni di due schede video, resta un dato di fatto che 3D Mark venga utilizzato da pressoché tutte le aziende come parametro di riferimento per le proprie scelte in termini di prodotti.

Quante volte, in occasione di importanti fiere internazionali come Cebit e Computex, mi è capitato di veder girare su PC di test esposti tra i padiglioni proprio il benchmark 3D Mark 2003, utilizzato quale parametro di riferimento per confrontare un prodotto con quello della concorrenza. L'esempio più lampante che balza alla mia memoria è quello di XGI, dinamica azienda taiwanese da poco entrata nel settore delle schede video 3D ad elevate prestazioni che al Computex, nella propria saletta riservata alla stampa, ha mostrato un demo funzionante della propria scheda Volari Duo mente eseguiva niente meno che il 3D Mark 2003, con grossi e calorosi inviti a vederne il risultato e a confrontarlo con quello di soluzioni concorrenti.
In quel periodo, fine Settembre 2003, i driver XGI potevano eseguire stabilmente una sola applicazione 3D, guarda caso proprio 3D Mark 2003.

Usando un altro esempio, è evento piuttosto frequente che un importante system integrator possa decidere di utilizzare una specifica scheda video al posto di un'altra di pari fascia di prezzo, perché la prima fa registrare un punteggio superiore con questo benchmark. Il risultato ottenuto con 3D Mark 2003 diventa quindi un veicolo di marketing molto importante, che può trainare le vendite. Se pensiamo, sempre a titolo di esempio, che questo distributore utilizzi questa configurazione per produrre 20.000 PC, ben capite quali siano le implicazioni in termini di fatturato per le aziende che vendono a questo distributore i componenti necessari al PC.

Questo spiega perché l'ottimizzazione delle prestazioni non sia sempre fatta per migliorare le performances a parità di qualità d'immagine, ma spesso porti ad avere un impatto negativo in termini di qualità d'immagine pur di ottenere un incremento nel risultato di un benchmark sintetico. Che, fino a prova contraria, dice tutto tranne quanto una scheda video sarà in grado di far girare un gioco.

Invito tutti coloro che testano componenti e che stanno leggendo queste mie note, a lasciar perdere nei loro prossimi articoli questo genere di benchmark sintetici: questi strumenti vanno benissimo per analizzare specifiche funzionalità di una scheda video, ma non hanno nulla a che vedere con una stima delle effettive prestazioni con titoli 3D.
Allo stesso modo, suggerisco a chi legge queste pagine per ricavare utili informazioni per le proprie decisioni di acquisto, o solo per restare aggiornato sull'evoluzione della tecnologia, a non considerare i risultati ottenuti con benchmark 3D Mark 2003 nelle proprie valutazioni sulla bontà di un prodotto. 3D Mark 2003, a questo punto, dev'essere considerato niente altro che un bel demo.

Spesso si tende a dimenticarselo, ma le recensioni servono per far capire ai potenziali acquirenti come una periferica si comporterà nell'esecuzione di applicazioni concrete e quotidianamente utilizzate; per una scheda video quello che interessa sono i giochi, non di certo i benchmark, anche perché sfido chiunque a "giocare" con un benchmark sintetico.

125 Commenti
Gli autori dei commenti, e non la redazione, sono responsabili dei contenuti da loro inseriti - info
lasa14 Novembre 2003, 12:59 #1
Lo ripeto...per me un ottimo bench è GunMetal...stressa le schede video da paura...tant'è che solo le schede highend riescono in 1024x768 a farlo girare a più di 30fps (al di sotto la fluidità va a farsi benedire....)...insomma si riesce subito a capire chi con i futuri giochi dx9 ce la fa e chi invece non ce la fa.....
snarchio14 Novembre 2003, 13:02 #2
detto tra noi i benchmark sintetici sono utili solo per testare la bontà di un overclock
per il resto un 10% di prestazioni di differenza tra una scheda e l'altra vuol dire solo che a volte è più veloce una e a volte l'altra e niente di più
rip8214 Novembre 2003, 13:03 #3
Piu' o meno e' quello che ho sempre pensato, che ci si fa troppo affidamento, sono piu' utili benchmark basati su un gioco vero e proprio, come UT2003, per citarne uno, che almeno ti dice come va la scheda in questione col gioco. Tuttavia continuo a perdere del tempo dietro a 3DMark come "giochino da overclocker", cosa comune anche ai miei colleghi smanettoni, ma senza dargli troppo peso, e' solo un passatempo.
halduemilauno14 Novembre 2003, 13:04 #4
Originariamente inviato da Redazione di Hardware Upg
Link alla notizia: http://news.hwupgrade.it/11218.html

Chi testa schede video tende ad utilizzare anche troppo frequentemente i benchmark sintetici. Ecco perché questo è un trend da non seguire

Click sul link per visualizzare la notizia.



ben detto.
benelgiac14 Novembre 2003, 13:07 #5

HwUpgrade però...

Beh devo dire che finora nelle recensioni di hwupgrade sono stati sempre utilizzati molti giochi come benchmark, in aggiunta al 3DMark... e ciò dovrebbe aver prodotto recensioni abbastanza obiettive.

Devo anche dire che è da molto che non faccio paragoni fra schede video della stessa fascia di prezzo... E' troppo facile vedere la stessa scheda in recensioni diverse, tutte apparentemente attendibili, fornire prestazioni diverse. IMHO non ha senso tutta la competizione fatta a colpi di 1-2 frame in più, molto meglio scegliere una scheda per il prezzo, la componentistica usata, la dotazione accessoria, la disponibilità di driver... per cui l'utente finale che si attacca ai 50 punti in più nel 3DMark perde il suo tempo IMHO.

Detto questo nVidia non ci fa una bella figura se deve attaccarsi a dei trucchetti per far emergere le sue schede... peccato.
fek14 Novembre 2003, 13:14 #6
Il risultato del 3DMark non ha ALCUN valore.
Non significa nulla.
metrino14 Novembre 2003, 13:15 #7
Non sono d'accordo su chi dice che un gioco particolare (UT2003 GM ecc.) sia un buon test. Purtroppo i driver possono barare anche su quello: una volta riconosciuto il gioco, modificano gli algoritmi x farlo girare + veloce.
Fin quando si tratta di un tuning, bene, vuol dire che i driver sono ottimi. Se lo si fa a discapito della qualità, allora sono trucchi.
Il fatto che UT2003 venga usato come bench molto spesso, lo espone agli stessi rischi di 3DMark!
Invece bisognerebbe fare i test, se possibile, ANCHE con lo stesso motore di UT2003 (o Quake, in ambiente OpenGl) ma facendo in modo che i driver non riconoscano l'applicativo in questione, comunicandogli come nome dell'applicazione una stringa alfanumerica casuale.
Così si nota la differenza di qualità e di velocità: se è + rilevante la prima della seconda, allora è un imbroglio, viceversa si può parlare di legittima ottimizzazione.
massibirba14 Novembre 2003, 13:30 #8
Grande Paolo Corsini la penso esattamente come te.
Tasslehoff14 Novembre 2003, 13:34 #9
Originariamente inviato da fek
Il risultato del 3DMark non ha ALCUN valore.
Non significa nulla.
Ohhhh andiamo ragazzi, ma perchè si deve sempre passare da un estremo all'altro?
Ma guardiamoci (mi ci metto anch'io), andiamo a rivedere i post di questo stesso forum o di qualche NG risalenti anche soltanto a un annetto fa, tutti ad esaltare i benchmark oggi definiti sintetici come l'applicazione definitiva per testare l'hw.
Facciamo un po' di autocritica invece, non siamo forse stati noi a estremizzare un po' troppo il valore di alcuni risultati? Voi forse vedere che l'importanza data ai benchmark è stata tutta una sorta di (i moderatori mi passino il termine) "sega mentale"?

Secondo me non è vero che i benchmark sintetici non forniscono un termine di paragone attendibile, e allo stesso modo nemmeno l'uso delle sole applicazioni non fornisce un risultato assoluto, dato che dovrebbero essere testate talmente tante applicazioni da rendere lunghissime le recensioni (quindi pallose da scrivere per i recensori e pallose da leggere per i lettori...).
Oltretutto un gioco varia, esiste forse oggi un gioco per il quale non siano uscite almeno 2 o 3 patch? Aggiornamenti che spesso e voltentieri migliorano la resa dell'applicazione, sfalsando quindi ogni paragone col passato.
Un benchmark "sintetico" invece non varia altrettanto, e può essere utilizzato per un lasso di tempo decisamente maggiore rispetto a una applicazione commerciale come un gioco.

Insomma, non dico che le rece fatte sui giochi non valgano nulla, basta solo ponderare con due dita di cervello i risultati ottenuti, esattamente come per i benchmark sintetici.
Pensare che esista la recensione e/o il benchmark perfetto, oggettivo e immutabile nel tempo è un'utopia, alla fine il risultato lo decide sempre il singolo valutando "a naso" o "con mano" rispetto a prodotti concorrenti o precedenti; per questo motivo io credo che non si debba estremizzare questo aspetto...
nonikname14 Novembre 2003, 13:45 #10
Il problema si sta risolvendo da solo , mi spiego :

è da settimane che i maggiori siti HW adottano i classici giochi di sempre come bench , ma registrano una sessione di gioco (timedemo) da usare come metro di paragone , quindi se ci sono delle ottimizzazioni mirate , in questo caso , non funzioneranno . Ma se i Driver ( vedi compilatore Shader nei Forceware Nvidia) danno lo stesso output grafico senza calo di prestazioni , non si può parlare di cheating ma di lavoro ben fatto....

Si sa che l'hardware senza il software non è nulla : un cliente compra il pacchetto Scheda video - driver , ed è su quello che si fanno i commenti , non sull' hw nudo e crudo .......

La serie fx ha toppato come architettura 4 x 2 , ma Nvidia non ha abbandonato le schede a se stesse , ha eseguito un vero lavoro di ottimizzazione dei driver senza perdita di qualità grafica , e questo è un merito che và riconosciuto... e ve lo dice uno che ha avuto come ultime schede una geffo3ti , 8500 , 4600 ti ed infine una 9700 pro , quindi lontanamente dall'essere di parte!!!

Devi effettuare il login per poter commentare
Se non sei ancora registrato, puoi farlo attraverso questo form.
Se sei già registrato e loggato nel sito, puoi inserire il tuo commento.
Si tenga presente quanto letto nel regolamento, nel rispetto del "quieto vivere".

La discussione è consultabile anche qui, sul forum.
 
^