<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.msonormal0, li.msonormal0, div.msonormal0
        {mso-style-name:msonormal;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
p.gmail-m5845762057746037228msolistparagraph, li.gmail-m5845762057746037228msolistparagraph, div.gmail-m5845762057746037228msolistparagraph
        {mso-style-name:gmail-m_5845762057746037228msolistparagraph;
        mso-margin-top-alt:auto;
        margin-right:0cm;
        mso-margin-bottom-alt:auto;
        margin-left:0cm;
        font-size:12.0pt;
        font-family:"Times New Roman",serif;}
span.EmailStyle19
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-family:"Calibri",sans-serif;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple">
<div class="WordSection1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Hi Dave,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Its is more an enhancement and less a “problem-solving.”
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">For base/peak, we can also allow vendors to publish their best result with compiler tweaks, along with the current “base” typical results.
<br>
After all, riscv and arm compiler are not the same; for example, we do provide –msave-restore for RV, but we do not give that ARM because it is just a basic flag that we “must use”.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Peak will allow you to drive more flags and expose where we can get with each compiler per target.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">For Rate/Speed:
<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">We only publish Speed results, and some targets want to see IPC/throughput as well. Give the “Rate” option will solve that.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Thanks,<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D">Ofer<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:#1F497D"><o:p> </o:p></span></p>
<p class="MsoNormal"><b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif">From:</span></b><span style="font-size:11.0pt;font-family:"Calibri",sans-serif"> David PATTERSON <pattrsn@cs.berkeley.edu>
<br>
<b>Sent:</b> Thursday, 4 March 2021 03:44<br>
<b>To:</b> Ofer Shinaar <Ofer.Shinaar@wdc.com><br>
<b>Cc:</b> embench@lists.librecores.org<br>
<b>Subject:</b> Re: [Embench] New metrics for Embench results - Base/Peak and Speed/Rate<o:p></o:p></span></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal"><span style="font-size:18.0pt">What is the problem you're trying to solve with the new metrics?<o:p></o:p></span></p>
</div>
<div>
<p class="MsoNormal"><span style="font-size:18.0pt"><br>
Dave<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">On Wed, Mar 3, 2021 at 3:47 AM Ofer Shinaar <<a href="mailto:Ofer.Shinaar@wdc.com">Ofer.Shinaar@wdc.com</a>> wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0cm 0cm 0cm 6.0pt;margin-left:4.8pt;margin-right:0cm">
<div>
<div>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Hello all,<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">I would like to bring to the forum a suggestion on including more results metrics as we have on SPEC<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph">1.<span style="font-size:7.0pt">      
</span>Include metric fo Base and Peak:<o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph" style="margin-left:54.0pt">
-<span style="font-size:7.0pt">          </span>SPEC url or explanation: <a href="https://www.spec.org/cpu2017/Docs/overview.html#Q16" target="_blank">
https://www.spec.org/cpu2017/Docs/overview.html#Q16</a><o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph" style="margin-left:54.0pt">
-<span style="font-size:7.0pt">          </span>Currently, we can say we only have “Base”, on IoT results.<o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph" style="margin-left:54.0pt">
-<span style="font-size:7.0pt">          </span>Having “Peak” will give us a possibility to expose more compiler flags that can boost performance, and we can publish results + links to tools that can “find the best set of compiler flags”<o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph" style="margin-left:54.0pt">
Example for work done by Craig Blackmore (from Embecosm): <o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph" style="margin-left:90.0pt">
<span style="font-family:"Courier New"">o</span><span style="font-size:7.0pt">   </span>
<a href="https://github.com/craigblackmore/opentuner" target="_blank">https://github.com/craigblackmore/opentuner</a>
<o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph" style="margin-left:90.0pt">
<span style="font-family:"Courier New"">o</span><span style="font-size:7.0pt">   </span>
<a href="https://www.groundai.com/project/automatically-tuning-the-gcc-compiler-to-optimize-the-performance-of-applications-running-on-embedded-systems/2" target="_blank">https://www.groundai.com/project/automatically-tuning-the-gcc-compiler-to-optimize-the-performance-of-applications-running-on-embedded-systems/2</a><o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph">2.<span style="font-size:7.0pt">      
</span> Include metric for Speed and Rate<o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph" style="margin-left:54.0pt">
-<span style="font-size:7.0pt">          </span>SPEC url for explanation: <a href="https://www.spec.org/cpu2017/Docs/overview.html#Q15" target="_blank">
https://www.spec.org/cpu2017/Docs/overview.html#Q15</a><o:p></o:p></p>
<p class="gmail-m5845762057746037228msolistparagraph" style="margin-left:54.0pt">
-<span style="font-size:7.0pt">          </span>On the embedded space, sometimes throughput is more important than “time”. Those days we can start seeing IoT cores /MCUs that have a multithreaded design.<br>
Also, we see emerging multithreading designs for RISCV. On those designs rate for throughput will be more important than Time.<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Thoughts/comments?<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Thanks,<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">Ofer<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><b>Ofer Shinaar</b><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:10.0pt">Senior Manager, R&D Engineering – Firmware & Toolchain, CTO Group</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:9.0pt"> </span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><b>Western Digital®</b><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:10.0pt">Israel, Migdal Tefen 24959, P.O Box 3</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:10.0pt">Email:
<a href="mailto:Ofer.shinaar@wdc.com" target="_blank">Ofer.shinaar@wdc.com</a></span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:10.0pt">Office: +972-4-9078783</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:10.0pt">Mobile: +972-52-2836160</span><o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"> <o:p></o:p></p>
</div>
</div>
<p class="MsoNormal">-- <br>
Embench mailing list<br>
<a href="mailto:Embench@lists.librecores.org" target="_blank">Embench@lists.librecores.org</a><br>
<a href="https://lists.librecores.org/listinfo/embench" target="_blank">https://lists.librecores.org/listinfo/embench</a><o:p></o:p></p>
</blockquote>
</div>
</div>
</body>
</html>