SRAM
」
不滿意輝達晶片？《路透》：OpenAI正在尋求替代供應商
8名知情人士指出，OpenAI對輝達（NVIDIA）部分最新人工智慧晶片並不滿意，並且自去年起已開始尋求替代方案，特別聚焦高SRAM整合架構，以提升ChatGPT與Codex等產品回應效率。雙方原定的千億美元投資案也因產品路線調整而延宕，期間OpenAI接觸Cerebras與Groq等業者，輝達則迅速授權Groq技術鞏固版圖。據《路透社》（Reuters）報導，OpenAI策略轉向的細節首度曝光，焦點在於其日益重視用於執行特定人工智慧推論（inference）任務的晶片。所謂推論，是指人工智慧模型（例如支撐ChatGPT應用程式的模型）在回應使用者問題與請求時所進行的運算過程。輝達在大型人工智慧模型訓練晶片領域仍具主導地位，而推論則已成為新的競爭戰場。OpenAI及其他公司在推論晶片市場尋求替代方案，對輝達在人工智慧領域的主導地位構成重大考驗，而此時雙方也正處於投資談判之中。去年9月，輝達表示有意向OpenAI投資高達1,000億美元，該交易將使晶片製造商取得這家新創公司的股份，同時為OpenAI提供購買先進晶片所需的資金。《路透社》當時報導，該交易原預計數週內完成，然而談判卻拖延數月。在此期間，OpenAI與超微（AMD）等公司達成協議，採購可與輝達競爭的圖形處理器（GPU）。不過，1名知情人士指出，OpenAI產品路線圖的轉變，也改變了其所需的運算資源種類，進而使與輝達的談判陷入僵局。1月31日，輝達執行長黃仁勳淡化有關與OpenAI關係緊張的報導，稱相關說法「荒謬」，並表示輝達計畫對OpenAI進行大規模投資。輝達在聲明中表示：「客戶持續選擇NVIDIA用於推論，因為我們在大規模部署下提供最佳效能與總體擁有成本。」OpenAI發言人則在另1份聲明中指出，公司在其推論算力部署中絕大多數仍依賴輝達，且輝達在推論運算方面提供最佳的性價比。7名消息人士表示，OpenAI對於輝達硬體在處理某些特定問題時為ChatGPT使用者生成答案的速度並不滿意，例如軟體開發與人工智慧與其他軟體互動等場景。其中1名人士告訴《路透社》，OpenAI需要新硬體，未來可滿足其約10%的推論運算需求。2名消息人士指出，ChatGPT開發商曾討論與新創公司Cerebras與Groq合作，為更快速的推論提供晶片。但其中1名人士表示，輝達與Groq達成了1項價值200億美元的技術授權協議，使OpenAI與Groq的談判告終。晶片業高層指出，輝達迅速與Groq達成協議，似乎意在強化自身技術組合，以在快速變動的人工智慧產業中維持競爭力。輝達則表示，Groq的智慧財產權與其產品路線圖高度互補。在全球人工智慧爆炸性成長的過程中，輝達的圖形處理晶片非常適合用於訓練像ChatGPT這類大型人工智慧模型所需的大規模數據運算。然而，人工智慧的發展重心正逐漸轉向利用已訓練完成的模型進行推論與推理，這可能是人工智慧的新一階段，也促使OpenAI積極布局。自去年以來，OpenAI尋找GPU替代方案的重點在於那些在單一矽晶片上嵌入大量「靜態隨機存取記憶體」（SRAM）的公司。將盡可能多的昂貴SRAM壓縮至單一晶片，可為聊天機器人及其他人工智慧系統在處理數百萬用戶請求時帶來速度優勢。推論所需記憶體往往高於訓練，因為晶片在推論過程中需要花更多時間從記憶體中提取資料，而非單純進行數學運算。輝達與超微的GPU技術依賴外部記憶體，這會增加處理時間並降低使用者與聊天機器人互動的速度。其中1名消息人士補充，在OpenAI內部，這個問題在其程式碼生成產品Codex上尤為明顯。OpenAI近來積極行銷Codex，但部分員工將其弱點歸因於基於輝達GPU的硬體架構。1月30日與記者的電話會議中，執行長奧特曼（Sam Altman）表示，使用OpenAI程式碼模型的客戶「會對編碼工作的速度給予高度溢價」。他補充，OpenAI近期與Cerebras達成的協議，正是滿足此需求的方式之一，但對於一般ChatGPT使用者而言，速度並非同樣迫切。競爭產品如Anthropic PBC的「Claude」與Google的「Gemini」，則更多依賴Google自製晶片「張量處理單元」（Tensor Processing Units, TPUs）部署。TPU專為推論所需運算設計，相較於通用型人工智慧晶片（如輝達設計的GPU）可能具有效能優勢。知情人士指出，當OpenAI表達對輝達技術的保留態度後，輝達曾接觸包括Cerebras與Groq在內、專攻高SRAM晶片的公司，討論潛在收購。不過Cerebras拒絕收購提議，並於上月宣布與OpenAI達成商業合作。而Groq則曾與OpenAI洽談提供運算能力的協議，並吸引投資人有意以約140億美元估值為其募資。然而到了12月，消息人士表示，輝達以非獨家、全現金方式取得Groq技術授權。儘管該協議允許其他公司授權Groq技術，但在輝達挖角Groq晶片設計師後，Groq目前重心轉向銷售雲端軟體服務。
全球第2大自行車製造商在台30年 才爭取百億投資突傳資遣300員工
全球第二大自行車製造商速聯（SRAM），在台經營已經有30年，今年2月才拜會台中市府爭取到投資百億的經費，沒想到如今傳出陸續在2、5、7月，解雇員工300到500人，台中市議員謝志忠今（9）日偕同該公司員工召開記者會，為受影響的勞工發聲。速聯在台經營30年，今年才爭取到百億投資，卻驚傳大量資遣員工的消息。（圖／報系資料照）台中市議員謝志忠在記者會上表示，速聯不僅強制員工調班，甚至3次大規模解雇員工，共計約300到500人。速聯一名正職員工表示，夜班津貼1天550元，中班400元，早班沒有津貼，1個月薪水差距約1.1萬左右。公司卻只讓他們選擇調中班或早班，不然就要自行離職，認為不符合勞基法，要調動班別需符合薪資結構，很多人同意調中班但需要抽籤，沒有保障名額，也對員工也不公平。謝志忠則表示，速聯才由台中市府背書要投資百億，隨即就解雇大量員工，並啟用大量派遣工，不符合社會期待，認為勞工局應介入了解，並呼籲速聯集團賺錢之餘也要重視社會責任，善待辛苦的基層員工。台中市勞工局長張大春表示，愛爾蘭商速聯公司因調整員工上班時段，員工認為權益受損，致產生爭議，近期接獲通報大多派遣員工，截至2月派遣公司向勞工局通報資遣300多位派遣勞工。而近日該公司及5家派遣公司勞工合計103人，向勞工局申請勞資爭議調解，勞工訴求調班恐影響工作津貼，希望恢復原有班別，勞工局將受理調解申請後，連繫安排勞資調解會議，將儘速予以協處，以維勞工權益。
運算需求遇關鍵問題 英特爾聯合台積電、高通打造先進封裝生態系
上月舉辦的2022國際超大型積體電路技術研討會，英特爾公司資深副總裁暨封裝∕測試開發事業部總經理Babak Sabi，以工程專家與產業領導者的身分，說明先進封裝生態系所遇到的挑戰，並以英特爾的解決方案為例，闡述現在以及未來的推動方向，更要帶動整個產業的標準化，滿足未來運算需求。隨著數位時代對於運算需求的增長，處理器核心越來越多、效能越來越強大，一個關鍵問題將逐漸浮上檯面：「該如何提供足夠的資料吞吐量，才能夠維持高效能、高輸出的運算結果？」大數據進一步催生高頻寬、大容量記憶體的需求，但現實情況無法隨心所欲地提升傳輸所需的功耗，需以有效率的方式傳輸大量資料。Babak Sabi指出，位於處理器核心內部的快取記憶體為靜態記憶體（SRAM）結構，儲存單一位元通常需要6個電晶體，享有幾乎與核心一樣快的速度，倘若加大快取記憶體，則十分耗能且需要不小的矽晶片面積；在處理器封裝之外的系統記憶體為動態記憶體（DRAM）結構，儲存單一位元僅需要1個電晶體和1個電容，設計上針對容量最佳化，提升速度反而不是件容易的事。在這兩者之間，HBM（High Bandwidth Memory）以TSV（Through-Silicon Via）堆疊多個晶粒，單一封裝使用1024bit匯流排寬度，以此提供更大的空間和更高的頻寬，但需要更高密度、更先進的封裝技術，盡可能地將HBM封裝至靠近處理器之處。追求降低每單位位元移動的功耗需求，並持續推動互連頻寬與密度，不僅要求先進封裝需達成全面性的創新，更需要整個產業生態系一同合作，從系統、電路板、封裝再到複合晶粒體（die complex），都有要跨越的城池。英特爾已有推動系統、電路板、封裝、晶粒開發和整合的路線圖，與先進封裝有關的內容包含：系統層級—透過改良後的晶粒和封裝架構，降低每單位位元移動時所需功耗；電路板層級—整合光學傳輸，以便繼續提升頻寬速度與密度；封裝層級—使用次世代熱界面材料（TIM）改善散熱、透過Coax MIL提升電源傳輸效率、共同封裝光學傳輸元件；複合晶粒體—提升晶粒間的互連頻寬，並制定相互溝通的產業標準（如UCIe）。在先前英特爾也宣布將聯合台積電、微軟、三星、高通、超微及日月光投控等科技大廠，共同打造Universal Chiplet Interconnect Express（UCIe）產業聯盟，共同開拓小晶片（Chiplet）生態系，可望成為未來先進製程的新趨勢。