HANGRUI BLOG
航睿部落格
從 AI 應用到產品設計，分享實作中的選擇、方法與發現。找到你關心的問題，一起看懂背後的做法。
探索所有文章
顯示 11 篇
客服機器人最貴的那句話，是它猜出來的
客服 AI 回答得流暢，代表它真的知道嗎？從一次對照實驗，看懂檢索、引用核對與回答成本之間的關係。
客服機器人要開在客人已經打開的那個 App 裡
讓同一個 AI 助理出現在 LINE、Telegram 和網站裡。分享三個通道的整合方式，以及維持回答一致的設計選擇。
換模型不會改變它有沒有找到對的那份文件
同一份語料、同一組題目、同一套外層程式，只換模型：4B、7B、8B、14B 各跑九十次。檢索那五列——命中率、送出段數、答不出來的召回、轉人工的召回——四個模型完全相同。差別全在它把找到的東西寫成什麼樣，而最小的那個模型平均寫 689 字、另外三個 38 到 50 字，所以它也是最慢的。這篇是那張表，加上地端獨有的兩個成本：20.7 秒的冷啟動，跟一台併發買不到吞吐的機器。
知識放進索引，模型才能留在你的機器裡
「要它知道我們公司的事」和「東西不能離開公司」，常常是同一個人提出的兩個要求。只要把知識當成模型要背下來的東西，這兩個要求就會互相打架：背得多的模型都很大，大的模型都在別人的機房裡。把知識放進索引、讓模型只負責讀，這兩件事就不再衝突。這篇用發表過的研究講檢索為什麼有效、為什麼跟地端模型特別合，以及我們把它做成了什麼。
知識放在索引裡，不是放在權重裡
客戶問「可以幫我們訓練一個自己的模型嗎」，通常真正想解決的是「它要知道我們公司的事」。這兩件事不一樣：權重擅長記形式，事實會過期。這篇講我們為什麼把知識放在可以重建的索引裡、這個選擇在自建模型的情況下為什麼更重要，以及我們還沒量到的那部分是什麼。
可信的不是模型，是它周圍那層工序
客服助理答錯的時候，你沒辦法知道它是從哪裡開始錯的。我們把站上的頁面切成三十五段、逐段對問題計分、只送分數最高的幾段進模型，再把模型寫回來的每一個引用對回真正送出去的來源。這篇講那三步各自量了什麼，以及為什麼三個數字都印在畫面上。
從 DENDRAL 到 AlphaFold：讓 AI 進入科學的，是評估制度
2024 年 10 月，諾貝爾物理獎與化學獎在兩天之內都頒給了機器學習。把這件事讀成「AI 終於夠強了」會錯過重點：AlphaFold 之所以被科學界接受，關鍵不在模型架構，而在 CASP——一個從 1994 年開始、把答案藏起來的盲測制度。這篇回顧 AI for science 六十年的四個階段，以及每個階段真正的瓶頸在哪。
CASP14 到底量了什麼
總覽說 AlphaFold2 被接受是因為 CASP。這篇把那句話底下的測量攤開：r.m.s.d.95 是什麼、論文自己領頭的兩個數字、它們領先其他方法多少，以及信賴區間唯一不會告訴你的那件事。
把限制寫成程式，而不是寫進提示詞
要模型「每句七個字、句尾押韻」，它會回你一段看起來很像的東西。我們改成在程式裡數：字數逐句比對，韻腳按十三轍歸類，沒過的那幾句退回去重寫。這篇講這個迴圈怎麼做，以及路上撞到的一個 pinyin 錯誤。
首頁那張圖是畫的，不是拍的
本來要放一張圖庫照片。後來改成用 SVG 直接畫在伺服器回傳的 HTML 裡——不是為了風格，是為了三件具體的事：它壞不掉、它不用等網路、它會跟著主題換色。順便講一個把整張圖弄不見的 bug。
七個工具，一個帳號
網站、App、作詞、配樂、影像、影片、客服——七個各自把一件事做窄做好的工具，共用一個帳號、一套 API，和同一條關於你的資料的規矩。這篇說明那條規矩實際上是什麼。
系列
沿著一個問題，一篇一篇讀下去。
在地化的客服機器人＋
要把一個客服助理放到真的客人面前，這裡需要什麼：它得在不知道的時候停下來、出現在客人本來就打開著的那個 App 裡，而且能夠跑在店家自己控制得住的一台機器上。
AI for science＋
一套把語言模型接進研究流程的做法：它可以站在哪一格、不可以站在哪一格，以及每一步要留下什麼才查得動。
心裡已經有想法了嗎？
說說你想做什麼，我們會老實告訴你，這件事適不適合交給我們。