文章
它到底是怎麼做出來的。
寫那些付出過代價的決定——不得不寫成程式去強制的限制、自己動手畫而沒去買的素材、砍掉的功能。有東西可講才寫，不排更新表。
顯示 11 篇
在地化的客服機器人第 1 篇檢索工程產品
客服機器人最貴的那句話，是它猜出來的
我們把 Desk 外面那層程式整個拿掉，同一個模型、同一份文件、同一組三十題，只看它會變成什麼樣子。它變得很會講話：丟一行亂碼給它，它回一段通順的中文，後面還掛著一個對不上的出處編號。輸入 token 多 5.6 倍、每題成本多 4.6 倍，而且五分之一的回答宣稱有依據卻驗不到。這篇是那張對照表，以及表上有兩列會騙人。
閱讀約 5 分鐘
在地化的客服機器人第 2 篇工程產品
客服機器人要開在客人已經打開的那個 App 裡
Desk 的網頁版早就會回答了，但客人不會為了問幾點打烊去開一間店的網站。我們把同一個 brain 接上 LINE、Telegram，以及一行 script 的網頁小工具，驗收條件只有一個：同一題在三個通道要拿到同一個答案，底下那三個數字也要一模一樣。這篇是三個 adapter 各自不同的地方、一個節流的坑，以及一個型別檢查與單元測試全綠、只有真的瀏覽器才抓得到的 bug。
閱讀約 5 分鐘
在地化的客服機器人第 3 篇地端模型檢索工程
換模型不會改變它有沒有找到對的那份文件
同一份語料、同一組題目、同一套外層程式，只換模型：4B、7B、8B、14B 各跑九十次。檢索那五列——命中率、送出段數、答不出來的召回、轉人工的召回——四個模型完全相同。差別全在它把找到的東西寫成什麼樣，而最小的那個模型平均寫 689 字、另外三個 38 到 50 字，所以它也是最慢的。這篇是那張表，加上地端獨有的兩個成本：20.7 秒的冷啟動，跟一台併發買不到吞吐的機器。
閱讀約 6 分鐘
檢索產品工程
知識放進索引，模型才能留在你的機器裡
「要它知道我們公司的事」和「東西不能離開公司」，常常是同一個人提出的兩個要求。只要把知識當成模型要背下來的東西，這兩個要求就會互相打架：背得多的模型都很大，大的模型都在別人的機房裡。把知識放進索引、讓模型只負責讀，這兩件事就不再衝突。這篇用發表過的研究講檢索為什麼有效、為什麼跟地端模型特別合，以及我們把它做成了什麼。
閱讀約 9 分鐘
檢索工程產品
知識放在索引裡，不是放在權重裡
客戶問「可以幫我們訓練一個自己的模型嗎」，通常真正想解決的是「它要知道我們公司的事」。這兩件事不一樣：權重擅長記形式，事實會過期。這篇講我們為什麼把知識放在可以重建的索引裡、這個選擇在自建模型的情況下為什麼更重要，以及我們還沒量到的那部分是什麼。
閱讀約 5 分鐘
檢索工程產品
可信的不是模型，是它周圍那層工序
客服助理答錯的時候，你沒辦法知道它是從哪裡開始錯的。我們把站上的頁面切成三十五段、逐段對問題計分、只送分數最高的幾段進模型，再把模型寫回來的每一個引用對回真正送出去的來源。這篇講那三步各自量了什麼、為什麼三個數字都印在畫面上，以及為什麼沒有接任何 RAG 框架。
閱讀約 6 分鐘
AI for science第 1 篇科學結構生物學評測基準
從 DENDRAL 到 AlphaFold：讓 AI 進入科學的，是評估制度
2024 年 10 月，諾貝爾物理獎與化學獎在兩天之內都頒給了機器學習。把這件事讀成「AI 終於夠強了」會錯過重點：AlphaFold 之所以被科學界接受，關鍵不在模型架構，而在 CASP——一個從 1994 年開始、把答案藏起來的盲測制度。這篇回顧 AI for science 六十年的四個階段，以及每個階段真正的瓶頸在哪。
閱讀約 7 分鐘
AI for science科學評測基準可重現性
CASP14 到底量了什麼
總覽說 AlphaFold2 被接受是因為 CASP。這篇把那句話底下的測量攤開：r.m.s.d.95 是什麼、論文自己領頭的兩個數字、它們領先其他方法多少，以及信賴區間唯一不會告訴你的那件事。
閱讀約 4 分鐘
工程產品
把限制寫成程式，而不是寫進提示詞
要模型「每句七個字、句尾押韻」，它會回你一段看起來很像的東西。我們改成在程式裡數：字數逐句比對，韻腳按十三轍歸類，沒過的那幾句退回去重寫。這篇講這個迴圈怎麼做，以及路上撞到的一個 pinyin 錯誤。
閱讀約 3 分鐘
手工
首頁那張圖是畫的，不是拍的
本來要放一張圖庫照片。後來改成用 SVG 直接畫在伺服器回傳的 HTML 裡——不是為了風格，是為了三件具體的事：它壞不掉、它不用等網路、它會跟著主題換色。順便講一個把整張圖弄不見的 bug。
閱讀約 2 分鐘
產品
七個工具，一個帳號
網站、App、作詞、配樂、影像、影片、客服——七個各自把一件事做窄做好的工具，共用一個帳號、一套 API，和同一條關於你的資料的規矩。這篇說明那條規矩實際上是什麼。
閱讀約 2 分鐘
心裡已經有想法了嗎？
說說你想做什麼，我們會老實告訴你，這件事適不適合交給我們。