AI-generated text is becoming increasingly difficult to distinguish from human-written text.

As generative AI becomes part of everyday writing, coding, research, and content creation, researchers and AI companies are exploring ways to identify whether a piece of text was generated by an AI model.

One approach is text watermarking.

Anthropic has discussed research around watermarking AI-generated text. The basic idea is to introduce a statistical signal into generated text that may be difficult for readers to notice but can potentially be detected later.

Here's a simplified explanation of how this approach works.

🤖 How AI Text Watermarking Works

Large language models generate text one token at a time.

At each step, the model estimates probabilities for possible next tokens.

For example, imagine the model is generating:

"The weather was cold and ___"

The model might assign different probabilities to possible next words:

• overcast → 60%
• grey → 35%
• sugary → 5%

Normally, the model samples from the available candidates according to its decoding strategy.

A watermarking mechanism can modify this selection process.

Instead of choosing completely independently, it can use a secret key and information from the preceding text to influence which candidate tokens are preferred.

🔑 Step 1: Generate Next-Token Probabilities

The model first performs its normal generation process.

For every position, it produces a probability distribution over possible next tokens.

The model might determine that several words are plausible while others are extremely unlikely.

The watermark doesn't necessarily need to change the model's underlying knowledge.

Instead, it can influence which plausible candidate gets selected.

🎲 Step 2: Select a Watermarked Token

Without watermarking, token selection can involve a random sampling process.

With a watermarking mechanism, a keyed function can use information such as:

• A secret key
• Previous tokens
• Candidate tokens
• A deterministic or pseudorandom selection rule

The function can effectively divide or prioritize candidate choices.

When multiple reasonable tokens are available, the system can preferentially select tokens that contribute to the watermark signal.

The resulting text should still appear natural to the reader.

🔁 Step 3: Repeat Throughout the Response

The process can be repeated throughout the generated response.

Not every word necessarily carries a strong watermark signal.

Some positions may have only one highly probable choice, leaving little room to influence the output.

Other positions may have many plausible choices.

Those positions provide more opportunities to encode the statistical signal.

Over a sufficiently long response, the small individual effects can accumulate into a detectable pattern.

🔍 How Could the Watermark Be Detected?

The second part of the system is the detector.

A detector can examine a candidate piece of text and determine whether its token-selection patterns are statistically consistent with the watermarking scheme.

Step 1: Examine Candidate Tokens

For a particular word or token, the detector can use the secret key and preceding tokens to determine whether that token would have been favored or considered valid under the watermarking scheme.

If the generated token matches the expected pattern, it contributes evidence toward the watermark.

📊 Step 2: Analyze the Entire Text

The detector repeats the process across the document.

A single matching token doesn't prove anything.

Natural human-written text can also contain words that happen to match the watermark pattern.

Instead, the detector looks at the overall statistical signal.

If the observed match rate is significantly higher than what would normally be expected by chance, the text may be classified as consistent with watermarked AI-generated text.

🧠 Why Statistical Detection Matters

The key idea is that a watermark doesn't necessarily have to be visible.

There may be no:

• Special characters
• Hidden images
• Visible labels
• Strange formatting
• Extra metadata

Instead, the signal can exist in the statistical distribution of token choices.

This makes text watermarking fundamentally different from simply adding a visible "AI-generated" label to a document.

⚠️ But Watermarking Isn't the Same as Proof

An important distinction is that a watermark detector doesn't automatically establish who wrote a piece of text.

Detection can be affected by factors such as:

• Text length
• Editing
• Paraphrasing
• Translation
• Rewriting
• Sampling settings
• Human-written text coincidentally matching patterns
• Changes to the original generated text

Short text can also provide much less statistical evidence than a long passage.

Therefore, AI detection results should be interpreted carefully rather than treated as an infallible authorship test.

✍️ Why False Positives and False Negatives Matter

AI text detection is a difficult problem.

A detector can produce:

False Positive

Human-written text is incorrectly classified as AI-generated.

False Negative

AI-generated text is not detected as AI-generated.

Both cases can have consequences.

For example, incorrectly flagging human-written technical, academic, or professional writing could create unnecessary disputes.

At the same time, unreliable detection can make it difficult for organizations to establish whether AI-generated content was used when that distinction actually matters.

🔄 Watermarking vs AI Detection

It's useful to distinguish watermarking from general-purpose AI detectors.

Traditional AI Detection

Attempts to infer whether text was generated by AI based on characteristics or statistical patterns in the text.

Watermarking

Introduces a known statistical signal during generation that a detector can later look for.

That difference is important.

A watermarking system can potentially be designed specifically for text produced by a particular generation system, whereas a general AI detector is attempting to identify AI-generated text without necessarily having access to a generation-time signal.

🔐 The Role of the Secret Key

The secret key is an important part of the concept.

If everyone knew exactly how the token-selection pattern was generated, it would become easier to deliberately reproduce or manipulate the signal.

A secret key allows the generation and detection systems to share information without exposing the exact selection pattern publicly.

Conceptually:

Secret Key + Previous Context + Candidate Tokens → Watermark Signal

The detector can then use the corresponding key to test whether the observed text contains the expected pattern.

🚧 Challenges of AI Text Watermarking

Watermarking sounds straightforward at a high level, but implementing it reliably involves difficult trade-offs.

1. Text Quality

The watermark shouldn't make generated text noticeably worse.

2. Detectability

The signal needs to be strong enough to distinguish from random variation.

3. Robustness

The signal should ideally survive reasonable editing or transformation.

4. False Detection

The system needs to minimize incorrect classifications.

5. Short Text

Very short responses may not contain enough information to confidently detect a statistical signal.

6. Model and Sampling Behavior

Different generation settings can affect how strongly a watermark can be embedded and detected.

🌐 Why AI Watermarking Matters

As AI-generated content becomes increasingly common, provenance and authenticity are becoming important technical questions.

Potential applications include:

• Content provenance
• AI-generated media identification
• Platform moderation
• Research and education
• Enterprise content management
• AI safety systems
• Digital publishing

But the technology needs to be used carefully.

A detection signal can provide evidence of consistency with a watermark, but that isn't necessarily the same thing as proving authorship or intent.

🎯 Final Takeaway

The basic concept behind text watermarking is surprisingly simple:

Generate probabilities → Use a secret-keyed selection mechanism → Repeat across the text → Detect the statistical pattern later

The watermark isn't necessarily visible to the reader.

Instead, it can be embedded in the choices made during token generation.

As AI-generated writing becomes more widespread, techniques like watermarking could become one component of a broader content-provenance ecosystem.

But reliable AI detection remains a challenging technical problem, and watermarking should not be treated as a perfect test of whether a person or AI wrote a piece of text.